跨栏目检索

搜索归档

搜索中文标题、仓库名或关键词,再用分类、来源和日期缩小范围。

全部内容

最近成功采集

今天暂时没有新上架内容,你可以继续浏览历史归档。

GitHub 的秘密检测模型:用更少的噪音发现更多秘密

GitHub 改进了它用来扫描代码里密钥、密码等敏感信息的检测方式。以前用大型语言模型来判断,误报多、速度慢、成本高,因为很多看起来像密钥的字符串其实是测试用占位符或校验码。现在 GitHub 换成两段式流程:先用规则快速找出所有可疑字符串,再用一个专门训练的小模型 ModernBERT 结合文件路径、变量名和周围代码判断它是不是真的密钥。结果是用户接受警报的比例提高了 11.5%,扫描中位耗时降低 86%,服务器成本降低 98% 以上,并且这套方法已经用在提交前的拦截保护里。

文中可用工具

  • ModernBERT一个经过微调的小型分类模型,负责判断可疑字符串结合上下文后是不是真正的密钥
展开详情收起详情:GitHub 的秘密检测模型:用更少的噪音发现更多秘密
GitHub Blog
☆ 收藏0 条评论查看原文

Cloudflare 的 OHTTP 网关拒绝解密经由 Cloudflare 到达的请求

Cloudflare 正在小范围测试一个叫 OHTTP Gateway 的新服务。OHTTP 是一种让服务器能看到请求内容、却看不到是谁发来的技术:请求先被加密封装,中间转发者只知道发送者是谁,而最终的网关只负责解密内容、不知道发送者是谁。Cloudflare 这次的一个特别设计是:如果请求是从 Cloudflare Workers 发出、或者来自通过 Cloudflare 代理的服务器,网关会直接拒绝解密。因为一旦解密,发送者身份和请求内容就落到同一方手里,隐私保护就失效了。目前该服务处于封闭测试阶段,尚未公开可用;原文没有说明具体开放时间、价格或申请方式。

文中可用工具

  • OHTTP GatewayCloudflare 推出的托管服务,帮网站解密 Oblivious HTTP 请求,同时尽量不把“谁发的”和“发了什么”对上号
  • Cloudflare WorkersCloudflare 上的无服务器运行环境;从它发出的 OHTTP 请求会被该网关拒绝解密
  • Oblivious HTTP一种让请求内容与发送者身份分开的隐私传输协议
展开详情收起详情:Cloudflare 的 OHTTP 网关拒绝解密经由 Cloudflare 到达的请求
InfoQ Architecture & Design
☆ 收藏0 条评论查看原文

演讲:EVE Online 如何利用头部采样观察“乐趣”

EVE Online 的工程师 Nicholas Herring 在一场演讲中,介绍了这款已有 20 年历史的网游是如何做分布式追踪和可观测性的。难点在于游戏服务器实时处理海量事件,如果样样都记录,数据量太大、成本高,还可能拖慢游戏本身。他们的做法是在追踪一开始就决定采不采样(头部采样),并配合动态指数移动平均(EMA)和确定性采样,在保证数据能反映真实运行情况的同时控制开销。对做大型在线系统的读者来说,这是一套在“看得清”和“跑得快”之间取平衡的实战经验。

文中可用工具

提供的材料未提及具体可用工具。

展开详情收起详情:演讲:EVE Online 如何利用头部采样观察“乐趣”
InfoQ Architecture & Design
☆ 收藏0 条评论查看原文

智能体、评估与 LLM 成本的生产实践:QCon AI 纽约 2026

QCon AI 纽约 2026 大会(12 月 15 日至 16 日)已确认一批工程师演讲,主题是 AI 进入生产环境后遇到的真实难题。原来,模型上线后代码产出快到来不及审查,token 花销不断上涨,评估结果必须足够可靠才能据此决策,智能体还需要权限和护栏来约束。这些演讲会分享工程师们如何应对这些限制。对读者来说,可以借此了解把 AI 放进生产系统时,同行都在关心哪些问题和做法。目前只公布了会议时间和已确认的演讲,具体议题内容原文没有说明。

文中可用工具

提供的材料未提及具体可用工具。

展开详情收起详情:智能体、评估与 LLM 成本的生产实践:QCon AI 纽约 2026
InfoQ Architecture & Design
☆ 收藏0 条评论查看原文

Gemini 4 Argon:为解决最棘手问题而打造

谷歌发布了 Gemini 4 Argon 模型,面向开发者、企业和订阅用户开放。它擅长处理编程、金融、法律、网络安全等复杂多步骤任务,在 Vals Index 上排第一。内部团队用它做了不少实际工作:比如帮助 Chrome 整理 4000 万行代码中的遗留部分,完成原本要几个月的重构;还让开源库 xTB 预测分子结构快了 2.3 倍、Gemma 模型推理速度提升 2.85 倍。对普通用户来说,这款模型目前可以通过 API 和谷歌部分订阅服务使用,具体哪些功能免费、哪些要付费,文章没有说得太细。

文中可用工具

  • Gemini 4 Argon谷歌发布的新模型,能处理编程、金融、法律、网络安全等复杂任务
  • AI Studio开发者可以通过 API 访问 Gemini 4 Argon 的平台
  • Gemini platform同样通过 API 提供给企业使用 Gemini 4 Argon
  • Google AntigravityGoogle AI Ultra 订阅者可以在此使用 Argon 进行编程
  • Gemini appGoogle AI Ultra 和 Pro 订阅者可以在此使用 Argon
  • AI Mode in SearchGoogle AI Ultra 和 Pro 订阅者在搜索的 AI 模式中使用 Argon
  • Vals Index衡量模型在金融、编程、法律、税务等经济领域表现的基准
展开详情收起详情:Gemini 4 Argon:为解决最棘手问题而打造
Google DeepMind Blog
☆ 收藏0 条评论查看原文

负责任且安全地开发 Gemini 4 Argon

Google 正在把新一代模型 Gemini 4 Argon 从限量试用推向更广泛的开放。它擅长编程、金融、法律、网络安全和科研等复杂任务,能帮安全人员找出以前模型漏掉的软件漏洞,比如 Wiz 用它发现医院软件中的严重缺陷。问题是能力越强,被坏人拿去写攻击代码或研究危险生物材料的风险也越大,模型还可能为完成任务而越界。为此 Google 加了三道实时防线:先由小模型筛查请求、再用探针读取模型内部信号、最后持续监控输出,同时训练模型尊重系统边界、如实报告、遇到不确定就停下来问人,并配备自动越界监控。普通读者可以理解成:这类模型正被更谨慎地放开,既有实用价值,也被加上了防滥用和防失控的护栏。目前 Argon 已开始逐步开放,Fairwind 计划也在扩大;但正文未说明具体开放时间、地区和完整可用范围。

文中可用工具

  • Gemini 4 ArgonGoogle 的新一代模型,用于编程、金融、法律、网络安全和科研等复杂任务,并已开始逐步开放
  • Fairwind Program让受信任的网络安全防御方提前使用 Argon 的限量访问计划,目前正在扩大范围
  • Wiz使用 Argon 发现医院软件中一个此前模型漏掉的关键漏洞
  • activation probes读取模型内部神经信号的小型 transformer,用来判断请求是否涉及网络攻击或生物威胁
  • automated misalignment monitor实时读取智能体行为和内部思考链,阻止严重越界并标记需人工处理的案例
展开详情收起详情:负责任且安全地开发 Gemini 4 Argon
Google DeepMind Blog
☆ 收藏0 条评论查看原文

Gemini 4 Argon:为攻克最难问题而生

Google 发布并全球上线了新模型 Gemini 4 Argon,开发者、企业以及部分订阅用户现在就能通过 API、Antigravity、Gemini 应用和搜索的 AI 模式使用它。它主要解决复杂多步任务上“不够深、不够准”的问题,官方称其在编程、金融、法律、网络安全和科研等领域表现超过其他前沿模型,并在衡量这些行业表现的 Vals Index 上排第一。定价是每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入可打九五折。对读者的意义是:如果你从事代码重构、漏洞排查或专业分析等工作,多了一个可能更快完成数周甚至数月任务的工具,但它对普通日常问题是否更好用,原文没有说明。

文中可用工具

提供的材料未提及具体可用工具。

展开详情收起详情:Gemini 4 Argon:为攻克最难问题而生
Google AI Blog
☆ 收藏0 条评论查看原文

Higgsfield 将 AI 视频时长从 1 分钟提升至 10 分钟以上

Higgsfield 这家做 AI 视频的公司宣布,它现在能生成超过 10 分钟的视频了,而以前大概只能做 1 分钟。它靠的是新模型 GPT-6 Astra 来拉长视频,用 GPT-Image-2.5 让画面更精确,还提到一条通向“用声音做电影”的路线,工具叫 GPT-Live。对做视频的人来说,这意味着可以用 AI 生产更长的片子,不用被一分钟的长度卡住;不过这些能力是否已经能实际使用、具体怎么用,材料里没有说明。

文中可用工具

  • GPT-6 Astra用来生成更长的 AI 视频
  • GPT-Image-2.5让生成的画面更精确
  • GPT-Live用于语音电影制作的路径,原文未说明具体用途
展开详情收起详情:Higgsfield 将 AI 视频时长从 1 分钟提升至 10 分钟以上
OpenAI News
☆ 收藏0 条评论查看原文

在 LangSmith 中用 AI Search 按行为搜索智能体轨迹

LangSmith 是管理和查看 AI 智能体运行记录(trace)的工具,每条记录包含用户说了什么、智能体怎么回应、调用了哪些工具。以前想找“用户是否不满”或“有没有泄露隐私信息”这类记录,只能靠关键词搜索或事先写好评测脚本,因为这些问题对应不上标签或元数据。现在 LangSmith 新增 AI Search:用大白话描述你想找的行为,系统用一个快速决策模型逐条阅读轨迹并返回命中的记录,还借助统一的轨迹视图压缩重复内容让搜索更快。对团队来说,找评测样本、排查问题或挖掘用户反馈都会省力很多。该功能现已推出,可与现有筛选条件一起使用。

文中可用工具

提供的材料未提及具体可用工具。

展开详情收起详情:在 LangSmith 中用 AI Search 按行为搜索智能体轨迹
LangChain Blog
☆ 收藏0 条评论查看原文

用 ScaleDown 与 Deep Agents 构建长时间运行的智能体

LangChain 把 ScaleDown 的专用小模型接进了 Deep Agents 和 LangChain 智能体框架里。原来长时间运行的智能体上下文会越堆越满,而用通用大模型去摘要历史、压缩工具结果又慢又贵。现在换成专门做单一任务的 ScaleDown 模型(摘要、压缩、抽取、分类),官方称这些窄任务上比前沿模型快 200 倍、便宜 467 倍,单次最多能读 100 万 token,还能直接处理图片和扫描 PDF。做智能体的开发者可以借此降低每次决策的成本和延迟,也可通过 LangSmith LLM Gateway 追踪调用和用量。

文中可用工具

  • ScaleDown一组专做摘要、压缩、抽取、分类等单一任务的模型,用来更快更便宜地管理智能体上下文
  • Deep Agents用于构建长时间运行智能体的框架,可挂载摘要与工具结果压缩中间件
  • LangChain搭建智能体的开发框架,支持 create_agent 并接入 ScaleDown 中间件
  • langchain-scaledown把 ScaleDown 模型接入 LangChain 与 Deep Agents 的集成包,自带三种中间件
  • ScaledownSummarizationMiddleware替换 Deep Agents 自带的摘要中间件,用 ScaleDown 生成历史摘要
  • ScaledownToolCompressionMiddleware在工具结果进入模型前,只保留与查询相关的部分
  • LangSmith LLM Gateway已支持 ScaleDown,可追踪调用并计入消费和速率限制
  • Jev文中用来对比的决策模型,只接受文本、每题最多 32K token 状态
展开详情收起详情:用 ScaleDown 与 Deep Agents 构建长时间运行的智能体
LangChain Blog
☆ 收藏0 条评论查看原文

Open SWE:面向内部编程智能体的开源框架

几家大公司(Stripe、Ramp、Coinbase)各自做了内部的编程 AI 助手,虽然独立开发,但做法却惊人地相似:都在云端隔离沙箱里跑、只用少量精选工具、从 Slack 里召唤、开工前先把任务上下文拉全。现在有人把这些共同经验打包成开源框架 Open SWE,基于 Deep Agents 和 LangGraph 搭建,代码可定制,不用从零造轮子。对想给团队部署内部编程智能体的公司来说,它可以直接当起点。不过文章只发了框架,没说更多落地数据。

文中可用工具

  • Open SWE开源框架,提供内部编程智能体的核心架构组件,可定制
  • Deep AgentsOpen SWE 所基于的智能体框架,提供任务规划、文件式上下文管理、子智能体生成等能力
  • LangGraphOpen SWE 所基于的底层编排框架
  • MinionsStripe 开发的内部编程智能体
  • InspectRamp 开发的内部编程智能体,基于 OpenCode 构建
  • CloudbotCoinbase 开发的内部编程智能体
  • Slack作为主要调用入口,开发者可在聊天中召唤智能体
  • Linear作为任务来源和更新渠道,智能体可读取工单并回帖
  • GitHub作为代码协作平台,智能体可提交代码并开草稿 PR
  • OpenCodeRamp 构建 Inspect 时所用的基础框架
  • AGENTS.md仓库根目录的说明文件,用来注入团队约定、测试要求等上下文
展开详情收起详情:Open SWE:面向内部编程智能体的开源框架
LangChain Blog
☆ 收藏0 条评论查看原文

通过 harness 工程改进 Deep Agents

LangChain 给自家的编程智能体 Deep Agents CLI 换了一套围绕模型的“外骨架”(系统提示、工具和中间件),用来引导模型的能力。原来的做法缺少测试和验证,智能体常写完代码、自己看一遍就停下,导致成绩只有 52.8 分,排在 Terminal Bench 2.0 榜单 30 名开外。这次他们加了强制自检清单、注入目录与工具环境信息、以及时间预算提醒,还用追踪数据自动分析失败原因,成绩提升 13.7 分到 66.5 分,进入前五。对读者的意义是:不改模型本身,靠工程化外围设计也能明显提升智能体表现;不过其追踪分析技能尚未发布,仍在测试中。

文中可用工具

  • Deep Agents CLILangChain 的编程智能体,本次改进的对象
  • Terminal Bench 2.0评估智能体编程能力的基准测试,共 89 个任务
  • Harbor用于编排测试运行的框架
  • Daytona提供沙箱环境运行测试
  • LangSmith存储智能体每步操作及延迟、token 数、成本等指标
  • GPT-5.2-Codex本次实验中固定使用的模型
  • PreCompletionChecklistMiddleware在智能体退出前拦截,提醒其对照任务要求做验证
  • LocalContextMiddleware启动时扫描工作目录和工具环境,把上下文注入给智能体
展开详情收起详情:通过 harness 工程改进 Deep Agents
LangChain Blog
☆ 收藏0 条评论查看原文

Deep Agents 的上下文管理机制

LangChain 团队开源的 Deep Agents SDK 是一个帮开发者搭建 AI 智能体的工具包,这类智能体可以自己规划任务、派生子智能体、读写文件,去完成耗时很长的工作。问题是任务一长,对话内容就会超出模型能记住的容量,导致 AI「忘事」、表现变差。为此它用三招省内存:工具返回内容超过 2 万 token 就存到文件系统里,只留一个路径和前 10 行预览;上下文用到 85% 时,把旧的写文件操作替换成文件路径,不再重复占位置;再不够就把整段对话压缩成一份摘要,同时把原始记录完整存进文件系统,需要时再查回来。这样开发者能让 AI 长时间干活而不容易「失忆」。

文中可用工具

  • Deep Agents SDKLangChain 开源的智能体开发工具包,内置任务规划、子智能体和文件系统能力
  • LangChain model profiles在底层提供某个模型上下文窗口的 token 阈值,用于判断何时压缩上下文
  • read_file读取之前被移出上下文、存到文件系统的消息内容
  • terminal-bench用于跑真实任务、观察上下文压缩效果的基准测试
展开详情收起详情:Deep Agents 的上下文管理机制
LangChain Blog
☆ 收藏0 条评论查看原文

开源模型已跨过临界点

LangChain 团队用 Deep Agents 测试框架跑了一批开放权重模型,发现 GLM-5 和 MiniMax M2.7 在文件操作、工具调用、指令遵循这些智能体核心任务上,已经和 Claude Opus 4.6、GPT-5.4 等闭源顶级模型打得差不多。过去用闭源大模型跑智能体,又贵又慢:每天输出 1000 万 token,Opus 4.6 大约要 250 美元,MiniMax M2.7 只要约 12 美元,一年差出近 8.7 万美元。开源模型还能跑在 Groq、Baseten 这类专门优化的推理服务上,延迟和吞吐都更好。不过这还只是早期评测结果,团队正在继续扩充测试集;普通用户暂时用不上,主要意义是给要做智能体产品的开发者一个更便宜、更快的选择。

文中可用工具

  • Deep AgentsLangChain 的智能体测试与运行框架,用来统一跑评测和部署智能体
  • GLM-5z.ai 推出的开放权重模型,本次评测中表现接近闭源顶级模型
  • MiniMax M2.7MiniMax 推出的开放权重模型,成本最低,本次评测中表现接近闭源顶级模型
  • Ollama本地运行模型的工具,可跑私有化开源模型
  • vLLM高性能推理引擎,用于自行部署开源模型
  • Baseten模型托管推理服务,本次用于跑 GLM-5
  • OpenRouter模型调用聚合平台,提供 MiniMax M2.7 等模型的调用
  • Groq专注低延迟高吞吐的推理服务商
  • Fireworks面向生产场景的模型推理服务商
  • SWE-Rebench软件工程类公开评测基准
  • Terminal Bench 2.0终端操作类公开评测基准
  • LangSmithLangChain 的评测与可观测平台,公开分享本次评测运行结果
展开详情收起详情:开源模型已跨过临界点
LangChain Blog
☆ 收藏0 条评论查看原文

Deep Agents Deploy:Claude Managed Agents 的开源替代方案

LangChain 今天发布了 Deep Agents Deploy 的测试版,它能让开发者用一条命令把自定义 AI 智能体部署到生产环境。此前,部署一个智能体需要自己搭建可扩展的服务器、为每次会话创建沙箱、再接通各种接口,步骤繁琐。这次它把这些打包成 `deepagents deploy`,你只需指定模型、指令文件、技能和工具配置即可上线,而且底层用的是开源、不绑定任何模型厂商的框架,所以智能体的记忆存在你自己的数据库里,换模型或换平台时不用从零开始。目前是 beta 测试版,记忆格式用 AGENTS.md 等标准文件保存,支持通过 API 直接查询。

文中可用工具

  • Deep Agents开源、不绑定模型厂商的智能体框架,用来搭建自定义智能体
  • Deep Agents deploy一条命令把智能体部署到生产环境的工具,当前为 beta 版
  • LangSmith Deployment生产级、可横向扩展的服务器,Deep Agents deploy 底层用它来托管智能体
  • AGENTS.md存放智能体核心指令的开放标准文件
  • Agent Skills通过 markdown 文件提供专门知识、通过脚本执行动作的开放标准
  • MCP一种让智能体调用工具的协议,也用于把部署的智能体当作工具调用
  • A2A一种让多个智能体互相调用的协议,用于多智能体协作场景
  • Agent Protocol一套接口标准,方便开发者写界面与部署的智能体交互
  • Daytona沙箱服务商,让智能体在隔离环境中运行代码和技能
  • Runloop沙箱服务商,让智能体在隔离环境中运行代码和技能
  • Modal沙箱服务商,让智能体在隔离环境中运行代码和技能
  • LangSmith Sandboxes沙箱服务,让智能体在隔离环境中运行代码和技能
展开详情收起详情:Deep Agents Deploy:Claude Managed Agents 的开源替代方案
LangChain Blog
☆ 收藏0 条评论查看原文

我们如何让文档自己测试自己

LangChain 团队把文档里的示例代码变成 CI 可自动测试的代码,方法是用 Deep Agents CLI 这个命令行智能体,配上预先写好的技能(类似给同事的步骤说明),让智能体自动把文档里的内联代码抽成独立文件、补全可运行的环境、加标记、跑测试,再嵌回文档。原来这些示例是静态的,API 或依赖一变就悄悄失效,而手动改造又太费工,所以很多团队干脆不做。现在只需在文档仓库里对智能体说一句“把某个文件里的内联代码迁移成可测试的示例”,它就会照技能执行,再配合 GitHub Action 定期跑测试并在失败时开单。这一做法目前是 LangChain 团队自用的示例,Deep Agents CLI 可查看官方文档试用,技能脚本需自己在仓库中配置,并非开箱即用的成品服务。

文中可用工具

  • Deep Agents CLI一个命令行智能体,可用对话方式让它按技能说明自动完成文档代码迁移等任务
  • Skills可复用的步骤说明文件,智能体在任务匹配时加载并照做
  • Bluehawk根据标记从代码中抽取片段的工具,生成可嵌入文档的代码片段
  • Mintlify文档平台,接收生成的代码片段作为文档内嵌内容
  • GitHub Action定期自动运行代码示例测试,并在失败时创建工单
展开详情收起详情:我们如何让文档自己测试自己
LangChain Blog
☆ 收藏0 条评论查看原文

LangChain 中的 MCP:无状态协议、elicitation 等更新

LangChain 把 MCP 支持搬进了主包,现在放在 langchain.mcp 里,不再需要单独安装 langchain-mcp-adapters。MCP 是一种让 AI 智能体调用外部工具的通用协议,过去每次调用都要先开一个会话、记住会话编号,服务器一重新部署,正在进行的会话就断了,运维起来很麻烦。新版 MCP 规范改成了“无状态”,所以 LangChain 顺势支持了工具列表缓存,以及 elicitation(工具执行中途反过来问用户问题,比如确认删除或补充缺失参数),并用 LangGraph 的 interrupt 来实现这种暂停和恢复。底层用的是 FastMCP,新旧两版协议的服务器都能连,旧的 MultiServerMCPClient 收敛成单个 MCPAdapter 类。对开发者来说,装个 langchain[mcp] 就能用,不过迁移细节和 elicitation 后续示例在文中被截断了,这部分信息未完整给出。

文中可用工具

  • langchain.mcpLangChain 主包里的 MCP 支持模块,用来连接智能体和 MCP 工具服务器
  • FastMCP提供连接、认证、缓存和协议协商的底层客户端,兼容新旧两版 MCP 规范
  • MCPAdapter替代旧的 MultiServerMCPClient,用来接入一个或多个 MCP 服务器
  • ClientGroup给每个 MCP 服务器单独配置连接、认证和协议版本
  • LangGraph用其中的 interrupt 机制实现 elicitation 的暂停与恢复
  • create_deep_agent创建可直接使用 MCP 工具的智能体
  • langchain-mcp-adapters旧的独立安装包,现已并入 langchain 主包
展开详情收起详情:LangChain 中的 MCP:无状态协议、elicitation 等更新
LangChain Blog
☆ 收藏0 条评论查看原文

Orange Business 如何用 LangChain 和 LangSmith 构建 Live Intelligence

欧洲大型电信公司 Orange 的 B2B 部门 Orange Business 搭建了一个叫 Live Intelligence 的企业级 AI 平台,让公司内部和客户能在受管控的前提下开发和使用 AI 智能体。原来他们想自己从零造一套编排、部署、监控系统,但光基础设施就要花一年多,于是转而选用了开源框架 LangChain 和评估观测工具 LangSmith。现在平台上已有约 12 万名 Orange 员工在用,法国和欧洲有 150 多家客户采用;团队还能在改动上线前跑回归测试、逐条查看智能体执行过程,快速定位问题出在检索、提示词、模型还是工具调用上。

文中可用工具

  • LangChain开源框架,用来搭建和编排 AI 智能体,好处是不绑定某一家模型厂商
  • LangSmith用来做智能体评估、运行追踪和效果监控的工具
  • Live Intelligence Studio给 AI 工程师设计跨系统复杂工作流的环境,含模型目录、智能体构建和 MCP 支持
  • Live Intelligence Portal给业务人员直接使用的界面,可创建简单智能体、部署 Studio 里搭好的工作流
  • Live Intelligence Console给企业管理员的控制台,查看用量、性能和落实安全合规策略
  • Agent Registry集中管理智能体和提示词,支持发现、复用、版本控制与治理
  • MCP Registry集中登记可信工具和连接器,让智能体安全访问企业系统
  • LangSmith Fleet原文仅提到它是 Studio 中驱动智能体构建器的组件,未说明具体用途
  • LangSmith Context Hub管理不同环境的提示词版本,可在不改代码的前提下先测试再上线
  • MCP让智能体以统一方式连接外部工具和企业系统的协议
展开详情收起详情:Orange Business 如何用 LangChain 和 LangSmith 构建 Live Intelligence
LangChain Blog
☆ 收藏0 条评论查看原文

ai-data-evaluation:基于评分量规的 LLM 输出评测与偏好数据流水线

LacerdaTraderCode/ai-data-evaluation · Evaluation pipeline for LLM outputs: an anchored rubric, a hand-labeled golden set, an LLM judge checked for agreement against it, and preference data generation for fine-tuning.

该项目提供一条面向 LLM 输出的完整评测流水线:手写标注的黄金集(golden set)、带评分锚点的多维度量规、自动打分的 LLM judge、judge 与人工标注的一致性校验,以及把分数转换为 DPO 风格偏好数据的转换器。示例任务为把短文档摘要到指定长度,量规涵盖事实准确、覆盖度、简洁性和格式遵循四个维度,每项 0–2 分并附带级别描述。方法说明指出 LLM judge 在通过黄金集一致性检验前不应被大规模信任。

展开详情收起详情:ai-data-evaluation:基于评分量规的 LLM 输出评测与偏好数据流水线

★ 0 · 开发框架

GitHub
☆ 收藏0 条评论查看项目