工具与应用01
GitHub 在旧金山 Universe 大会上发布了 Copilot Fusion,这是一个帮开发者自动挑选和调度 AI 模型的系统。以前写代码时,开发者要自己判断用哪个模型:复杂任务挑强模型,日常任务忘了换回来,容易又贵又慢。Copilot Fusion 会根据任务自动选模型,还能在工作流中途切换,比如让一个模型答题、另一个模型检查,或者让一个模型评审另一个模型的输出。开发者只需选择投入档位:日常用 Standard、较难用 High、最复杂用 Max。据 GitHub 数据,Fusion Max 在编程智能体评测中得分 60,与 Claude Code 搭配 Opus 5.5 Max 只差两分,但 API 成本约为一半、每任务耗时少约 40%。该功能已正式可用,企业管理员可以限制可选模型并决定是否设为默认。
文中可用工具
- GitHub Copilot Fusion自动为编程任务选择并编排 AI 模型,开发者只需选择投入档位
- Project HydraFusion提供运行时模型编排能力,Fusion 的前身研究预览
- Copilot Auto Model Selection自动选择模型的原有功能,已并入 Fusion
- Claude Code作为对比基准的编程智能体
- GitHub Copilot app原文未说明用途
- Copilot Projects原文未说明用途
- Copilot Automations原文未说明用途
- Open SWERamp 的开源编程智能体,已把模型选择纳入系统
- Artificial Analysis Coding Agent Index用于评测编程智能体表现的基准榜单
评测与安全02
openai/MultiLangBench · An eval based on SQLite that benchmarks language models in multiple languages.
MultiLangBench 是 OpenAI 发布的评测项目,要求语言模型依据 SQLite 3.40.1 文档,用指定编程语言实现一个 SQLite 兼容程序,并通过由 TCL 测试转换而来的测试套件进行验证。测试由初始数据库、用户查询和校验查询三部分组成,评分以(API 成本、测试通过率)二元组表示;完整测试共 24k 条,README 建议先运行以 00、01、02 开头的 272 条测试。
模型进展03
作者在 10 月 17 日 DeepSeek 发布 V4.1-Flash-1017 后,拿它和 10 月 7 日 Anthropic 推出的 Claude Haiku 5.5 做了三轮实测:修 bug、写数据库查询、给 400 条报错分类。两家官方基准分(DeepSeek 42.3、Haiku 39.2)并非同场对测,作者想自己验证。结果两种模型准确率很接近,DeepSeek 在修 bug 和分类上略胜,查询打平;在所用设置下 DeepSeek 总花费约 0.07 美元,Haiku 约 0.30 美元,差距主要来自一个超长提示词把 Haiku 推到了更高价位;Haiku 在两次工具类任务里更快。注意:文章只跑了各一次,价格受分词、缓存和接入渠道影响,Haiku 的提示缓存默认关,开启后成本对比可能变化;两者都是厂商自报成绩。
文中可用工具
- DeepSeek V4.1-Flash-1017DeepSeek 的开放权重模型,可通过 API、OpenRouter 或从 Hugging Face 下载自部署
- Claude Haiku 5.5Anthropic 面向高吞吐任务(分类、摘要、数据库查询)的最快模型
- OpenRouter本次测试统一调用的模型接入服务
- Hugging Face可下载 DeepSeek 开放权重模型自行部署
- Terminal-Bench 4.0两家厂商引用的基准测试之一,文中仅给出分数