模型进展01
作者在 10 月 17 日 DeepSeek 发布 V4.1-Flash-1017 后,拿它和 10 月 7 日 Anthropic 推出的 Claude Haiku 5.5 做了三轮实测:修 bug、写数据库查询、给 400 条报错分类。两家官方基准分(DeepSeek 42.3、Haiku 39.2)并非同场对测,作者想自己验证。结果两种模型准确率很接近,DeepSeek 在修 bug 和分类上略胜,查询打平;在所用设置下 DeepSeek 总花费约 0.07 美元,Haiku 约 0.30 美元,差距主要来自一个超长提示词把 Haiku 推到了更高价位;Haiku 在两次工具类任务里更快。注意:文章只跑了各一次,价格受分词、缓存和接入渠道影响,Haiku 的提示缓存默认关,开启后成本对比可能变化;两者都是厂商自报成绩。
文中可用工具
- DeepSeek V4.1-Flash-1017DeepSeek 的开放权重模型,可通过 API、OpenRouter 或从 Hugging Face 下载自部署
- Claude Haiku 5.5Anthropic 面向高吞吐任务(分类、摘要、数据库查询)的最快模型
- OpenRouter本次测试统一调用的模型接入服务
- Hugging Face可下载 DeepSeek 开放权重模型自行部署
- Terminal-Bench 4.0两家厂商引用的基准测试之一,文中仅给出分数
行业动态02
一位安全研究员在谷歌开发者文档平台 DevSite 中发现了一个严重漏洞。DevSite 把 OAuth 客户端密钥同时当作登录签名的钥匙,还把这段数据放进用户能看到的 Cookie 里;由于服务器反序列化数据的方式不安全,任何人拿到密钥就能伪造登录凭证,并在谷歌服务器上运行自己的代码,无需账号也无需受害者操作。谷歌将漏洞评为最高级别 S0,向研究员支付了 9 万美元奖金,但从 8 月 6 日报告到 10 月 7 日才部署修复,中间空窗两个月。报道未说明谷歌是否做了临时缓解、密钥是否全部轮换、旧会话是否失效,也未证实漏洞是否曾被真实利用。对使用谷歌开发者文档的普通用户来说,风险在于若被利用,文档中的安装命令或下载链接可能被替换成恶意版本,但目前尚无证据表明发生过这种情况。
行业动态03
在布拉格举行的欧洲开源峰会上,开源数据库服务公司 Percona 的 CEO Peter Farkas 提出:行业常把“开放权重”和“开源”当成一回事,但两者差别很大。开放权重只是让你能下载模型、在自己的机器上跑,但训练数据、源代码和训练过程往往不公开,所以你没法真正研究、修改或从头重建它。他担心这样“开放洗白”会慢慢稀释“开源”这个词原本代表的使用、研究、修改和分享自由,甚至波及整个软件行业。开源促进会(OSI)已在 2024 年发布首版《开源 AI 定义》,其新执行总监 Duane O'Brien 承认该定义受到的批评成立,并宣布重新开启讨论,还启动了为期两年的开源 AI 奖学金项目来推动共识。对读者来说,这场争论的现实意义是:看到“开源模型”的宣传时,要先分清你拿到的是能跑的权重,还是真正能信任、改进并在此基础上继续构建的完整开源。
文中可用工具
- FerretDB一个开源的 MongoDB 替代品,由 Percona CEO Peter Farkas 参与创建
- MiMo-V2.6小米发布的新模型系列,同时公开了强化学习训练直播、7000 多个训练任务环境、训练代码和技术文档
- DeepSeek文中作为例子提到,其模型常被称为开源,但实际只公布了模型权重而非完整复现所需材料
- Open Source AI Definition开源促进会(OSI)2024 年发布的首版开源 AI 定义,规定使用、研究、修改和分享 AI 系统的标准,目前仍存争议并正在重新讨论
- Open Source AI FellowshipOSI 最近启动的项目,首位研究员为 Gabriel Toscano,用两年时间探索该定义的修订并推动共识