研究与技术01
Anthropic 的前沿红队用约 825 美元买了 15 台杂牌安卓电视盒子,把它们拼成一个小集群来跑 AI 模型,速度只有每秒 0.39 个词,慢得没法聊天,但适合那些不着急、没人等的后台任务。他们周一发布研究,认为小体积的开源模型可能再过几个月就能在廉价联网设备上自我复制,不再依赖数据中心。不过他们并没有做出能在公网上自行传播的 AI 蠕虫,实验是在受控环境里、并开了一些方便复制的后门。普通人可以留意:一旦这类能力成熟,海量廉价设备被悄悄用来跑 AI 并非不可能。
文中可用工具
- Qwen3.5-9B用来在多种硬件上部署 Llama3.1-8B 推理服务的小模型
- GLM-5.2更大、更可靠地完成同样部署任务的模型
- Llama3.1-8B在目标设备上实际运行的推理模型
- Opus 4.8给 Qwen3.5-9B 提供建议的更强模型,实验未见显著提升
- Gemma4-26B-A4B在 15 台电视盒子集群上运行的模型
- CyberGym评估模型攻击能力的基准
- ExploitBench评估模型漏洞利用能力的基准
- Epoch Capabilities Index用来追踪小参数量开源模型能力趋势的指数
- OpenClaw原文未说明用途
- Hermes Agent原文未说明用途
应用工具02
ARahim3/DigUp · Search your Mac by what's in your files: photos, PDFs, recordings, videos and code. On-device, built on Google DeepMind's EmbeddingGemma 2.
DigUp 是一款运行在 Apple Silicon Mac 上的菜单栏应用,利用 Google DeepMind 的 EmbeddingGemma 2 多模态嵌入模型,让用户用自然语言描述来搜索本机文件中的内容。它可以索引图片、PDF、文档、音频和视频,把一次查询同时匹配到视频中的某一帧、播客的某一段、PDF 的某一页或截图中的文字,并支持超过 100 种语言的跨语言检索;开启代码搜索后还能按功能描述定位代码。索引与检索全部在本地完成,模型仅在首次下载和每日检查更新时联网。
评测与安全03
Irongrey-genusengelmannia453/zero-context · Redact sensitive data before sending to AI, then restore it automatically with this local-first DLP extension.
zero-context 是一个本地优先的浏览器扩展,用于在向 ChatGPT、Claude、Gemini 等 AI 网站发送提示词前自动识别并遮蔽姓名、电话、邮箱、信用卡号等个人敏感信息,替换为占位符标签;复制 AI 回复时再自动还原原始内容。检测使用在浏览器中通过 WebAssembly 运行的轻量 ONNX 模型,材料称数据不上传、无云端处理,并支持自定义脱敏规则、按站点开关、剪贴板还原控制与本地日志查看。
推理与部署04
huntleeouter514/laya-mlx · Run open-weight typed decisions natively on Apple Silicon with sub-14ms local MLX inference, no PyTorch or cloud APIs.
laya-mlx 是一个面向 Apple Silicon Mac 的本地决策推理软件,用于在设备端运行「类型化决策模型」(.laya 文件),据称单次决策耗时约 7–14 毫秒,无需 PyTorch 等重型依赖,也不依赖云端 API,强调数据不出本地的隐私性。其技术组合包括针对 Apple Silicon 优化的 MLX 运行时、ModernBERT 模型与纯本地计算。README 给出下载即用的入门流程和 Apple Silicon 系统要求。