旧缓存技巧如何降低 LLM 成本
文章介绍通过精确匹配、语义匹配与混合缓存三层策略，在调用 LLM 前复用已有答案，从而减少重复请求和 token 费用，并强调需对输入、上下文、模型设置与数据版本进行指纹校验。
展开详情收起详情：旧缓存技巧如何降低 LLM 成本
评论 · 分享第一个看法
内容归档
好内容，随时找得到。
按栏目浏览往期内容，用关键词、分类和日期找到需要的信息。
内容归档
758 条结果OpenRouter 推出美国境内路由，中国开源模型成美国 token 消耗主力
OpenRouter 正式向企业客户提供美国境内路由功能，确保请求在美国境内解密、处理和响应，否则直接拒绝。此举背景是开源权重模型已占 OpenRouter 美国请求 token 消耗约 60%，其中中国模型占多数，而企业在采购这类模型时面临数据驻留和合规难题。OpenRouter 列出的可选模型包括 DeepSeek V4 Pro、Kimi K3、GLM 5.2 等，由 Baseten、Fireworks、Azure 在美国数据中心托管。
展开详情收起详情：OpenRouter 推出美国境内路由，中国开源模型成美国 token 消耗主力
AI 编程投入换来 25% 产出增长，代码重复率却上升 81%
GitClear 对 2023 至 2026 年 6.23 亿次代码变更的分析显示，重度使用 AI 编程工具的团队产出仅提升 25%，远低于 10 倍宣称；同时代码块重复率上升 81%，重构（移动代码）占比从 2022 年的 21% 降至 2026 年的 3.8%，行业出现回归“写后即修”模式的迹象，长期维护成本或难以承受。
展开详情收起详情：AI 编程投入换来 25% 产出增长，代码重复率却上升 81%
关键漏洞只是一个测试数据库，这正是分诊难题的全部所在
一家有全球业务的300人B2B公司，被安全扫描发现有一个暴露在互联网上、认证很弱的数据库，看起来是最该优先修的高危问题。但研究人员仔细一看，这其实只是一个可以重置的测试数据库，用来考核应聘者，根本不存客户数据。这件事说明，光靠扫描器的严重性评分，没法判断一个漏洞真正会带来多大业务损失，团队还是得结合业务重要性、是否能被攻击者触达、是否已被实际利用等信息来决定先修什么。对外部安全分诊伙伴和公司安全团队来说，价值在于把“技术上很严重”和“业务上很要紧”区分开，避免把有限精力浪费在噪音上，同时也不错漏真正危险的漏洞。
文中可用工具
- CVSS通用漏洞评分系统，用来给漏洞的严重程度打一个基础分，但它本身不能判断业务影响。
- CISA’s Known Exploited Vulnerabilities美国网络安全和基础设施安全局维护的已知被利用漏洞目录，用来确认某个漏洞是否已经在现实中被人利用。
- Exploit Prediction Scoring System漏洞利用预测评分系统，用来估计某个漏洞在未来30天内被实际利用的可能性。
展开详情收起详情：关键漏洞只是一个测试数据库，这正是分诊难题的全部所在
Perplexity 推出本地 AI 智能体 Portable Computer，Windows 版需 24GB 显存 Nvidia GPU
Perplexity 将其 Computer 智能体的本地版本 Portable Computer 引入 Windows 应用，支持 Nvidia GeForce RTX 和 RTX PRO GPU，但要求至少 24GB 显存。该版本捆绑 PPLX 27B 和 Qwen 3.8 27B 模型，集成浏览器、工具调用和 SPACE 沙盒，并支持 Outlook、Google Drive、Slack、GitHub 等连接器。任务可在本地完成，必要时可升级到云端模型，但需用户授权。
展开详情收起详情：Perplexity 推出本地 AI 智能体 Portable Computer，Windows 版需 24GB 显存 Nvidia GPU
AI顶级编程智能体在私有代码库基准测试中失败率超60%
Y Combinator投资的Specific Labs推出新基准Real-SWE，将编程智能体投入真实企业的私有代码库进行测试。Claude Fable 5.1以38.8%的成功率领先，但整体失败率仍超60%；单任务成功率更低，六项任务不足15%，有一项在64次尝试中无人解决。
展开详情收起详情：AI顶级编程智能体在私有代码库基准测试中失败率超60%
{unscripted} 旧金山回顾：你信任你的 AI 智能体吗？
{unscripted} 2026 旧金山站围绕 AI 智能体在软件交付生命周期中的信任、安全与采用展开讨论。核心观点包括：信任是底线，护栏应针对可逆性设置；攻击者利用漏洞的时间已从 125 天缩短至约 1 天，而防守方平均仍需约 7 天修补；代码审查而非代码生成正成为新瓶颈。
展开详情收起详情：{unscripted} 旧金山回顾：你信任你的 AI 智能体吗？
演讲：Agent 架构中的决策模型——从生产到 Agent Skills
Alex Porcelli 探讨企业 AI 的关键缺口：高风险决策中的非确定性输出与责任缺失。他分享如何将 DMN 决策模型与 LLM、Agent Skills 及 NeMo Guardrails 集成，构建可审计、确定性的 Agent 架构，让业务负责人拥有决策逻辑，同时工程师维持稳健的架构治理。
展开详情收起详情：演讲：Agent 架构中的决策模型——从生产到 Agent Skills
播客：如果 AI 承担日常编码工作，我们该如何培养开发者？对话 Scott Hanselman
在这期播客中，Michael Stiefel 与 Scott Hanselman 探讨了当 AI 智能体承担了初级开发者过去赖以训练的多数工作时，软件行业应如何培养新一代软件工程师。Hanselman 建议借鉴护理行业的带教模式（preceptorship model）。
展开详情收起详情：播客：如果 AI 承担日常编码工作，我们该如何培养开发者？对话 Scott Hanselman
在 Postgres 上实现持久化工作流，无需外部编排器
Postgres 可作为工作流的持久化状态存储与协调层，无需外部编排器。SKIP LOCKED 支持并发处理，主键检查点保证幂等性，租约机制支持崩溃恢复。工作流休眠与人工审批也可持久化为数据库状态，并在重启后存活。作者 Raman Varma。
展开详情收起详情：在 Postgres 上实现持久化工作流，无需外部编排器
Agoda 用 DragonflyDB 替换 72 分片 SQL Server 价格缓存
Agoda 将 1.5 TB 的酒店价格缓存从 72 个 SQL Server 分片迁移至 DragonflyDB，以应对不断增长的读写量。迁移采用分阶段双读、一致性校验、逐步流量切换和去中心化故障转移检测。Agoda 报告 P99 读取延迟降低约八倍，两个 DragonflyDB 集群提供高可用性。作者：Leela Kumili。
展开详情收起详情：Agoda 用 DragonflyDB 替换 72 分片 SQL Server 价格缓存
Java 新闻综述：OpenJDK 新 JEP、CDI 5.0、Spring、Open Liberty、RefactorFirst、Kotlin ADK
2026 年 9 月 7 日 Java 周报：新增提前编译与结构化并发 JEP；Jakarta CDI 5.0 和 Kotlin ADK 1.0 正式发布；Open Liberty 2026 年 9 月版；TornadoVM 与 RefactorFirst 点版本更新；Micronaut 维护版本；Groovy 6.0 与 Gradle 9.8 首个候选版本。作者 Michael Redlich。
展开详情收起详情：Java 新闻综述：OpenJDK 新 JEP、CDI 5.0、Spring、Open Liberty、RefactorFirst、Kotlin ADK
我们如何构建 LangChain 的 GTM Agent
了解我们如何构建一个 GTM agent，将潜在客户转化率提升 250%，同时每月为每位销售代表节省 40 小时。
展开详情收起详情：我们如何构建 LangChain 的 GTM Agent
Connections：Managed Deep Agents 的凭据管理与调用者身份支持
Managed Deep Agents 中的 Connections 功能可安全管理凭据，支持按用户 OAuth，并让智能体以每位调用者的身份执行操作。
展开详情收起详情：Connections：Managed Deep Agents 的凭据管理与调用者身份支持
Credit Genie 如何用 OpenWiki 保持代码库文档常新
介绍 Credit Genie 使用 OpenWiki 自动化仓库文档，减少部落知识，为工程师和编码智能体提供可搜索的代码库上下文。
展开详情收起详情：Credit Genie 如何用 OpenWiki 保持代码库文档常新
欧洲与中东企业级 Agent 规模化实践：施耐德电气、Vodafone 与 monday.com 的经验
文章探讨欧洲与中东地区企业级 AI Agent 的落地路径，指出企业更倾向于先建平台再规模化，而非从单一聊天机器人起步。内容涵盖施耐德电气 350 人 AI Hub 支撑 60+ Agent 的 LLMOps 实践、monday.com 将 Sidekick 从单一大模型 Agent 重构为分层子 Agent 系统、Vodafone 基于 LangGraph 构建 Insight Engine 与 Enigma 两个生产级助手，并总结中央 Agent 平台、受监管文档与后台工作、风险合规安全运营、联邦式构建、可观测性与成本控制五大新兴模式。
展开详情收起详情：欧洲与中东企业级 Agent 规模化实践：施耐德电气、Vodafone 与 monday.com 的经验
我们如何构建 LangChain 的付费媒体 Agent
LangChain 的营销团队原本主要靠开源、内容、YouTube 和社区自然增长，今年开始投付费广告，半年内扩展到五个渠道，小团队很难同时跟踪各平台的广告数据、效果和实验。于是他们做了一个常驻 Slack 的付费媒体 Agent：每周一把广告平台数据与仓库里的线索、销售管道数据合并，输出各渠道的总结和 PDF 报告，还能在对话中回答追问，并基于团队经验提出关键词、定向、文案或新广告系列建议，经人工审批后才执行。他们用 Deep Agents 做 Agent 运行框架，用沙箱环境跑代码和做分析，原则是让模型负责判断、让代码负责计算，结果报告流程成本降低约 40 倍、速度快 13 倍。该项目已开源，可作为自建类似 Agent 的起点。
文中可用工具
- LangChain Deep Agents管理文件访问、代码执行、工作记忆和任务规划，充当 Agent 的运行框架
- LangSmith Sandbox提供隔离的微虚拟机环境，让 Agent 安全执行代码和读写文件
- pandas用于数据分析
- DuckDB用于数据分析
- openpyxl用于处理电子表格
- WeasyPrint用于生成 PDF 报告
- Jinja2用于生成报告模板
- SlackAgent 常驻并发布报告、接受追问的聊天平台
展开详情收起详情：我们如何构建 LangChain 的付费媒体 Agent
CI通过、评估通过，客户仍拿到错误答案：AI功能的可观测性缺口
文章引用 Dynatrace 2026 年 SRE 与平台工程报告（调查 919 位企业负责人）指出，77% 的平台工程团队至少在部分服务中嵌入可观测性，但仅 40% 在所有部署中全面集成。传统服务会以 500 错误、延迟飙升等方式显式失败，而 AI 智能体可能返回 200、通过忠实度检查，却仍给出错误答案，即“安静地失败”。作者以文档问答智能体为例：客户询问 2026.3 版本的导出配置，CI 与既有评估均通过，但上线后回答变慢且部分内容描述旧版本。通过分布式追踪可见三次重复的文档搜索、product_version 为 null 的过滤条件，以及最终返回 2024.1、2023.9 等版本文档；此类失败并非生成问题，而是无人断言检索前置条件，且忠实度或检索相关性评估无法捕捉“相关但不适用于所请求版本”的情况。
展开详情收起详情：CI通过、评估通过，客户仍拿到错误答案：AI功能的可观测性缺口
Cohere 发布 North Small Translate 开源机器翻译模型，主打非推理架构与企业本地部署
Cohere 推出 North Small Translate，一款采用混合专家（MOE）架构的开源权重机器翻译模型，覆盖 50 种语言，总参数 2180 亿、激活 250 亿。模型刻意采用非推理设计以提升效率，支持结构化翻译、术语表与多轮自检工作流。Cohere 称其在 WMT26 全语言基准上得分 83.60，优于 DeepL NextGen、Google Translate 等，并强调企业可在自有环境中部署以满足数据主权需求。
展开详情收起详情：Cohere 发布 North Small Translate 开源机器翻译模型，主打非推理架构与企业本地部署
Chip Huyen 讲解如何在不更换硬件的情况下降低推理成本
Chip Huyen 在 P99 大会上分享降低 LLM 推理成本的思路，将优化分为模型优化与服务优化两大类：前者通过量化和蒸馏改变模型权重，后者通过批处理、调度与请求复用提升推理服务效率，并提醒蒸馏需注意模型许可限制。