Agent 与工作流01
在北美 We Are Developers 大会上，Dynatrace 团队观察到开发者社区关注的三个趋势：智能体“管控”（沙箱隔离，防止智能体乱跑）、可观测性与评估（在生产环境中持续监控和评估智能体行为）、以及智能体体验（文档和接口专为智能体设计）。背景是智能体越来越多地进入生产环境，出现了失控和安全事件，问题往往出在缺乏隔离和监控。解决思路包括给智能体独立计算环境、把评估从开发阶段延伸到生产运行阶段、以及提供适合智能体读取的文档和接口。对读者而言，这意味着未来开发软件时，需要把智能体当作“用户”来设计基础设施，并重视运行时安全。文中还提到存储问题（大量遥测数据）尚未获得充分讨论，Dynatrace 用 Grail 数仓应对。
文中可用工具
- BlueBoxDynatrace 推出的 AI 智能体，帮助其他智能体获取可观测性和运行时上下文
- GrailDynatrace 的统一数据湖仓，用于处理智能体产生的大量遥测数据
- MCP一种让智能体访问外部工具和数据的接口协议
- llms.txt一种供大语言模型读取的文档文件，帮助智能体理解网站内容
评测与安全02
harness/harness-evals · Harness Evals
harness-evals 是一个开源的 AI 评测框架，用于评测 LLM Agent、提示词与结构化输出。其每个指标输出 0.0–1.0 的归一化 Score，并通过可配置阈值判定通过与失败。指标按正确性、有据性、安全性、轨迹和性能五个维度组织，支持数据集读写、提示词模板、目标调用、生产轨迹导入、基线对比等功能，并提供 YAML 配置的 CLI 运行方式与代码优先的 run_eval() 一行调用，可配合 pytest 和 CI 使用。
应用工具03
ridhimaguptaa01/pm-reviewer · AI-assisted managerial review copilot for product management work
PM Reviewer 是一个面向产品经理的 AI 辅助评审副驾，用于减少管理者首轮评审投入。它会审阅产品团队提交的 PRD、需求、调研、可行性说明、上线计划、发布后分析等工作，推断其目的与成熟度，并给出分级的评审结论（需修改、待决策、可延后）。项目还会保存评审历史、支持可复用的管理者偏好，并在第二版及之后对比历史反馈，标注已解决、部分解决、仍未解决、不再相关以及新引入的问题。项目内含 12 个评测用例，覆盖强弱 PRD、模糊提案、混合客户证据、早期调研、外部内容、可行性工作和发布后分析，最新评测通过全部 12 项结构性检查。
评测与安全04
kousalya-pm/ai-foundation-models-lab · Hands-on experiments across time-series and security foundation models: zero-shot forecasting, evaluation, RAG, and LoRA fine-tuning — from a product management perspective.
该项目是一组以 Jupyter Notebook 形式记录的动手实验，从产品管理视角探索基础模型的生命周期：使用 Cisco CTSM 进行单变量零样本时序预测并测试噪声、缺失数据和异常下的鲁棒性；在本地以 Q4_K_M GGUF 量化运行 Cisco Foundation-Sec-1.1-8B-Instruct 安全领域模型，构建评测数据集并从分类准确率、MITRE 技术映射、证据完备性、延迟等多维度评分；用 TF-IDF 与语义向量检索对比实现安全策略 RAG，诊断检索、生成与拒答等失败模式；并在 Qwen2.5-0.5B 与 Foundation-Sec 上对比 LoRA 微调效果。仓库保留了每项实验的原始数字、失败模式与局限性说明，并给出面向产品团队的经验总结和平台能力建议。
Agent 与工作流05
现在的 AI Agent 做决定时，通常是先写一段文字或 JSON，然后由外部软件去猜它到底选了什么。TypeSafe 推出的 Jev 改变了这一点：它直接把“决定”本身作为输出，比如从几个选项里选一个、打个分数，或者回答是/否，并且给出这个决定的可信度概率。这样做的意义是，Agent 在思考和行动之间那些原本藏在文字里的判断，比如下一步该做什么、证据够不够、某个操作风险大不大，现在都能被记录下来、评估和审计。Harness 已经在评测、模型路由和风险打分等生产环境中试用了这个方案。
文中可用工具
- JevTypeSafe 推出的决策模型，直接输出带概率的类型化决定（Choice、Score 或 Noul），而非生成文本。
- Harness在生产环境中测试 Jev 决策原语，应用于评测、模型路由和风险打分。
- RLCDJev 训练所用的目标函数，全称“面向校准决策的强化学习”，旨在让模型输出的概率具有实际意义。
行业动态06
OpenAI 提出了一份关于全球人工智能标准建设的路线图，核心是呼吁各方在评估、报告和治理上加强协调，以提高 AI 安全性。简单说，就是希望各国、各机构在判断 AI 是否安全、如何公开信息、由谁来管这些问题上，别各搞一套，而是尽量用统一的方法。目前这只是一个倡议和方向，具体标准内容、落地时间以及哪些国家或组织参与都还没有公布。对普通读者来说，这意味着未来 AI 产品的安全门槛和信息披露方式可能逐渐走向一致，但短期内还看不到实际变化。
学习与研究07
phoebefu6/learn-ai-pm-with-phoebe · Decide what to build, and why. Two-track course on AI-assisted product management, with a spec scorer that runs six real checks over your own PRD.
这是一个免费的、浏览器内运行的 AI 辅助产品管理互动课程，包含面向管理者的 6 节领导轨和面向产品经理的 10 节 PM 轨，共 16 节课。核心实验室是一个基于 PRD 文本的 spec 评分器，对“问题有证据、用户明确、成功可衡量、非目标已声明、边界情况已决策、权衡已明确”六项做真实检查，并提供五档渐进评分与自行评分功能。