← 返回列表
Agent 与自动化工具

CodeAware Studio：AI 编程代理的会话观测与检索自评测

makoy-daniot2001/agent-session-mirror · Best AI Coding Agent Observability Tool 2026 - Self-Bench & Semantic Search

GitHub原文发布 未知首次收录 2026-10-28上架 2026-10-28 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是面向 AI 编程代理的会话观测与分析层，用于记录代理的搜索会话与检索路径，并基于历史数据对检索环节进行自评测：它结合 BM25 关键词检索与语义检索，做混合召回，再用 cross-encoder 重排结果，并提供响应式仪表盘展示检索指标。项目还支持调用 OpenAI、Claude 兼容的 API 为检索流程生成查询变体，并做压力评测。README 说明它只优化检索相关性，不承担代码安全审计职责；本卡片未实际安装或验证该项目。
# semantic-search# 观测性# Agent 审计# 会话记忆# cross-encoder

核心能力与快速开始

★ 0 · HTML

能做什么
捕获并分析 AI 编程代理的搜索会话日志；以 BM25 与语义检索并行混合召回，再用 cross-encoder 重排结果；根据会话反馈做自评测并调整检索权重与阈值；提供命令行分析、benchmark 与仪表盘；可接入 OpenAI、Claude 兼容接口，为历史查询生成查询变体。
适用场景
为已有编码代理补充检索过程可观测性；离线分析历史搜索会话日志；对混合检索与重排流程做定量的相关性评测与调优；用仪表盘查看实时检索指标与延迟。
项目形态
可直接使用的工具
部署方式
README 提供全局 npm 安装及 npx 命令行调用方式，并声称支持 Linux、macOS、Windows，有官方 Docker 镜像；实际部署与可用性未验证。
主要依赖
Node.js v18.0 及以上；可选 OpenAI 或 Anthropic API Key，用于增强查询理解与生成评测查询变体；硬件与网络条件未说明。
使用限制
项目定位为观测与分析工具，不负责安全审计，不阻止不安全代码被检索，自评测优化的是检索相关性而非代码安全性；API 调用的成本与配额限制未说明。
许可证
未说明
最近推送
2026-10-28 05:01
核对 README 依据 ↗

资料检查：2026-10-28 07:00 · 卡片整理：2026-10-28 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

用于观测和分析 AI 编程代理的代码检索会话：记录代理的搜索会话与检索路径，结合 BM25 关键词检索与语义检索做混合召回，再用 cross-encoder 重排结果，并通过仪表盘展示检索指标，帮助程序员评估和改进代理查找代码片段的效果。

查看内容依据
该项目是面向 AI 编程代理的会话观测与分析层，用于记录代理的搜索会话与检索路径，并基于历史数据对检索环节进行自评测：它结合 BM25 关键词检索与语义检索，做混合召回，再用 cross-encoder 重排结果，并提供响应式仪表盘展示检索指标。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

CitationNeeded：可引用来源的混合检索 RAG 引擎

CitationNeeded 是一个面向生产风格的检索增强生成（RAG）服务，采用类型化、可替换的流水线阶段，支持 Markdown/HTML/PDF/文本加载、结构感知分块并保留精确字符偏移，稀疏 BM25 与向量检索混合并可用 cross-encoder 重排，输出带原文引用和 Pydantic 校验结构的答案。项目提供 FastAPI 只读索引服务及 Docker 配置，并附带基于 SciFact（BEIR）的可复现检索评测，报告 Recall@K、MRR、nDCG 等指标及逐阶段延迟。

DocVault：面向 AI Agent 与人类协作的自托管文档知识库

DocVault 是一个自托管的文档知识库，供 AI Agent 写入和检索 PRD、研究报告、架构与设计文档，并供人类审阅、评论和审批。项目采用 Fastify API、PostgreSQL + pgvector、Python 嵌入 worker（nomic-embed-text-v1.5）与 React UI，支持混合语义与关键词搜索、基于 token 的 Agent 接入与 webhook 通知，可通过 Docker 或 Ubuntu 安装脚本部署。

vernLLM：面向 LLM 调用的容错、可观测与管控框架

vernLLM 是一个 TypeScript 的 LLM 调用框架，为每次模型调用提供统一接口与运行时治理能力。它通过适配器接入 OpenAI 兼容服务、Anthropic、Gemini、AWS Bedrock 以及任何可经 HTTP 访问的提供方，并在本进程内内置重试预算、熔断、多提供方回退、限流、缓存与中间件。仓库还包含 Redis 集成（熔断、限流、缓存）、OpenTelemetry 追踪与指标、Bedrock 适配器，以及日志、用量成本、路由、策略、输入输出检查等开发中的扩展包。

retrieval-lab：基于 BEIR 的两阶段 RAG 检索器构建与逐步量化评测实验台

retrieval-lab 是一个检索质量实验项目：以 BEIR（NFCorpus、SciFact、FiQA）为基准，用 NDCG@10、MRR@10、Recall@100 等指标，对两阶段 RAG 检索器（双编码器召回 + 交叉编码器重排）的每一处改动进行测量，包括用 LoRA 微调编码器后发现效果变差的结果也如实保留。项目还计算 oracle 重排上限，区分“相对基线提升”与“占可用提升空间的百分比”，并讨论 qrel 密度、基线 NDCG 等混杂因素的归因分析；后续阶段计划把已验证的检索器接到生成器后面，用与人工标注校准的 LLM-as-judge 评测有据回答。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。