评测与安全工具
Consistency Illusion：多智能体辩论中的跨智能体推理对齐评测与 GDP 协议
wangxiaoyang0412/consistency-illusion · [EMNLP 2026 Main] The Consistency Illusion: CARA metrics for cross-agent reasoning alignment in multi-agent LLM debate, and the Grounded Debate Protocol (GDP) for medical QA
ELI5：它是什么，解决什么问题
该项目是 EMNLP 2026 论文《The Consistency Illusion》的官方代码与数据仓库，提出 CARA（跨智能体推理对齐）系列自动指标，用于衡量多智能体 LLM 辩论系统在答案一致时推理链是否真正一致，并揭示“一致性幻觉”——辩论虽减少表面矛盾，却可能降低推理语义相似度。仓库同时给出 Grounded Debate Protocol（GDP）提示级方案，通过 CLAIM/GROUND/STANCE 结构化推理在不增加 LLM 调用与智能体路由的前提下修复推理对齐。仓库包含 CARA 实现（步骤分解、DeBERTa-v3 NLI 矛盾检测、Stella 嵌入相似度、CARA-HYB）、GDP 与 M3 提示构建器，以及论文各表格、效应量、附录分析的复现脚本与逐题分数数据。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 提供 CARA（Cross-Agent Reasoning Alignment）系列自动指标：将智能体推理链分解为步骤，用 DeBERTa-v3 NLI 模型（阈值 0.7）标记步骤对矛盾，非矛盾对用 Stella 嵌入余弦相似度打分，经 CARA-HYB 最优匹配、双向对称化并在 [0,1] 重缩放得到对齐分数；同时输出矛盾率（CR）、CARA-SIM、CARA-GT（与专家推理对齐）等度量。提供 Grounded Debate Protocol（GDP）提示构建器，把每个推理步骤格式化为 CLAIM（可证伪的临床断言）加 GROUND（事实、机制或指南依据），辩论轮中智能体对其他智能体的具体主张添加 STANCE（同意/不同意/扩展）。仓库还包含复现论文表格、效应量与附录分析的脚本、逐题 CARA 分数、GPT-4o 评判分数、失败模式分类及人工标注数据。
- 适用场景
- 用于评估多智能体 LLM 辩论系统答案一致时推理是否真正对齐，识别表面共识掩盖的推理分歧；用于医学问答（MedQA-USMLE、MedThink-Bench）场景下智能体辩论可靠性的研究分析；用于复现论文中的 CARA-HYB、CARA-SIM、矛盾率、CARA-GT 及 GDP 效果量等实验结果；作为在自有辩论轨迹上运行 CARA 评分流程的工具。
- 项目形态
- 研究实现
- 部署方式
- 论文数据复现无需 GPU、无需 API key、无需安装包，仅使用 Python 标准库读取 data/ 中已发布记录；CARA 完整评分流程运行新轨迹时报告约每小时 9,000 条轨迹（单张 RTX 4090）。要求 Python 3.11+。
- 主要依赖
- 分析脚本仅依赖 Python 标准库（Python 3.11+）；CARA 完整评分流程需要 DeBERTa-v3 NLI 模型与 Stella 嵌入模型，仓库未说明相关 API 成本或额外硬件要求。
- 使用限制
- CARA 仅在多数答案的同意集合中至少有 2 个智能体时才计算；NLI 矛盾判定阈值固定为 0.7；GDP 为提示级改动，效果依赖具体后端与数据集，仓库未说明通用性范围；数据集需从原出处获取；未说明部署环境与商用限制。
- 许可证
- MIT
- 最近推送
- 2026-10-13 08:33
资料检查：2026-10-14 07:00 · 卡片整理：2026-10-14 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
职业应用
程序员
在开发多智能体 LLM 辩论系统时，使用仓库中的 CARA 实现（步骤分解、DeBERTa-v3 NLI 矛盾检测、Stella 嵌入相似度、CARA-HYB）对智能体推理链进行跨智能体推理对齐评测，并可用 GDP 提示构建器生成 CLAIM/GROUND/STANCE 结构化提示来修复推理对齐。
查看内容依据
This repository contains the CARA implementation, the GDP prompts, the per-question scores behind every number in the paper, and the scripts that recompute them.
由 AI 根据来源材料整理，未进行安装或运行验证
产品经理
在评估多智能体 LLM 医疗问答系统的可靠性时，使用 CARA 指标衡量智能体答案一致时推理链是否真正一致，识别“一致性幻觉”，并参考 GDP 提示级方案在不增加 LLM 调用与智能体路由的前提下改善推理对齐。
查看内容依据
We introduce **CARA** (Cross-Agent Reasoning Alignment), a family of automated metrics that measure whether agents who agree on an answer also agree on the reasoning.
由 AI 根据来源材料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。