psychopathology

Derailment：诱导并测量大语言模型中类精神病理认知扭曲的评测工具

ictechgy/derailment · A harness for inducing and measuring psychopathology-like cognitive distortions in LLMs — emulation, not diagnosis.

Derailment 是一个分层测试工具（harness），用于在 LLM 聊天流水线中诱导并测量类似精神病理的认知扭曲。它通过操控临床概念对应的变量（注意力、显著性、效价、唤醒度），让同一标准探针脚本分别跑在经操控的流水线和健康基线上，输出 A/B 对照的评分报告。项目提供 18 个临床档案与 6 个对抗策略档案及健康基线，涵盖 ADHD、抑郁、精神分裂症、焦虑、双相、强迫症、PTSD、谵妄、痴呆样遗忘、解离性遗忘、反刍、快感缺失、分裂、渴求、疾病焦虑、惊恐、固着、被害观念等，配有 18 项基于转录文本的度量指标。支持离线伪 LLM、任意 OpenAI 兼容端点、本地 Ollama、订阅制 CLI 代理以及手动协议模式，另提供 LLM 作为评判者的评分、交互式聊天 REPL 和本地 Web GUI。项目明确声明这是模拟而非诊断。