adimalkar/multimodal-fraud-detector · Multi-agent AI pipeline that detects generative-AI fraud in insurance claims across images, PDFs, and video. A "Jury System" of Qwen-VL vision analysis plus DeepSeek-R1/Qwen/GLM critic agents with majority voting — dashcam-aware, batch-capable, Streamlit UI.
该项目是一个面向保险理赔场景的多智能体 AI 流水线，用于识别图像、PDF 文档和视频中的生成式 AI 伪造内容。其核心是“陪审团系统”架构：由 Qwen-VL-Plus 视觉智能体做取证分析，再把结论交给 Qwen Turbo、DeepSeek R1、GLM 4.6 等评论智能体独立评估并多数投票。功能包括多模态输入（视频通过抽帧）、针对行车记录仪的运动模糊与 AI 平滑伪影区分协议、基于 SQLite 的批量处理，以及 Streamlit 交互式仪表盘。
展开详情收起详情：multimodal-fraud-detector：多智能体多模态保险理赔欺诈检测流水线⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-24
okht/eval-pi · 面向 AI 产品经理，一句话完成 Agent 的评测与调优。
EvalPi 是一个面向 AI 产品经理的工具，目标是让用户结合 PRD 与评测标准，用一句话完成 Agent 的评测、问题分析、调优与效果验证。README 未提供安装方式、部署环境、依赖条件或使用限制等信息。
展开详情收起详情：EvalPi：面向 AI 产品经理的一句话 Agent 评测与调优工具⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-24
harness/harness-evals · Harness Evals
harness-evals 是一个开源的 AI 评测框架，用于评测 LLM Agent、提示词与结构化输出。其每个指标输出 0.0–1.0 的归一化 Score，并通过可配置阈值判定通过与失败。指标按正确性、有据性、安全性、轨迹和性能五个维度组织，支持数据集读写、提示词模板、目标调用、生产轨迹导入、基线对比等功能，并提供 YAML 配置的 CLI 运行方式与代码优先的 run_eval() 一行调用，可配合 pytest 和 CI 使用。
展开详情收起详情：harness-evals：面向 LLM Agent、提示词与结构化输出的开源 AI 评测框架⌄
★ 28 · 开发框架
GitHub
原文发布：未知收录：2026-09-23
spring-ai-community/spring-ai-typesafe · A Java SDK for the TypeSafe AI JEV API, & Spring AI TypeSafe integrations.
该项目为 TypeSafe AI 的 System One（jev）API 提供 Java 客户端，基于 Spring RestClient 与 Jackson 3 构建，并提供 Spring AI 集成，可作为模型即评审、护栏、RAG 后处理器与工具索引使用。其核心思路是将状态与一组类型化问题提交给 API，并行获得结构化答案（Noul、Choice、Score），而非文本生成。项目包含 typesafe-java-sdk、typesafe-spring-ai、spring-ai-starter-typesafe、typesafe-bom 及示例模块。
展开详情收起详情：Spring AI TypeSafe：TypeSafe AI System One API 的 Java SDK 与 Spring AI 集成⌄
★ 29 · 开发框架
GitHub
原文发布：未知收录：2026-09-23
roshcompanylabs/llm-stream-guardrails · LLM guardrails for streaming: redact PII and secrets mid-stream
llm-stream-guardrails 是一个 TypeScript 库，用于在 LLM 流式响应过程中实时检测并遮盖 PII、API 密钥、私钥等敏感内容，无需先缓冲完整回复再过滤。它接收任意字符串异步可迭代对象（可直接接入 Vercel AI SDK 的 textStream，OpenAI/Anthropic SDK 需一行映射），承诺对任意输入、策略与分块方式，流式输出与整串过滤结果逐字节一致且每个输出块独立完整。内置 email、信用卡（Luhn 校验）、电话、SSN、IBAN（mod-97）、35 类密钥形态及 PEM 私钥块检测器，并支持按字段名识别的 labeledSensitive 与自定义敏感标签。仓库定位为纵深防御而非合规控制，作者明确说明对未见文本的召回率约 47%–81%，不能替代其他安全措施。
展开详情收起详情：llm-stream-guardrails：流式响应中实时脱敏 PII 与密钥的 LLM 护栏⌄
★ 0 · 开发框架
GitHub
原文发布：未知收录：2026-09-23
Heimel-open/Heimel · HEIMEL Intent. Realized. HEIMEL is open infrastructure for the transition from intent to consequence.
HEIMEL 是一套面向后果承载执行的授权治理基础设施，位于现有身份、策略与执行系统之间，在意图落地为真实效果的那一刻判断其是否具备当前授权。它不替换 IAM 或策略引擎，而是把决策、精确效果、许可与回执绑定，并通过 Gateway 强制唯一受治理的效果路径，由 Veritas 保留可归因的证据。仓库包含本地参考运行时，支持本地授权、执行、回放与证据查验，并提供标准授权演示、可执行授权演示和回放演示。
展开详情收起详情：HEIMEL：在意图转化为实际后果前进行授权治理的基础设施⌄
★ 6 · 开发框架
GitHub
原文发布：未知收录：2026-09-23
joshuakoplik/soc-lab · A SOC lab for studying LLM agents on both sides of the boundary: vulnerable dockerized targets emitting real telemetry, a deterministic ingest/detect pipeline, and triage + red-team agents on top — plus a harness measuring prompt-injection resistance.
soc-lab 是一个用于研究安全运营中心（SOC）内 LLM 智能体行为的研究环境，由三部分组成：刻意存在漏洞、可输出真实遥测的 Docker 靶机实验场；确定性的数据摄取、规范化与检测流水线（结果落入 SQLite，不涉及模型）；以及构建在其上的两类智能体——蓝队分诊智能体和红队智能体。项目还在日志 schema 中按“可信度”而非类型划分列，把攻击者可控字段与基础设施断言字段结构分离，并通过 injection_asr 测试框架对比开启/关闭信任边界防护时，分诊智能体对提示注入的抵抗程度。项目定位为研究工具而非安全产品，包含未沙箱化的工具能力和真实 iptables 网络封锁行为。
展开详情收起详情：soc-lab：在 SOC 场景中研究 LLM 智能体攻防与提示注入抗性的安全实验环境⌄
★ 0 · 研究实现
GitHub
原文发布：未知收录：2026-09-23
kousalya-pm/ai-foundation-models-lab · Hands-on experiments across time-series and security foundation models: zero-shot forecasting, evaluation, RAG, and LoRA fine-tuning — from a product management perspective.
该项目是一组以 Jupyter Notebook 形式记录的动手实验，从产品管理视角探索基础模型的生命周期：使用 Cisco CTSM 进行单变量零样本时序预测并测试噪声、缺失数据和异常下的鲁棒性；在本地以 Q4_K_M GGUF 量化运行 Cisco Foundation-Sec-1.1-8B-Instruct 安全领域模型，构建评测数据集并从分类准确率、MITRE 技术映射、证据完备性、延迟等多维度评分；用 TF-IDF 与语义向量检索对比实现安全策略 RAG，诊断检索、生成与拒答等失败模式；并在 Qwen2.5-0.5B 与 Foundation-Sec 上对比 LoRA 微调效果。仓库保留了每项实验的原始数字、失败模式与局限性说明，并给出面向产品团队的经验总结和平台能力建议。
展开详情收起详情：AI Foundation Models Lab：从产品管理视角动手探索基础模型的零样本预测、评测、RAG 与 LoRA 微调⌄
★ 0 · 研究实现
GitHub
原文发布：未知收录：2026-09-23
dthinkr/openrouter-uptime · Independent uptime registry for every OpenRouter model. Polled every 30 min, raw + derived + incidents, keyless
该项目为 OpenRouter 上每个模型及其各推理提供方建立独立的可用性注册表，通过两个采集器每 15 分钟轮询 OpenRouter 公共 API（无需 API Key），记录约 400 个目录模型、约 1150 个路由端点的状态，并以带时间戳的快照形式提交原始响应与派生数据。仓库提供 raw/、derived/、status/ 三类数据，包括逐端点状态 CSV、最新快照、只追加的故障日志与模型/提供方变更日志，用于重建任意端点的历史可用性；Parquet 镜像每日同步到 HuggingFace 与 Kaggle。
展开详情收起详情：OpenRouter Uptime：面向 OpenRouter 全模型的独立可用性监测与历史数据集⌄
★ 0 · 资料合集
GitHub
原文发布：未知收录：2026-09-20
phonghhd/EvoNet-AI-Core · Autonomous AI Security Agent leveraging LLMs, RAG, and Knowledge Graphs for automated CVE analysis and auto-patching.
EvoNet-Core 是一个自主 AI 安全代理项目，持续采集 CVE 数据、分析漏洞并生成防御性代码。它集成了四层 AI 路由故障转移（NVIDIA NIM、Groq、Cloudflare AI、本地 Ollama）、知识图谱与向量检索结合的 Graph RAG（Pinecone + Neo4j）、基于 PPO 的强化学习防御策略、MITRE ATT&CK 映射、EPSS 评分以及人工审批环节，并提供 FastAPI 后端、Web 仪表盘、CLI 工具和 Telegram 机器人接口。项目基于 Python 开发，采用 Apache-2.0 许可。
展开详情收起详情：EvoNet-Core：自主 AI 安全代理，自动进行 CVE 分析与补丁生成⌄
★ 4 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-20
themanoj-025/AegisAI · AegisAI is an AI-powered security code review agent that analyzes GitHub pull requests, detects vulnerabilities, validates findings, redacts secrets, and posts actionable inline feedback before insecure code reaches production.
AegisAI 是一个基于 AI 的安全代码审查代理，通过 GitHub Webhook 接收 pull request 事件，提取 diff，经 Redis 队列交由 RQ Worker 处理：过滤噪声文件、重定向敏感信息、调用 Claude 或 GPT-4o 检测 12 类以上漏洞（SQL 注入、XSS、命令注入、硬编码密钥等），校验发现后以行内评论形式回写到 PR。项目使用 FastAPI + Redis + RQ 架构，提供 Docker 多阶段构建、HMAC-SHA256 签名校验、幻觉防护、Webhook 重试与死信队列及 Prometheus 指标。
展开详情收起详情：AegisAI：面向 GitHub PR 的 AI 安全代码审查代理⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-19
Kenny27lokku/prompt-integrity-validator · Lint Your Prompts, Ship Better Agents – Prompt Refiner 2026 Rule Engine
Prompt Lint 是一个面向 AI 提示词模板的静态分析引擎，对发送给 Claude、ChatGPT、Gemini 等 LLM 的提示词做确定性的规则检查，而不改写内容。它提供 PR001–PR-INJ03 共 47 条规则，覆盖角色混淆、注入面暴露、分隔符逃逸、长度与冗余指令等问题，并支持 CLI、CI/CD 集成、JSON 与 HTML 报告、本地 Web 仪表盘以及通过自有 API Key 调用 OpenAI 与 Anthropic 接口进行模型特定校验。
展开详情收起详情：Prompt Lint：AI 提示词静态分析与规则校验工具⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-18
NakodaInfotech/pk-drop-in-auth · The 2026 Passkey Developer Starter Kit – Build AI-Ready Login
BioGate 是一个实验性的仿生认证编排层，围绕 passkey/WebAuthn/FIDO2 构建身份边界，通过设备指纹与行为生物特征进行模式识别、基于机器学习的信任分数自适应更新以及异常检测与会话隔离，并提供可选的开源模型 API（OpenAI、Claude）接入以实现风险评分。README 声明其为实验性项目，不建议未经安全审计用于生产环境。
展开详情收起详情：BioGate：基于通行密钥的仿生身份认证编排层⌄
★ 0 · 开发框架
GitHub
原文发布：未知收录：2026-09-18
pixeltable/pixeltable-vs-supabase-vs-convex · One video intelligence app built three ways, on Pixeltable, Supabase and Convex. Every number measured, all three executed, tradeoffs stated.
该仓库用同一份应用契约（视频抽帧、语音转写、多模态嵌入、场景检测与问答）在 Pixeltable、Supabase、Convex 三个平台上各实现一遍，并公开可复现的代码行数、编排跳数、延迟等指标与测试套件（契约测试、差分测试、韧性测试）。材料同时给出各平台在不同条件下胜负的权衡说明，包括作者承认 Pixeltable 在摄入与检索延迟上落后的场景，并明确指出实时能力、行级安全、托管数据库等场景下结论会改变。
展开详情收起详情：Pixeltable vs Supabase vs Convex：同一视频智能应用三种实现的量化对比基准⌄
★ 0 · 资料合集
GitHub
原文发布：未知收录：2026-09-18
wahhyun/llm-eval · Evaluate large language models with tools for performance and consistency scoring as part of the llm-cpp C++ infrastructure toolkit.
llm-eval 是一个用 C++ 编写的小型 LLM 提示测试工具，通过多次运行同一提示并比较回答，评估语言模型的回答一致性与稳定性，给出评分并标记差异过大的情况。它无需额外依赖，可单头文件形式嵌入 C++ 项目，也提供了可直接运行的 Windows 程序。
展开详情收起详情：llm-eval：LLM 提示一致性与稳定性测试工具⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-18
NVIDIA/SkillSpector · Security scanner for AI agent skills. Detect vulnerabilities, malicious patterns, security risks, prompt injection, data exfiltration, and supply-chain risks in Claude Code, Codex, and MCP skills before you install them.
SkillSpector 是 NVIDIA 发布的 AI agent 技能安全扫描器，用于在安装 Claude Code、Codex、Gemini CLI 等 agent 技能前发现漏洞、恶意模式、提示注入、数据外泄和供应链风险。它支持扫描 Git 仓库、URL、zip、目录或单个文件，内置 71 个漏洞模式（覆盖 17 个类别），采用静态分析加可选 LLM 语义评估的两阶段分析，并可输出终端、JSON、Markdown 和 SARIF 报告，同时提供 0-100 风险评分与基线误报抑制功能。项目还可作为 MCP 服务器运行，把安全扫描作为工具接入 agent 工作流以拦截不安全的技能安装。
展开详情收起详情：SkillSpector：安装前扫描 AI Agent 技能的安全漏洞与恶意模式⌄
★ 17453 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-17
SasanLabs/LLMForge · LLMForge is probably the most modern AI vulnerability lab for OWASP VulnerableApp — real-LLM-backed labs for prompt injection, LLM-orchestrated BOLA, and RAG attacks.
LLMForge 是 OWASP VulnerableApp 的 AI/LLM 漏洞模块，是一个故意存在漏洞的 FastAPI 应用，接入现有的 VulnerableApp-facade 生态，提供针对本地真实 LLM（通过 Ollama 运行）的攻防实验套件，而非模拟响应。它覆盖多个渐进难度的实验：提示注入（10 关，目标是提取系统提示中的隐藏密钥）、间接提示注入（4 关，外部内容中的隐藏指令）、LLM 编排导致的 BOLA（医疗聊天机器人，3 关）、RAG 上下文投毒（3 关）与 RAG 敏感数据泄露（4 关）。每个关卡通过声明式装饰器框架定义并标注已知攻击向量与载荷，用于自动生成关卡 UI 和与 facade 兼容的漏洞清单。项目定位为教育与防御性安全研究。
展开详情收起详情：LLMForge：面向 OWASP VulnerableApp 的真实 LLM 漏洞靶场⌄
★ 11 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-17
recetariodmix/garak · 🔍 Discover vulnerabilities in LLMs with garak, a tool that probes for weaknesses like hallucination, data leakage, and misinformation effectively.
garak 是一个用 Python 编写的 LLM 漏洞扫描工具，通过探测幻觉、数据泄露和虚假信息等弱点，帮助识别大语言模型应用中的安全隐患，并生成报告以呈现潜在风险。
展开详情收起详情：garak：用于探测大语言模型漏洞的安全扫描工具⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-09-17
cloudflare/security-audit-skill · A coding-agent skill for multi-phase security audits with independently verified, machine-readable findings
这是 Cloudflare 开源的一个编码智能体技能（skill），用于对代码库执行多阶段安全审计。它把审计流程拆成六个阶段：侦察、基于覆盖台账的漏洞猎取、候选发现验证、结构化输出、独立记录复核和与目标无关的报告生成。审计结果以机器可读的 findings.json 输出，并区分 confirmed、needs_validation 和 rejected 三种结论，配合零依赖校验脚本验证覆盖台账与发现记录。多次运行同一仓库的审计是累加的，会复用既往台账与发现来定位覆盖缺口。该技能是 Cloudflare 漏洞发现流水线的单仓起点。
展开详情收起详情：security-audit：将编码智能体变成具备多阶段独立验证流程的安全审计器⌄
★ 7041 · 开发框架
GitHub
原文发布：未知收录：2026-09-17
prometheus/OpenMetrics · Evolving the Prometheus exposition format into a standard.
OpenMetrics 是一个在 Prometheus exposition format 基础上扩展、并保持约 100% 向后兼容的规范项目，目前已迁入 Prometheus 组织并正在推进 OpenMetrics 2.0。仓库提供规范文件 specification/OpenMetrics.md、数据模型 proto proto/openmetrics_data_model.proto，以及提案流程说明（issue 分类标签、正式提案、已接受提案等），供社区讨论和贡献规范变更。
展开详情收起详情：OpenMetrics：将 Prometheus 指标暴露格式演进为开放标准的规范项目⌄
★ 2537 · 资料合集
GitHub
原文发布：未知收录：2026-09-17