学习与研究AI 资源

neuron-lens：为 Qwen3-8B 与 Gemma 4 12B 建立神经元和注意力头的可解释性目录

stdlogits/neuron-lens · A catalog of every MLP neuron and attention head of Qwen3-8B and Gemma 4 12B, read from the weights through two Jacobian lenses (R and S), from activations, and from their exact token drivers

GitHub原文发布未知首次收录 2026-11-04上架 2026-11-04 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

neuron-lens 是一个面向大模型机制可解释性的开源项目与数据目录。它针对 Qwen3-8B 和 Gemma 4 12B 两个开放模型，通过 R-lens、S-lens 等基于雅可比的透镜方法，从权重、激活统计和精确 token 驱动三个角度分析每个 MLP 神经元（正负极）和每个注意力头，并公开目录数据集、透镜权重和分析结论；对 Gemma 4 12B 还额外覆盖图像与声音模态的神经元响应。

# LLM # multimodal # mechanistic-interpretability # attention-heads # logit-lens

核心能力与快速开始

★ 38 · Python

能做什么: 从权重（R-lens/S-lens 雅可比透镜）、15M token 激活统计和精确 token 驱动三个层面，为 Qwen3-8B 的 442,368 个神经元和 1,152 个注意力头、Gemma 4 12B 的 737,280 个神经元和 768 个注意力头生成结构化解读；提供公开数据集目录、透镜权重、方法文档和发现报告，并对 Gemma 4 扩展图像与声音模态分析。
适用场景: 供机制可解释性研究者检查单个神经元/注意力头的触发 token、写入方向与语义标签；比较不同透镜在模型各深度层级的可靠性；研究神经元预测与抑制行为、跨模态神经元响应，或作为教学与研究参考资料。
项目形态: 资料合集
部署方式: 未说明
主要依赖: 未说明；README 仅提及单张 H100 上拟合透镜的耗时参考，未给出完整硬件、软件依赖或运行环境要求。
使用限制: 覆盖范围限于 Qwen3-8B 与 Gemma 4 12B 两个模型；不同层级的透镜读数可靠性不一，中段层从输入侧和写入侧都较难解读；读数描述方向而非效应强度；未说明许可证之外的使用、商用与成本限制。
许可证: MIT
最近推送: 2026-11-03 20:39

官方入门项目文档核对 README 依据 ↗

资料检查：2026-11-04 07:00 · 卡片整理：2026-11-04 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

Cooking AGI：双语机器学习与大语言模型学习笔记与面试准备资料

Cooking AGI 是一套中英双语的 ML 与 LLM 学习笔记，围绕可跟做、可运行或可回放的示例展开，并配有逐步图示和论文原图来源。内容覆盖模型原理、训练与后训练、推理、检索、Agent、评测、AI 基础设施与具身智能等主题，同时提供面试复习、ML 编程练习、Python 与算法模式、系统设计等准备材料。项目还提供可在 Claude Code 或 Codex 中运行的面试教练技能，用于基于笔记进行模拟面试。README 说明笔记采用 CC BY 4.0、代码采用 MIT，并可本地构建站点。

OpenInference：面向 AI 应用的 OpenTelemetry 追踪规范与插件

OpenInference 是 OpenTelemetry 的补充规范和插件集合，用于对 AI 应用进行追踪，可观察 LLM 调用、向量库检索以及搜索引擎、API 等外部工具的使用。它提供与传输方式和文件格式无关的规范，并为多种机器学习 SDK 和框架提供多语言插桩，包括 OpenAI、LangChain、LlamaIndex、Anthropic、MistralAI、Bedrock、VertexAI、CrewAI、Haystack、DSPy、MCP 等。它原生支持 Arize Phoenix 和 Arize AX，也可接入任何兼容 OpenTelemetry 的后端。

Dossier：自托管的求职管理应用，依据个人档案生成定制简历与求职信并跟踪申请进度

Dossier 是一个自托管的求职管理应用，使用 TypeScript 和 Next.js 构建、以 PostgreSQL 存储数据。它把职业经历集中在一个档案中，生成基础简历；针对具体职位，读取招聘信息、展示与档案的匹配情况，并用档案中的事实起草定制简历和求职信，用户可在聊天中修改并导出 PDF。它提供求职岗位搜索与评分、创业公司职位聚合、可选的每日求职 Agent、Claude 连接器，以及可选的 Gmail 与 Google Calendar 集成，并能用看板和数据表跟踪从草稿到 offer 的全流程。AI 模型可选用 Ollama 或 LM Studio 提供的本地模型，也可选用任意 OpenAI 兼容 API、Anthropic 或 Mistral 的托管模型。

midgley：基于 LLM 多智能体的汽油价格预测框架

midgley 是一个用 Python 实现的多智能体时间序列预测框架，目标是预测美国批发 RBOB 汽油期货和多个都市区的零售无铅汽油价格。它把 Gemini、NOAA 天气模型、海运与内河咽喉点、行政社媒缺口、Cboe OVX、Baker Hughes 钻机数、USGS 水文与地震、炼厂检修等非结构化与物理数据，融合为特征向量，再结合 RB=F、CL=F、BZ=F 等商品期货，用 Ridge 回归与 XGBoost 建模，并通过情景模拟器、预测日志和每周复盘反馈回路迭代模型。项目还自动生成公开 Web 仪表盘，展示各地预测、准确率和数据源目录。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。