学习与研究AI 资源

TinyCeNN-LM：用细胞神经网络循环状态核替代 Transformer 层的小模型研究

vtavakkoli/TinyCeNN-LM · Tiny language-model research lab exploring Cellular Neural Network (CeNN) recurrent state cores as alternatives to Transformer layers, with distillation, shared-weight iteration, and efficiency benchmarks.

GitHub原文发布未知首次收录 2026-09-22上架 2026-09-22 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

TinyCeNN-LM 是一个小型语言模型研究项目，探索用细胞神经网络（CeNN）循环状态核作为 Transformer 注意力层的替代方案，尝试在保留预训练语言模型能力的前提下减少部分注意力层的开销。仓库覆盖 SmolLM2、Qwen3.5、FunctionGemma 和 Gemma 4 等模型，包含蒸馏、共享权重迭代、缓存解码、质量/速度/内存对比评测，并保留负面结果与消融实验；当前主张先做选择性替换，通过表示相似度与模型级损失门控逐个接受替换层。

# 学习与研究 # google-colab # deep-learning # 开源模型 # 模型微调

核心能力与快速开始

★ 1 · Jupyter Notebook

能做什么: 提供细胞神经网络（CeNN）循环状态核替代 Transformer 注意力层的研究实现，涵盖 Integrated Memory（保守选择性替换）、PDelta3-GDN2-CLVR（循环/增量记忆替换）、MemoryFusion、AMCeNN/Top-2 与原始 TinyCeNN 等架构族。包含蒸馏、共享权重迭代、缓存解码、门控接受流程，以及质量、速度、内存和可训练参数规模的对比基准。仓库保留负面结果与消融记录，并用 MODEL_STATUS.md 标注各模型/笔记本的保留、归档与发布状态。
适用场景: 适合研究者在 SmolLM2、Qwen3.5、FunctionGemma、Gemma 4 等小模型上实验注意力层替换与循环记忆架构；用于复现和对比 CeNN/循环记忆方案的效率与质量权衡；用于分析负面结果、消融实验与选择性替换策略；也可作为在 Colab 中开展小模型蒸馏与参数效率实验的起点。
项目形态: 研究实现
部署方式: 未说明；README 提供本地 git clone 与 pip install -e . 的安装方式，主要实验以 Colab notebook 形式运行。
主要依赖: 未说明具体硬件与显存要求；README 提到 GPU 结果尚未确立，实验环境涉及 Jupyter Notebook、Python 虚拟环境与 PyTorch。
使用限制: GPU 结果尚未建立；Gemma 4 等目标仍属实验性，未提升为已验证的胜出方案；未完成严格门控的运行不能作为适配模型优于基座模型的证明；未通过门控时保留原预训练机制；部分笔记本为 legacy/ablation 轨迹，需先查阅 MODEL_STATUS.md 再引用。
许可证: MIT
最近推送: 2026-09-22 05:50

核对 README 依据 ↗

资料检查：2026-09-22 07:00 · 卡片整理：2026-09-22 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

AI Foundation Models Lab：从产品管理视角动手探索基础模型的零样本预测、评测、RAG 与 LoRA 微调

该项目是一组以 Jupyter Notebook 形式记录的动手实验，从产品管理视角探索基础模型的生命周期：使用 Cisco CTSM 进行单变量零样本时序预测并测试噪声、缺失数据和异常下的鲁棒性；在本地以 Q4_K_M GGUF 量化运行 Cisco Foundation-Sec-1.1-8B-Instruct 安全领域模型，构建评测数据集并从分类准确率、MITRE 技术映射、证据完备性、延迟等多维度评分；用 TF-IDF 与语义向量检索对比实现安全策略 RAG，诊断检索、生成与拒答等失败模式；并在 Qwen2.5-0.5B 与 Foundation-Sec 上对比 LoRA 微调效果。仓库保留了每项实验的原始数字、失败模式与局限性说明，并给出面向产品团队的经验总结和平台能力建议。

ClawAI：本地优先的多模型 AI 编排与智能路由平台

ClawAI 是一个开源、本地优先的 AI 编排平台，通过统一界面跨多个云与本地模型提供商编排 AI 模型。它提供多提供商路由、基于本地评判模型的智能模型选择、安全密钥管理、聊天与记忆、文件处理与 RAG、高级对话编排、工作区接地、桌面 Agent 运行时、图片与文件生成、审计与可观测性以及基于角色的访问控制，后端由 17 个独立 NestJS 微服务组成。

Needle：面向微型设备的端侧自动化基础模型

Needle 是 Cactus Compute 推出的面向手机、可穿戴设备、机器人、智能家居、汽车和微控制器的端侧基础模型。整个模型是单个 8-29 MB 的二进制文件，基于 Simple Attention Network，牺牲通用聊天能力，换取在移动端工具调用上超越体积大 10 倍的模型，并在结构化抽取上比肩 2-3 倍大的模型。它支持工具调用、结构化抽取和文本嵌入，逐 token 受字节级语法约束，每次响应附带校准后的置信度分数。项目提供 Python 包、预构建的部署引擎、本地微调工具以及多篇使用指南。

learn-from-materials：把 PDF、书籍和论文转化为可追溯的交互式学习网页

learn-from-materials 是一个基于开放 Agent Skills 规范构建的跨代理学习技能，可将 PDF、EPUB、MOBI/AZW、DOCX、PPTX、HTML、Markdown、TXT、RTF 及多文件材料集转化为可追溯的知识库、自包含的交互式学习 HTML 页面和同步 Markdown。它支持「快速概览」和「系统学习」两种学习深度，提供页码/幻灯片/章节级来源映射、覆盖率审计、来源哈希与增量更新校验，并明确区分材料事实、模型补充内容和外部验证内容。该技能默认离线运行、不自动安装依赖，笔记与学习者档案仅保存在浏览器本地存储中，需在具备文件读取和 Python 执行能力的代理环境中使用。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。