AI Foundation Models Lab：从产品管理视角动手探索基础模型的零样本预测、评测、RAG 与 LoRA 微调

核心能力与快速开始

★ 0 · Jupyter Notebook

能做什么

包含两条实验主线。时序方向：以 Cisco CTSM 1.0（250M 参数、Apache-2.0、decoder-only transformer）通过 cisco-tsm PyPI 包在 CPU/Apple Silicon 上加载，对合成 CPU 利用率序列做零样本预测，并在噪声、缺失数据、异常三种压力下评估预测误差变化。安全模型方向：本地以 Q4_K_M GGUF 量化运行 Foundation-Sec-1.1-8B-Instruct（Llama-3.1 基础上继续预训练的 8B 安全模型），构建 12 与 30 场景的合成评测集，按分类准确率、MITRE ATT&CK 技术精确率/召回率、证据支撑、拒答、一致性、延迟等 8 个独立维度打分；用 TF-IDF 与 sentence-transformers + ChromaDB 语义嵌入两种检索方式搭建安全策略 RAG 知识库，对比检索质量、答案正确性并区分检索失败、生成失败与未拒答；用 LoRA 在 Qwen2.5-0.5B 与 Foundation-Sec 上做窄任务微调对比。同时给出面向产品管理的失败模式分类、请求链路可观测性设计与平台能力建议文档。

适用场景

适合想从产品与评测视角理解基础模型实际行为的读者，包括：动手了解零样本时序预测在噪声与数据缺失下的退化表现；在本地无 API 依赖地试用和评测安全领域 LLM；对比 TF-IDF 与语义向量检索在领域知识库上的检索质量差异；研究 RAG 的失败模式（如未拒答、引用不忠实）而非只看准确率；在决定是否微调前先建立评测基线并判断是否处于天花板效应；为 SOC 等交互式场景评估模型延迟是否可接受。

项目形态

研究实现

部署方式

以本地 Jupyter Notebook 运行；时序模型通过 cisco-tsm 包在 CPU/Apple Silicon（MPS）上运行，安全 LLM 通过 llama-cpp-python 与 Metal 加速本地推理，采用 Q4_K_M GGUF 量化以适应统一内存限制；RAG 使用本地 sentence-transformers 与 ChromaDB，不依赖 API key 或服务器。README 未给出完整的系统与依赖安装步骤。

主要依赖

未说明统一的硬件与依赖清单。可从材料推断：安全 LLM 全精度权重约需 16GB 内存，故改用 Q4_K_M 量化；本地向量检索依赖 sentence-transformers 与 ChromaDB，安全模型推理依赖 llama-cpp-python，时序模型依赖 cisco-tsm。其余环境要求未说明。

使用限制

评测数据集为合成场景（12 与 30 场景），非真实生产负载；时序实验使用合成 CPU 利用率序列，缺失数据下误差呈非单调变化，作者明确不作趋势化解读；RAG 自动化关键词评分与人工复核结果存在差异，README 保留原始分数并另附更正说明；未答问题上的拒答率在基线与 RAG 条件下均为 0/3；引用忠实性仅为事后人工审计发现，记录脚本未评分；部分结论基于单一机器与少量样本，LoRA 在安全模型上呈天花板效应。README 未说明许可证具体条款（NOASSERTION），也未说明 API 成本与商用限制。

许可证

NOASSERTION

最近推送

2026-09-22 01:26

资料检查：2026-09-23 07:00 · 卡片整理：2026-09-23 09:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

产品经理

产品经理可参考该仓库从产品管理视角进行的基础模型实验，包括零样本时序预测、安全领域模型评测、RAG 与 LoRA 微调对比，以及面向产品团队的经验总结和平台能力建议，用于理解基础模型生命周期、评估模型质量与延迟等产品权衡。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证