SLM Industrial Gateway：面向工业与矿业领域的本地小模型推理网关

核心能力与快速开始

★ 0 · Python

能做什么

提供 OpenAI 兼容的 /v1/chat/completions 接口，通过路由、分析、维护建议、校验与安全合规等多智能体流水线处理工业/矿业领域对话；支持工具调用，包括 DuckDB SQL 查询、Z-score 异常检测与 RUL 剩余寿命计算；通过 Pydantic 输入校验、SQL 白名单校验（仅允许 SELECT/WITH/EXPLAIN/DESCRIBE/SHOW，单语句、无破坏性关键字）、数值忠实度校验与固定物理设计限值审计形成多层护栏；提供独立于对话路径的 POST /v1/pdm/diagnose 多指标资产诊断端点（不依赖 SLM，未加载模型也可用）；Plant gateway 支持 MQTT / OPC UA / Modbus / REST 遥测接入与单一动作输出；提供 GGUF 推理引擎基准测试脚本与离线智能体评测脚本；包含离线 QLoRA（Unsloth + TRL SFTTrainer）微调流程产出 LoRA 适配器并转换为量化 GGUF 模型；提供 /v1/models、/health、/metrics 端点与 Prometheus 指标。

适用场景

在工业与矿业场景中以本地/离线方式部署领域适配的小模型对话服务，并保持 OpenAI 接口兼容以便现有客户端接入；对现场设备时序数据做异常检测与剩余寿命（RUL）评估；通过受控的 DuckDB 查询对工业数据集做只读分析；在 3 秒时限内将工厂遥测转化为受安全护栏约束的运维动作（保持、调整设定点、报警）；为设备健康诊断系统（如 SCADA/历史数据库）提供多指标资产诊断接口；使用离线评测脚本在自有提示集上量化智能体行为与安全拦截情况。

项目形态

开发框架

部署方式

设计为 on-prem 本地部署，推理路径无网络依赖；评测与训练为离线流程，不运行在请求路径中。其余部署细节材料未说明。

主要依赖

Python 项目；推理基于 llama.cpp / llama-cpp-python 与 GGUF 量化模型；微调使用 Unsloth + TRL SFTTrainer（QLoRA）。基准测试使用的环境为 AMD Ryzen 5 2500U 笔记本（4 核 / 8 线程、7 GB 内存）、纯 CPU（n_gpu_layers=0，4 线程，n_ctx=4096）、llama-cpp-python 0.3.2 CPU wheel，模型为 Qwen2.5-3B-Instruct Q4_K_M（2.0 GB）。生产部署的完整硬件与依赖要求材料未说明。

使用限制

基准测试仅覆盖单一模型（3B）与单一量化（Q4_K_M），尚无 FP16 / Q8_0 / Q4_K_M 实测对比；测试硬件为内存紧张（约 2.5 GB 可用且使用 swap）的笔记本，作者说明这些数字是性能下限而非目标硬件表现；测量版本与 requirements.txt 中固定的版本不一致（0.3.2 对 0.3.4，因 Windows/Python 3.10 无预构建 wheel）；样本量较小（5 次运行），无置信区间，会话间差异约 8–15%。离线评测 100 条提示显示 1.5B 基础模型存在严重工具调用缺陷（94/100 被无效工具参数拦截），作者据此建议在生产前先运行自身的 QLoRA 微调；SafetyComplianceAgent 存在已复现的局限：格式错误的 JSON 可能在危险数值不紧邻单位时绕过正则检测；RouterAgent.classify_intent() 已实现并测试但尚未在热路径中调用。

许可证

MIT

最近推送

2026-10-13 08:20

资料检查：2026-10-14 07:00 · 卡片整理：2026-10-14 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证