推理与部署01
RafaGonzalezDev/local-inference-setup · Declarative configuration for self-contained launchers of local language models. Includes download manifests, validation scripts, documentation, and .cmd launchers with all inference parameters materialized.
该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。
推理与部署02
rolter-ai/rolter · (WIP) High-performance OpenAI/Anthropic-compatible AI gateway + load balancer in Rust (LiteLLM-proxy alternative)
rolter 是用 Rust 编写的高性能 AI 网关与负载均衡器，作为 LiteLLM-proxy 的替代方案处于活跃开发中。它以 OpenAI/Anthropic 兼容接口代理商业模型供应商，并对自托管的 OpenAI 兼容集群（如多台 vLLM 实例）进行负载均衡，支持缓存感知路由、RBAC 权限控制、免重载配置变更与成本/用量追踪。项目提供数据面网关、带 UI 的控制面、Postgres 存储、Redis 配置热更新和 ClickHouse 请求日志等组件，并附带本地 fake-llm 模型用于快速体验。
评测与安全03
saasclawai-org/ClaimCheck · Local-first PII pseudonymization for LLM workflows — sanitize text, files, and LLM traffic with a reversible vault that never leaves your machine. Works with Cline, OpenClaw & any MCP client. Free, MIT.
ClaimCheck 是一个本地优先的隐私脱敏网关，用于在 LLM 工作流中把敏感标识符替换为稳定的占位符（如 [FEIN_1]、[SSN_2]），并通过保存在本机的可逆映射库在输出阶段还原真实值。它提供 MCP 服务器模式（供 Cline、Cursor、Claude Desktop、OpenClaw 等 MCP 客户端通过 read_sanitized、scan_file、sanitize_text 工具读取脱敏内容）和 OpenAI 兼容 LLM 反向代理模式（在请求链路上自动脱敏、在响应上还原，并支持 SSE 流式响应）。内置基于正则与校验器的确定性识别器，覆盖 FEIN、SSN、信用卡、IBAN、云密钥、JWT、PEM 私钥、密码字段等，并可选启用本地 NER 模型识别姓名、机构、地点，支持自定义脱敏规则。
Agent 与自动化04
thesysdev/open-intelligent-ui · An open-source take on ChatGPT's Intelligent UI: answers stream as interactive UI (maps, photos, charts, drawings and working tools). Built with OpenUI.
该项目用开源组件复刻 ChatGPT 的“Intelligent UI”体验：模型以流式方式输出 OpenUI Lang 1.0 描述，前端再把它渲染为可交互答案，包括地图与街道路线、图片、图表、表单控件、SVG 绘图，以及能在页面内计算并响应用户操作的小工具。项目提供组件库、59 个 @functions、动作指令和提示词选项；支持 OpenUI Cloud 网关、任意 OpenAI 兼容 API 或本地 Ollama 模型，并附带示例画廊和基准测试脚本。
训练与微调05
rajratangm/tinyforge · Fine-tune an 8B LLM on a 4 GB laptop GPU, check it with real quality gates, and serve it (pip install tinyforge)
tinyforge 是一个面向小显存 GPU 的 LLM 微调与部署工具，提供数据准备（文档切分、问答对生成、PII 扫描）、LoRA/QLoRA 训练、显存规划、微调前后对比评测（含遗忘检查与失败退出）、GGUF 导出以及 OpenAI 兼容服务端，并附带 CLI、REST API 和 Web UI 三种入口。README 提供了在 4 GB RTX 3050 Ti 笔记本 GPU 上实测的 3B/8B 文本到 SQL 微调结果与失败案例，同时作者声明项目处于早期 alpha、单 GPU 场景。