推理与部署01
RafaGonzalezDev/local-inference-setup · Declarative configuration for self-contained launchers of local language models. Includes download manifests, validation scripts, documentation, and .cmd launchers with all inference parameters materialized.
该项目以声明式配置方式管理本地语言模型推理环境的搭建：提供模型下载清单、运行时分发、完整性校验脚本、模型管理文档，以及内嵌完整推理参数的 .cmd 启动器。仓库本身不包含 GGUF 权重或运行时二进制，需通过附带的 PowerShell 安装与下载脚本获取。启动器会显式声明上下文长度、采样参数，并借助 --gpu-layers auto 与 --fit on 自动决定设备放置；服务对外暴露 Web 界面、OpenAI 兼容 API 与健康检查端点。配置面向 Windows、指定硬件（RTX 5080 16GB、64GB 内存）并锁定 llama.cpp 运行时构建版本，接口无鉴权，仅建议在可信私有网络内使用。
推理与部署02
rexmhall09/TUFF · The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memory, by streaming MoE experts from the SSD.
TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。
应用工具03
Bernice-Koh/writing-assistant · Grammar-lee
这是一个为单一作者（其所有者）打造的个人化 Windows 写作辅助工具，跨浏览器、Microsoft Word 和原生桌面应用随打字实时检查拼写、语法与文风。其核心设计是 Style Card：由模型根据作者明确表达的偏好维护一组子句，工具据此刻画并提醒偏离目标文风的文本，还可用本地模型按需改写段落，并标注疑似 LLM 生成的措辞；作者的当下习惯只会被统计，不会成为目标。项目使用 Rust 与 Tauri 构建，处于早期开发阶段，暂无正式发布版本，本地构建中已可运行捕获、拼写、telltable 下划线等功能，部分模块（Style Card、规则层、改写、工作卡片等）标注为计划中的阶段。
推理与部署04
AtomicBot-ai/Atomic-Chat · Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V
Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。
推理与部署05
natee6684/qwen3.8-27b-in-c · Run 27B-parameter Qwen3.8 locally on a laptop CPU with native C inference, no GPU or Python, at 2.52 token/s.
该项目用纯 C 编写的原生推理程序在普通笔记本 CPU 上运行 27B 参数的 Qwen3.8-27B 模型，无需 GPU 和 Python，README 声称可达约 2.52 token/s、最低 8 GB 内存即可运行，并提供兼容 OpenAI API 的本地服务接口，方便其他工具接入本地模型。
AI 编程06
dreamference/mightling · DGX Spark & GB10 software: a private, fully local AI coding agent, chat and desktop app. One-command install, no cloud, no account, no telemetry. For NVIDIA DGX Spark, ASUS Ascent GX10, Dell Pro Max GB10, HP ZGX Nano, Lenovo ThinkStation PGX, MSI EdgeXpert, Acer GN100, Gigabyte AI TOP ATOM.
Mightling 是一个完全本地运行的 AI 编程助手，集终端编程智能体（ling）、网页聊天和桌面应用为一体，可在 NVIDIA DGX Spark 及各类 GB10 机器上通过一条命令安装。它不依赖云服务、账户或遥测，模型（Qwen3.8-27B NVFP4，由 SGLang 提供服务）在本地 GB10 上运行，128GB 统一内存，支持 262K 上下文，并提供 Night Shift 队列、代码索引、网页搜索/抓取以及 Gmail/Drive/Calendar 只读集成（预览）等功能。用户可通过 ling-admin audit egress 审计网络出口，并用 /airgapped on 将命令置于无网络命名空间。
知识库与 RAG07
rtcode337/chiezo · AI のための知識ベース。Wikipedia・OpenStreetMap・GeoNames の公式ダンプを SQLite (FTS5) に索引し、MCP と REST で AI に引かせる。AI が書き足せる notes と、Chiezo を道具として引くローカル LLM(agent モード・web 検索)も同梱。
Chiezo 是一个自托管的 AI 资源服务器，把知识、记忆、可对话的 AI、密钥、算力和工具集中在一处对外「出借」。它把 Wikipedia、OpenStreetMap、GeoNames、Overture 等公开数据以及可写入的 notes 记忆索引到按来源独立的 SQLite（FTS5）文件中，通过 MCP（/mcp）和 REST（/v1/...）两种接口供 Claude Code 等 AI 客户端和应用检索；同时可代理保管 API 密钥、转发推理请求、生成图片/音频/视频/语音与文稿，并可选用本地 LLM 做 RAG 或 agent 模式问答。项目本身不做推理，只负责托管调用方无法自持的通用能力。
推理与部署08
alphastorm/omp-ninfer · Durable local inference for Oh My Pi: NInfer + Qwen3.8 27B on one RTX 3090/4090/5090, with restart-resumable OpenAI Responses state.
OMP NInfer 将 Oh My Pi（OMP）编程智能体、Neroued 的 NInfer 推理引擎与固定的 Qwen3.8 27B 模型打包成经过资格验证的组合，目标是让本地长程编程会话的状态（会话状态与所需 KV）可被显式检查点保存，并在推理服务重启后恢复续接。项目通过有状态的 OpenAI Responses（previous_response_id、分支与回滚）实现显式、事务化的续接，而非依赖隐式最长前缀匹配；端点仅绑定回环地址、要求 bearer 认证、失败即关闭而不回退到云端；模型、镜像、客户端均由摘要固定并由发布清单绑定。v0.9.1 明确限定在单张 RTX 3090、RTX 4090 或 RTX 5090 上，并附有解码吞吐、长上下文检索等自测数据。
应用工具09
arunsaikumarB/AI-Interview · AI Interview — self-hosted recruitment OS (advisory AI)
Logisoft HireOS 是一个自托管的 AI 招聘操作系统，将 ATS（职位与候选人管理、简历上传解析、拖拽式流程看板）、AI 筛选、自适应 AI 面试、监考信号与评估报告整合在一起。项目强调 100% 本地/自托管，AI 通过本地 Ollama 调用、不使用云数据库或 OpenAI API，AI 结果仅作为辅助建议，最终录用决策与阶段推进由人工完成并记录理由。仓库以 TypeScript 实现，采用 Next.js 14、PostgreSQL + pgvector、Prisma 等技术栈，README 中按阶段给出了从基础设施到人才库与分析的构建顺序。
应用工具10
shrs425p/AI-Recruitment-System · A desktop app that automates the hiring workflow — from resume parsing and NLP extraction to candidate ranking, scheduling, interview question generation, and reporting — all in a single user-friendly interface.
AI Recruitment System 是一个面向技术招聘的桌面应用，将简历解析、NLP 特征抽取、候选人按岗位加权排名、面试排期、面试问题生成、网页监考与报告输出整合进单一界面。它支持本地 Ollama 隐私模式与 8+ 云服务商的轮询负载均衡，提供带一次性令牌的面试门户、摄像头活体检测与浏览器违规追踪、离线语音问答、AES 加密凭据存储及 PDF 报告。
Agent 与自动化11
jedarden/NEEDLE · Headless agent orchestrator with deterministic state machine — processes a bead queue, dispatches to any LLM CLI, handles every outcome. Rust.
NEEDLE 是一个用 Rust 编写的无头智能体编排器，它通过确定性的状态机处理共享的 bead 工作队列：按固定优先级选取并原子认领工作项，生成确定性提示词，分派给内置适配器（Claude Code、OpenCode、Codex、Aider）后以 bash -c 无头执行，并针对成功、失败、超时、崩溃、竞争失败等每种结果走显式处理路径。多个 worker 可在同一工作区并行运行，靠共享队列的 SQLite 事务保证原子性而无需中央编排器；队列为空时按 strand 顺序升级（清理、跨工作区探索、可选的文档补缺、健康扫描、反思等）。它还包含已交付工作门禁（默认要求提交已推送到上游分支）与面向未配置工作区的临时验证回退门禁。
推理与部署12
conferencebeefwood46/mlx-lean-moe · Run memory-lean mixture-of-experts inference on Apple Silicon, streaming routed experts from disk to fit 35B models in 2.1 GiB RAM.
mlx-lean-moe 是一个面向 Apple Silicon（M 系列芯片）Mac 的本地大语言模型推理应用，基于 mlx.core、Metal 与 Python 实现。它采用 Mixture of Experts（MoE）思路，将路由到的专家权重按需从磁盘流式加载，而不是一次性把整个模型放入内存，从而在有限内存下运行体量较大的模型，并支持 Qwen3 等模型家族进行聊天与推理任务。所有推理在本地离线完成，数据不离开本机。
推理与部署13
konstanzegreater7629/4xV100-qwen38-flash-next-abliterated-128gb-vram · Run Qwen3.8-Flash-Next-ABLITERATED in NVFP4 on 4×V100-32GB: 262K context, 46 tok/s decode, OpenAI-compatible, agent-ready.
该仓库聚焦于在 4×V100-32GB（合计 128GB 显存）上以 NVFP4 精度运行 Qwen3.8-Flash-Next-ABLITERATED，README 描述中提到支持 262K 上下文、约 46 tok/s 解码速度、OpenAI 兼容接口，并面向 agent 使用场景。相关主题标签涉及 vLLM、NVFP4、SM70、张量并行、投机解码与 Tesla V100。除 README 摘录外，部署步骤、软硬件要求与许可信息未提供，无法确认安装与验证情况。
AI 编程14
OpticDiff/code-reviewer · Fast, local-first AI code review CLI & pre-push hook for GitHub PRs and GitLab MRs. Multi-model consensus, Tree-sitter context, SARIF, and zero lock-in.
code-reviewer 是一个用 Go 编写的本地优先 AI 代码审查命令行工具，可作为 Git pre-push 钩子，也能在 GitHub PR 与 GitLab MR 的 CI 流程中运行。它通过 Tree-sitter 提取仓库感知的 AST 上下文，支持多模型共识过滤以减少噪音、内容寻址 diff 缓存加速重复审查、增量审查与提交触发全量重审，并可输出 ANSI 终端结果、GitHub 内联评论、GitLab 讨论与草稿笔记以及 SARIF 2.1.0 / GitLab SAST 安全报告。模型侧可对接 Ollama、vLLM 等本地端点，也可使用 Vertex AI（Gemini、Claude）、AWS Bedrock（经 LiteLLM）和 OpenAI 兼容端点，支持自定义提示词、平台治理配置、审计日志与 SHA 固定的安全自动批准。