工具与职业用途，一起找
统一浏览 AI 工具、Agent Skills、提示词、工作流与开源项目，按职业和用途找到工作中用得上的资源。
natee6684/qwen3.8-27b-in-c · Run 27B-parameter Qwen3.8 locally on a laptop CPU with native C inference, no GPU or Python, at 2.52 token/s.
该项目用纯 C 编写的原生推理程序在普通笔记本 CPU 上运行 27B 参数的 Qwen3.8-27B 模型，无需 GPU 和 Python，README 声称可达约 2.52 token/s、最低 8 GB 内存即可运行，并提供兼容 OpenAI API 的本地服务接口，方便其他工具接入本地模型。
Amitga5978/mainarch · Run LLM inference directly on AMD GPUs by bypassing ROCm for low-latency serving.
mainarch 是一个用 Rust 从零编写的程序，让计算机直接与 AMD GPU 硬件通信，绕过 ROCm、HIP、HSA 等中间软件层，用于低延迟的 LLM 推理服务。项目针对 AMD CDNA 架构（MI355X）优化，目前支持 OLMo 2 语言模型，可在本地完成对话、文本生成、翻译、摘要等任务，数据不出本机。README 声称可降低延迟、提升内存效率，但未给出具体基准数据。
meteorologicalballoonfronttooth549/tsfm · Provide on-device Apple Foundation Models inference in TypeScript with streaming, structured output, and chat-style APIs for secure, local AI processing.
tsfm 是一个基于 TypeScript 和 Node.js 的工具库，用于在 macOS 26 及以上系统中访问 Apple 的端侧 Foundation Models，实现本地 AI 推理。它支持流式输出、结构化输出与聊天式 API，数据保留在设备本地以保护隐私，可用于构建虚拟助手、语言翻译、文本摘要和定制 AI 工作流等场景。
gittensor-ai-lab/sparkinfer · Fastest MoE/LLM inference runtime for consumer and edge Blackwell GPUs. SN74 on Gittensor.
SparkInfer 是一个用 C++/CUDA 编写的原生 MoE/LLM 解码推理运行时，面向消费级与边缘 Blackwell GPU（sm_120，从 RTX 到 PRO 6000），不含 Python 栈，二进制约 2.5 MB。它提供 OpenAI 兼容端点，支持文本、图像、视频输入以及 Anthropic、Ollama、LM Studio 等 API 风格，默认启用推测解码（含 DFlash2 草稿模型），并针对 Qwen3.8-27B 等模型做 NVFP4 量化与 Blackwell 原生算子优化。README 中给出了相对 llama.cpp 与 vLLM 的解码、预填充和吞吐对比数据，以及 Gittensor 上的持续优化机制。
yeixio/toskar-core · Run local AI across all your computers: one OpenAI-compatible API, automatic model placement, nothing leaves your machines.
Toskar Core 是一个用 Go 编写的开源本地 AI 控制平面，目标是让在自有硬件上运行 AI 像使用托管服务一样简单。它自动检测 CPU、内存、存储和 GPU 等硬件，推荐并管理 GGUF 模型，启动 llama.cpp 运行时，并在多台配对的电脑之间发现节点、分配工作负载，同时对外暴露统一的 OpenAI 兼容 API。项目还包含本地 Web UI、持久记忆、连接知识库、工具与 MCP、定时自动化、模型性能诊断以及 LoRA 微调训练等功能。
rwilliamspbg-ops/Ghostlink · Distributed LLM inference fabric for heterogeneous local clusters. Features zero-copy SPSC ring buffers, automated tuning, and an OpenAI-compatible API.
Ghostlink 是一个用 Rust 编写的分布式推理织构，面向由 CPU、GPU、NPU 混合组成的本地局域网集群。它通过 llama.cpp 的 ggml-rpc 后端拆分 GGUF 模型权重，自动发现局域网节点并按硬件能力放置负载，对外提供 OpenAI 兼容的 /v1/chat/completions API 服务；同时包含硬件探测、自动调优以及 SPSC 环形缓冲区、TCP/UDS 传输、AF_XDP 内核旁路等研究性组件（实验性质，其基准数值只反映传输分帧延迟而非 LLM 生成速度）。
wisent-ai/brama
Brama 是 Wisent 提供的统一模型访问网关，通过一个 OpenAI 兼容 API 与统一身份接入多个模型提供商与订阅。它支持逻辑别名与 best/fast/cheap 等启发式路由、agent 级订阅选择器（any、any-vision-capable、task:<task-name>）、SSE 流式输出、OAuth 订阅凭据刷新、final-use 密钥兑换（Skarbiec 能力插座或桌面内存凭据映射）以及按 token 归属的审计日志。适用于桌面私有网关、Wisent 服务开发者、Jeden 运行时与运维人员的权限最小化与可审计路由场景。
dcazrael/llama-model-manager · Personal Linux CLI for managing explicit llama.cpp model presets, downloading and staging GGUF models from Hugging Face, launching llama-server, and running reproducible benchmarks.
llama-model-manager 是一个面向 Linux 的个人命令行工具，用于管理明确的 llama.cpp 模型预设、从 Hugging Face 下载并暂存 GGUF 模型、启动 llama-server，并运行可复现的基准测试。项目结构精简，包含一个 CLI 入口、若干无依赖的支持模块、一个安装/更新脚本，以及仓库外用户自有的配置文件。
alphastorm/omp-ninfer · Durable local inference for Oh My Pi: NInfer + Qwen3.8 27B on one RTX 3090/4090/5090, with restart-resumable OpenAI Responses state.
OMP NInfer 将 Oh My Pi（OMP）编程智能体、Neroued 的 NInfer 推理引擎与固定的 Qwen3.8 27B 模型打包成经过资格验证的组合，目标是让本地长程编程会话的状态（会话状态与所需 KV）可被显式检查点保存，并在推理服务重启后恢复续接。项目通过有状态的 OpenAI Responses（previous_response_id、分支与回滚）实现显式、事务化的续接，而非依赖隐式最长前缀匹配；端点仅绑定回环地址、要求 bearer 认证、失败即关闭而不回退到云端；模型、镜像、客户端均由摘要固定并由发布清单绑定。v0.9.1 明确限定在单张 RTX 3090、RTX 4090 或 RTX 5090 上，并附有解码吞吐、长上下文检索等自测数据。
featherless-ai/simple-jev · Turn any open model into a classifier/jev endpoint
Simple Jev 让兼容的开源模型（如 Hugging Face 上的 Qwen、Gemma、Laya 系列）无需额外训练分类头即可用于结构化分类与评分。请求包含共享上下文（state 或 messages）和若干问题，服务端读取模型在候选标签上的 next-token logits，自行构造 JSON 响应，返回 choice（多选一）、score（量表打分）和 noul（真值/支持度判断）三类结果，输出不依赖模型生成文本。项目包含基于 Hugging Face Transformers 与 PyTorch 的本地服务、供其他推理实现复用的 Python common 规则模块、以及带 JevBench 打分、文本/决策与视觉套件、提示格式搜索的评测框架。
iyulab/iron-prow · Safe-inference gateway for .NET — provider selection (frontier/LAN), guardrails, and resilience, delivered as a standard Microsoft.Extensions.AI IChatClient.
iron-prow 是一个面向 .NET 的安全推理网关，以标准 Microsoft.Extensions.AI IChatClient 形式提供。它负责在多个 LLM provider（frontier 与局域网本地部署）之间进行选择与优先级排序，支持失败重试、fallback 与 provider 健康记忆（cooldown 后降级），并通过 FluxGuard 提供输入输出 guardrail（默认 fail-closed）。同时包含 IronProw.LMSupply 本地推理安全包装（readiness gate、model-ID preflight、输出长度限制、reasoning 控制），还支持多租户 per-tenant provider 解析与重复退化输出停止等可选能力。
conferencebeefwood46/mlx-lean-moe · Run memory-lean mixture-of-experts inference on Apple Silicon, streaming routed experts from disk to fit 35B models in 2.1 GiB RAM.
mlx-lean-moe 是一个面向 Apple Silicon（M 系列芯片）Mac 的本地大语言模型推理应用，基于 mlx.core、Metal 与 Python 实现。它采用 Mixture of Experts（MoE）思路，将路由到的专家权重按需从磁盘流式加载，而不是一次性把整个模型放入内存，从而在有限内存下运行体量较大的模型，并支持 Qwen3 等模型家族进行聊天与推理任务。所有推理在本地离线完成，数据不离开本机。
Root1V/prometheus-inference-platform · Production-grade self-hosted LLM inference platform — FastAPI gateway with JWT auth, fine-grained per-model authorization scopes, rate limiting & circuit breakers; multi-backend model manager (llama.cpp/MLX/vLLM/SGLang) across distributed hosts; React admin dashboard; full OTel tracing. Podman-native, 100% self-hosted — no vendor lock-in.
Prometheus 是一个自托管的小型语言模型（SLM）推理平台，以 FastAPI 网关作为唯一受控入口，提供 JWT 认证、基于角色的时效令牌、按模型的细粒度授权范围（model:<id>）、限流与熔断，并支持跨主机的多后端模型管理（llama.cpp / MLX / vLLM / SGLang）。网关以 OpenAI Chat Completions 兼容格式暴露 /v1/chat/completions 与 /v1/models 接口，配合 React 管理后台与 OpenTelemetry 全链路追踪，采用 Podman 原生方式部署，强调数据不出内网、无厂商锁定。
blairq/genesis-vllm-patches · Runtime patches for vLLM 0.29.0: a 27B hybrid-GDN model at 256K context on 2x RTX 3090 — integer attention kernels, W4A8 Marlin, DFlash2 speculative decoding.
该项目是 vLLM 0.29.0 的个人运行时补丁分支，核心思路是在没有 fp8 张量核心的 Ampere（sm_86）硬件上把 int8 作为贯穿各阶段的「计算」格式。补丁覆盖 W4A8 Marlin GEMM、int8 per-token-head KV cache、手写 PTX 整数注意力解码内核、int8 TP all-reduce 以及 int4 lm_head 等，目标是让张量从 RMSNorm 到注意力全程不离开整数域。仓库基于特定机器（2× RTX 3090、TP=2、一个特定量化检查点）调优，附带大量实测对比数据与未解决问题记录，处于活跃开发状态，并非成品。
ashhart/TensorFold · Fast, exact LLM decoding on Apple Silicon (MLX) behind an OpenAI-compatible endpoint
TensorFold 是一个本地 LLM 推理服务工具，可在 Apple Silicon（MLX/Metal）或 NVIDIA GPU（CUDA）上运行大模型，并通过 OpenAI 兼容的 /v1/chat/completions 端点对外提供服务。用户指定 Hugging Face 上的模型、上下文窗口和采样参数后，它会自动下载模型、加载针对该模型系列编写的内核并启动服务。其核心卖点是“精确”推测解码：通过为每个 token 使用基于种子的 Gumbel 噪声与行级一致的算术，使多行验证与串行解码输出逐字节一致，从而在保持确定性的同时加速解码。仓库提供了模型清单、速度测量、DGX Spark 双机张量并行部署方法以及提示缓存等能力。
notagentdev/maxtoken · Serve MoE models bigger than your memory on Apple silicon. MLX engine with elastic SSD-backed expert offload, native MTP speculative decoding, OpenAI/Anthropic-compatible APIs and a built-in web console.
MaxToken 是 FlashML FreeToken 的独立分支，把面向边缘的 MoE 推理引擎改造成 Apple silicon 优先的运行时，目标是“用最少内存产出最多 token”。它基于 MLX 执行，只保留稠密核心常驻内存，把路由专家放到由 SSD 直接读取驱动的弹性、硬预算槽位缓存中；当模型可容纳时则使用零拷贝内存映射存储以常驻内核速度运行。项目提供 OpenAI 与 Anthropic 兼容 API（Claude Code、Codex 可直接对接）以及内置单文件 Web 控制台（聊天、实时吞吐、请求日志、弹性缓存滑块），并支持原生 MTP 投机解码与草稿模型投机解码。仅在 Apple silicon（macOS、Metal）上运行，0.0.1 起移除了上游 CUDA 引擎。
nhvang/kubeflow-python-orchestrator · Kubeflow Python SDK 2026: Run AI Workloads on Kubernetes Seamlessly
KubeMind SDK 自称是面向 Kubernetes 上 AI 工作负载的“认知结构”Python SDK，提供语义化流水线构建、预测式自动扩缩、基于概率依赖图的自愈能力、PyTorch/TensorFlow/JAX/ONNX 多框架运行时统一封装、因果时间线可观测性、Web 仪表盘、多语言错误提示与零信任安全壳等功能，并提供 gRPC/GraphQL/WebSocket 桥接以便非 Python 服务接入。README 中的性能数字与预测准确率均属其自述基准，未提供可核验材料。
ahmedmagood/cpu-slm · 🖥️ Explore CPU-SLM, a Rust-based SLM/LLM project that runs on CPU, offering efficient inference and chat with minimal dependencies.
cpu-slm 是一个基于 Rust 的 SLM/LLM 项目，目标是在 CPU 上完成高效推理与聊天交互，并尽量减少依赖。README 说明它借助 AVX2 指令集提升性能，支持 Windows、Linux 和 macOS，附带入门安装步骤与学习资料，定位为帮助理解稀疏语言模型与大语言模型工作原理的应用。
snailium/llama.cpp-sycl-intel-b70 · Community-maintained llama.cpp SYCL Docker optimized for Intel Arc Pro B70 (Battlemage). Latest oneAPI/compute-runtime/IGC, B70-specific AOT build, all features enabled (Flash Attention, MTP, reorder kernels, no GGML_SYCL_DISABLE_OPT).
该项目是社区维护的 llama.cpp + SYCL Docker 镜像与配套文档，针对 Intel Arc Pro B70（32 GB，BMG-G31 / Xe2）及其他 Battlemage B 系列显卡，持续更新 oneAPI、compute-runtime、IGC 等依赖，并提供 B70 专用的 AOT 构建（bmg-g31）。镜像保持 Flash Attention、推测解码 / MTP、reorder 内核和动态后端等特性开启，不设置 GGML_SYCL_DISABLE_OPT，并提供 Qwen3 27B 级别模型在单卡上的推荐配置、采样参数与基准测试方法。
nullata/llamaMan · A browser-based UI for launching, monitoring, clustering and managing multiple llama.cpp server instances from inside a Docker container. Includes an Ollama-compatible API proxy
llamaMan 是一个基于浏览器的 UI 和 API 前端，用于在单机或小型集群上启动、监控和管理多个 llama.cpp（llama-server）实例。它本身不含 llama.cpp 代码，通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像，并提供兼容 Ollama 与 OpenAI 的代理（:42069），可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入（图片/PDF）、实例监控、用户与 API Key 认证、请求记录，以及可选的多节点集群和知识库/MCP 功能。