工具与职业用途，一起找
统一浏览 AI 工具、Agent Skills、提示词、工作流与开源项目，按职业和用途找到工作中用得上的资源。
ahmedmagood/cpu-slm · 🖥️ Explore CPU-SLM, a Rust-based SLM/LLM project that runs on CPU, offering efficient inference and chat with minimal dependencies.
cpu-slm 是一个基于 Rust 的 SLM/LLM 项目，目标是在 CPU 上完成高效推理与聊天交互，并尽量减少依赖。README 说明它借助 AVX2 指令集提升性能，支持 Windows、Linux 和 macOS，附带入门安装步骤与学习资料，定位为帮助理解稀疏语言模型与大语言模型工作原理的应用。
snailium/llama.cpp-sycl-intel-b70 · Community-maintained llama.cpp SYCL Docker optimized for Intel Arc Pro B70 (Battlemage). Latest oneAPI/compute-runtime/IGC, B70-specific AOT build, all features enabled (Flash Attention, MTP, reorder kernels, no GGML_SYCL_DISABLE_OPT).
该项目是社区维护的 llama.cpp + SYCL Docker 镜像与配套文档，针对 Intel Arc Pro B70（32 GB，BMG-G31 / Xe2）及其他 Battlemage B 系列显卡，持续更新 oneAPI、compute-runtime、IGC 等依赖，并提供 B70 专用的 AOT 构建（bmg-g31）。镜像保持 Flash Attention、推测解码 / MTP、reorder 内核和动态后端等特性开启，不设置 GGML_SYCL_DISABLE_OPT，并提供 Qwen3 27B 级别模型在单卡上的推荐配置、采样参数与基准测试方法。
nullata/llamaMan · A browser-based UI for launching, monitoring, clustering and managing multiple llama.cpp server instances from inside a Docker container. Includes an Ollama-compatible API proxy
llamaMan 是一个基于浏览器的 UI 和 API 前端，用于在单机或小型集群上启动、监控和管理多个 llama.cpp（llama-server）实例。它本身不含 llama.cpp 代码，通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像，并提供兼容 Ollama 与 OpenAI 的代理（:42069），可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入（图片/PDF）、实例监控、用户与 API Key 认证、请求记录，以及可选的多节点集群和知识库/MCP 功能。
stelioszach03/colab-speculative-decoding-speed-lab · Inference Systems Lab: 1,536 controlled vLLM requests on one RTX 4090, cache/concurrency comparisons, raw traces and bounded streaming benchmark tools.
该项目是一个服务测量工具包，起源于推测解码速度实验，包含标准库 Python 客户端，用于对本地 OpenAI 兼容 /v1/chat/completions 端点记录流式请求的首块到达、块间隔、总延迟、服务端 token 数等指标，并支持固定大小闭环并发阶段。仓库附带受控 GPU 实验（单张 RTX 4090 上 1536 次 vLLM 请求）的原始轨迹、结果表与对比数据，以及不执行推理的记录结果校验脚本和单元测试。README 明确说明这些记录仅用于检查特定设置，不构成通用最快服务栈的选型依据，也未声称无损加速或输出质量提升。
Q-ANT-GmbH/qant_native_computing_toolkit
Q.ANT 官方提供的原生计算工具包，用于在 Q.ANT 原生处理单元上运行工作负载。提供 Python（wheel/pip）与 C/C++（Debian 包 / 共享库）绑定，支持在有 Q.ANT 硬件与驱动时使用硬件后端，也提供 cpu-backend 独立模式，可在无 Q.ANT 硬件的 CPU 上进行开发，并附有文档与独立示例仓库。
qxoticai/qxotic · AI sovereignty for the world's most trusted runtime.
Quixotic AI 为 JVM 提供一套完整的本地 AI 开源技术栈，覆盖分词、模型格式读写、量化矩阵乘法、张量引擎与多模态推理引擎。其推理引擎 jinfer 支持对话、视觉、音频、嵌入、重排序与文本转语音；配套 toknroll（纯 Java 分词器）、jam（面向多 CPU 指令集的量化 matmul）、jota（跨 Java/C/CUDA/HIP/Metal/OpenCL/Mojo 的张量引擎）、gguf 与 safetensors（纯 Java 的模型格式读写）。项目强调无需 Python、无需 ONNX、无需外部服务，AI 可在 JVM 内端到端运行，并支持 GraalVM Native Image。
potto007/unridden · Zero-generated-token decision API: reads a local LLM's final-position label logits to answer Choice, Score and true/false questions. Apache-2.0.
Unridden 是一个本地决策 API，通过读取本地 LLM 末位标签 logits 来回答结构化问题，不生成任何 token。用户提供 state 和一个命名问题映射，服务为每个问题返回一个类型化答案：Choice（选项）、Score（分数）或 Noul（真/假概率）。它在本地以单个 llama.cpp 子进程运行，一次处理一个请求，不采样也不追加 token，适用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。
Simonc44/aura-1b · Hybrid neuro-symbolic AI: Llama 3.2 1B + exact math + verified facts — instant CPU-native answers in 807 MB, no GPU. Sealed .aef distribution
Aura-1B 将语言生成、精确数学计算与事实记忆拆分成多个专用模块，而不是让单个小模型包办全部任务。系统以 Llama 3.2 1B Instruct（Q4_K_M，807 MB）为语言核心，配合安全的 AST 数学求值器、TF-IDF+逻辑回归路由器、遗传编程符号专家、DuckDuckGo 联网检索、事实图、PAL 计算、程序化思维（PoT）、逻辑求解器与轻量认知 Agent，在无 GPU 的机器上给出精确且可验证的答案。项目提供 .aef 密封分发格式（含 SHA-256 校验与可选 Ed25519 签名、AES-256-GCM 加密），并支持硬件自动调参。
Gshacker-cpu/oma · Enable runtime SIMD dispatch in Zig by compiling and selecting optimized functions for specific CPU microarchitectures automatically at startup
oma 是一个面向 Zig 语言的运行时 SIMD 调度工具，在程序启动时自动检测 CPU 所支持的指令集（如 AVX、AVX2、AVX-512、SSE2、NEON），并从一次编译生成的多份优化版本中挑选最快的一份执行，从而提升音视频、科学计算等并行密集型任务的速度。据 README 说明，它主要面向 Windows 10 及以上系统，运行时资源占用较小，不影响其他软件，也可直接删除文件卸载。
lightseekorg/tokenspeed · TokenSpeed is a speed-of-light LLM inference engine.
TokenSpeed 是由 LightSeek 基金会开源的 LLM 推理引擎，专为智能体（agentic）工作负载设计，目标是在保持 vLLM 级易用性的同时达到 TensorRT-LLM 级性能。其架构将控制面与执行面分离：控制面用 C++ 实现为有限状态机，借助类型系统在编译期约束请求生命周期与 KV 缓存资源管理；执行面用 Python 实现，便于迭代。内核被设计为一等子系统，通过可移植公共 API、集中注册表和插件机制解耦，文档称其包含面向智能体工作负载的较快 MLA（Multi-head Latent Attention）实现之一，并提及在 Blackwell 平台上的优化以及 Kimi、Qwen、GLM 等模型的适配记录。
marouchsail/aigateway · Manage and route API requests between applications and multiple LLM providers with per-client keys, configs, and real-time usage tracking.
aigateway 是一个可自托管的 AI API 网关，用于在应用与多个 LLM 提供商之间管理和路由 API 请求。它支持为不同客户端分配密钥与配置、通过 ACL 控制访问权限、指定客户端可用的 AI 模型、设置速率限制和日/月配额，并通过实时仪表盘监控请求量、错误和性能。项目以 Go 编写，README 提供了 Windows 平台的下载、安装与配置说明。
JustVugg/colibri · Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
colibri 是一个以单个 C 文件实现的 MoE 推理引擎，将 VRAM、内存和 NVMe 视作统一的多层存储层级，把稠密部分常驻内存、路由专家按需从磁盘流式加载，从而在消费级或异构硬件上运行 744B 至 2.8T 参数的前沿 MoE 模型。它支持 GLM、Kimi K3、DeepSeek、Qwen、OLMoE 等模型家族，提供 chat / serve / web 前端，并包含专家多级驻留、双 SSD 条带、批合并读取、路由预取与本地集群模式等系统级优化，同时定位为可修改、可测量的开源推理研究平台。