推理与部署01
tryggth/richardson-attention · Superconducting Spectral Attention: Zero-Shot 1-to-5 Hop Long-Context Extrapolation & Renormalization Group Relays for Hybrid Transformers (Gemma-4 2B & 4B)
Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。README 报告称，该方法在 8,270 token 的 3 跳检索上把准确率从 0.0380% 提升到 98.5919%，在 9,912 token 的 5 跳链式追踪上从 2.2398% 提升到 93.8942%，并显著降低对抗性诱饵的捕获率，同时基本保持语言建模困惑度不变；在 NVIDIA RULER VT、BABILong qa3 和 Lost in the Middle 的评测中也报告了提升。项目包含论文、Colab 演示、评测脚本和结果文件，面向对长上下文推理与机制可解释性感兴趣的研究者。
推理与部署02
hellcworld/FreeToken · Fork of FlashML-org/FreeToken: + Qwen3.8-27B NVFP4 (both dialects) & Qwen3.5/3.6/3.8 vision input
FreeToken 是一个边缘原生 MoE 推理服务引擎，目标是在个人与消费级硬件上运行前沿规模的开源权重 MoE 模型，把 GPU、CPU、主机内存和互联带宽视为统一的弹性推理平台。上游能力包括带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式加载、全局 LRU 专家缓存、FTW 快速权重格式、语义锚点检查点缓存、运行时显存动态重分配，以及 OpenAI/Anthropic 兼容 API。该仓库是个人 fork，在上游 main@2757bb5 基础上新增 Qwen3.8-27B NVFP4（modelopt 与 compressed-tensors 两种量化方言）支持、Qwen3.5/3.6/3.8 视觉输入（离线与在线，含 OpenAI image_url 与 Anthropic image 块）、FP8 KV 缓存、MTP 投机解码，以及单卡 LLM 与 ComfyUI 分时共用的 GPU 网关脚本。
推理与部署03
AtomicBot-ai/Atomic-Chat · Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V
Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。
评测与安全04
NVIDIA/swe-serve · SWE-Serve: an agentic benchmark of 53 production inference-engineering tasks derived from merged SGLang pull requests, run with Harbor.
SWE-Serve 是 NVIDIA 发布的智能体基准，包含 53 个源自 SGLang 已合并 PR 的生产推理工程任务（41 个 H100 GPU 任务与 12 个 CPU 任务），借助 Harbor 运行，考察模型/智能体在端到端执行、持久状态与并发请求下对推理系统的正确性改造能力。仓库以冻结基准发布形式提供任务目录、参考解与验证器，并支持封闭书本模式（closed-book）以防智能体查阅上游 PR，另有排行榜与论文链接。
推理与部署05
OpenMachine-ai/transformer-tricks · A collection of tricks and tools to speed up transformer models
Transformer Tricks 是一个围绕 Transformer 模型效率优化的技巧与工具集合，通过移除架构中的冗余组件来提升模型效率。项目包含 slim attention（从 MHA 模型的上下文内存中去除整个 V-cache）、FlashNorm（将 RMSNorm 的权重折叠进后续线性层）、MatShrink（进行中）、第一层预计算、以及为 skipless transformer 仅保留 KV 权重等技巧，并附带论文、讲解视频、Colab notebook 与 Python 包。项目提供 pip 安装的 transformer-tricks 包，以及将基于 RMSNorm 的 HuggingFace 检查点转换为 FlashNorm 变体并发布到 HuggingFace 的转换脚本。
应用工具06
Fingolfin7/AutumnWeb · Time and project tracking with rich history, charts, and AI insights.
AutumnWeb 是一个极简的网页版时间与项目追踪工具，为原 Autumn CLI 的浏览器版本，采用相同的核心结构和导入导出格式。它以 Django 应用形式记录项目与子项目的时间，支持启动/停止/重启计时器、浏览与检索会话历史，通过硬性上下文与软标签组织项目，并管理基于时间或会话的承诺目标。数据可视化支持饼图、柱状图、散点图、折线图、日历、热力图、堆叠面积图、累计图、矩形树图、状态图、上下文图、直方图、雷达图、标签气泡图与词云等多种图表。此外提供可选的 LLM 驱动的 Insights 工作区，可就选定的会话数据提出自然语言问题，并支持通过 MCP 端点接入 ChatGPT 与 Claude。项目以 JSON 格式导入导出，兼容原 CLI 版本，并声明不使用分析或追踪。
推理与部署07
magnusfroste/garageai · A marketplace for local AI inference in Europe: garage owners offer GPUs they already own, buyers call them through one OpenAI-compatible API, and owners get paid per token. NetBird mesh + LiteLLM gateway in the EU.
GarageAI 是一个本地 AI 推理交易市场：拥有 GPU 的车库主通过 GarageAI Bridge 在用户态建立 WireGuard 隧道把算力接入网关，买家通过位于欧盟 VPS 上的 LiteLLM 网关获得 OpenAI 兼容 API，按 token 预付费调用；请求经 NetBird 网状网络（UDP 被阻断时的回退方案）路由到各家车库，支持模型 Pool 与指定车库两种购买方式，并具备自动故障转移与按 key/模型计费能力。项目强调本地化与欧洲数据主权，车库不暴露于公网，无需开放入站端口。
推理与部署08
Amitga5978/mainarch · Run LLM inference directly on AMD GPUs by bypassing ROCm for low-latency serving.
mainarch 是一个用 Rust 从零编写的程序，让计算机直接与 AMD GPU 硬件通信，绕过 ROCm、HIP、HSA 等中间软件层，用于低延迟的 LLM 推理服务。项目针对 AMD CDNA 架构（MI355X）优化，目前支持 OLMo 2 语言模型，可在本地完成对话、文本生成、翻译、摘要等任务，数据不出本机。README 声称可降低延迟、提升内存效率，但未给出具体基准数据。
推理与部署09
featherless-ai/simple-jev · Turn any open model into a classifier/jev endpoint
Simple Jev 让兼容的开源模型（如 Hugging Face 上的 Qwen、Gemma、Laya 系列）无需额外训练分类头即可用于结构化分类与评分。请求包含共享上下文（state 或 messages）和若干问题，服务端读取模型在候选标签上的 next-token logits，自行构造 JSON 响应，返回 choice（多选一）、score（量表打分）和 noul（真值/支持度判断）三类结果，输出不依赖模型生成文本。项目包含基于 Hugging Face Transformers 与 PyTorch 的本地服务、供其他推理实现复用的 Python common 规则模块、以及带 JevBench 打分、文本/决策与视觉套件、提示格式搜索的评测框架。
推理与部署10
conferencebeefwood46/mlx-lean-moe · Run memory-lean mixture-of-experts inference on Apple Silicon, streaming routed experts from disk to fit 35B models in 2.1 GiB RAM.
mlx-lean-moe 是一个面向 Apple Silicon（M 系列芯片）Mac 的本地大语言模型推理应用，基于 mlx.core、Metal 与 Python 实现。它采用 Mixture of Experts（MoE）思路，将路由到的专家权重按需从磁盘流式加载，而不是一次性把整个模型放入内存，从而在有限内存下运行体量较大的模型，并支持 Qwen3 等模型家族进行聊天与推理任务。所有推理在本地离线完成，数据不离开本机。
推理与部署11
konstanzegreater7629/4xV100-qwen38-flash-next-abliterated-128gb-vram · Run Qwen3.8-Flash-Next-ABLITERATED in NVFP4 on 4×V100-32GB: 262K context, 46 tok/s decode, OpenAI-compatible, agent-ready.
该仓库聚焦于在 4×V100-32GB（合计 128GB 显存）上以 NVFP4 精度运行 Qwen3.8-Flash-Next-ABLITERATED，README 描述中提到支持 262K 上下文、约 46 tok/s 解码速度、OpenAI 兼容接口，并面向 agent 使用场景。相关主题标签涉及 vLLM、NVFP4、SM70、张量并行、投机解码与 Tesla V100。除 README 摘录外，部署步骤、软硬件要求与许可信息未提供，无法确认安装与验证情况。
推理与部署12
Root1V/prometheus-inference-platform · Production-grade self-hosted LLM inference platform — FastAPI gateway with JWT auth, fine-grained per-model authorization scopes, rate limiting & circuit breakers; multi-backend model manager (llama.cpp/MLX/vLLM/SGLang) across distributed hosts; React admin dashboard; full OTel tracing. Podman-native, 100% self-hosted — no vendor lock-in.
Prometheus 是一个自托管的小型语言模型（SLM）推理平台，以 FastAPI 网关作为唯一受控入口，提供 JWT 认证、基于角色的时效令牌、按模型的细粒度授权范围（model:<id>）、限流与熔断，并支持跨主机的多后端模型管理（llama.cpp / MLX / vLLM / SGLang）。网关以 OpenAI Chat Completions 兼容格式暴露 /v1/chat/completions 与 /v1/models 接口，配合 React 管理后台与 OpenTelemetry 全链路追踪，采用 Podman 原生方式部署，强调数据不出内网、无厂商锁定。
训练与微调13
pedronahum/tlaloc · Autodiff for Kotlin, compiled not traced. A K2 compiler plugin turns grad {} into gradient code; lowers to StableHLO and runs on GPU via PJRT or IREE.
Tlaloc 是一个面向 Kotlin 的可微分数组程序库。它通过 K2 编译器插件在编译期把 grad { } 降级为梯度代码，无需运行时 tracing 或 tape；张量在 Kotlin 类型中携带秩、dtype 与轴名称。程序可下沉为 StableHLO，经 PJRT 或 IREE 在 NVIDIA GPU 上执行，也可通过参考解释器在 CPU 上运行。项目还包含不可变神经网络层与纯函数优化器用于训练，并可将 Hugging Face 检查点导出为 StableHLO 与 safetensors 组成的推理制品，供 NVIDIA Triton、vLLM 或轻量 Python 运行时加载。当前为 0.1.0-alpha02 版本，处于 alpha 阶段。