hellcworld/FreeToken · Fork of FlashML-org/FreeToken: + Qwen3.8-27B NVFP4 (both dialects) & Qwen3.5/3.6/3.8 vision input
FreeToken 是一个边缘原生 MoE 推理服务引擎，目标是在个人与消费级硬件上运行前沿规模的开源权重 MoE 模型，把 GPU、CPU、主机内存和互联带宽视为统一的弹性推理平台。上游能力包括带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式加载、全局 LRU 专家缓存、FTW 快速权重格式、语义锚点检查点缓存、运行时显存动态重分配，以及 OpenAI/Anthropic 兼容 API。该仓库是个人 fork，在上游 main@2757bb5 基础上新增 Qwen3.8-27B NVFP4（modelopt 与 compressed-tensors 两种量化方言）支持、Qwen3.5/3.6/3.8 视觉输入（离线与在线，含 OpenAI image_url 与 Anthropic image 块）、FP8 KV 缓存、MTP 投机解码，以及单卡 LLM 与 ComfyUI 分时共用的 GPU 网关脚本。
展开详情收起详情：FreeToken（Qwen3.8 视觉分支）：面向消费级硬件的边缘原生 MoE 推理部署引擎⌄
★ 2 · 开发框架
GitHub
原文发布：未知收录：2026-10-17
rexmhall09/TUFF · The local AI app built for the Mac. Run LLMs like Qwen, Gemma and GPT-OSS on Apple Silicon, including models far bigger than your Mac's memory, by streaming MoE experts from the SSD.
TUFF 是一款专为 Mac 打造的本地 AI 应用，基于 SwiftUI 界面和自研 Swift/Metal 推理引擎，可在 Apple Silicon 上运行 Qwen、Gemma、GPT-OSS 等模型。它通过从 SSD 流式读取混合专家（MoE）模型的专家权重，使超过本机内存的巨型模型也能在 Mac 上运行。功能包括带推理、Markdown、数学以及图片与文件附件的聊天，可选的网页与本地文件夹搜索并附引用，模型基准测试与榜单分享，以及供 Agent 和其他应用调用的本地 OpenAI 兼容后台 API 和命令行工具。
展开详情收起详情：TUFF：面向 Apple Silicon Mac 的本地大模型推理应用⌄
★ 56 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
Bernice-Koh/writing-assistant · Grammar-lee
这是一个为单一作者（其所有者）打造的个人化 Windows 写作辅助工具，跨浏览器、Microsoft Word 和原生桌面应用随打字实时检查拼写、语法与文风。其核心设计是 Style Card：由模型根据作者明确表达的偏好维护一组子句，工具据此刻画并提醒偏离目标文风的文本，还可用本地模型按需改写段落，并标注疑似 LLM 生成的措辞；作者的当下习惯只会被统计，不会成为目标。项目使用 Rust 与 Tauri 构建，处于早期开发阶段，暂无正式发布版本，本地构建中已可运行捕获、拼写、telltable 下划线等功能，部分模块（Style Card、规则层、改写、工作卡片等）标注为计划中的阶段。
展开详情收起详情：Writing Assistant：面向个人写作风格的桌面拼写语法与文风检查工具⌄
★ 2 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
transcendr/slopware-skills · Free, portable AI agent skills and plugins for Codex, Claude Code, and Agent Skills clients by Slopware Engineer (@aienginerd). Home of the MSW Kernel for Minimum Sufficient Work.
Slopware Skills 是 Slopware Engineer 发布的一组可移植、可单独安装的 AI 编程智能体技能与插件，支持 Codex、Claude Code 以及兼容 Agent Skills 的客户端。合集包含七个包：MSW Kernel（最小充分工作原则，只做必要工作并要求证据）、可选强化插件 MSW Hook、MSL Kernel（最小充分语言，只向读者报告必须了解或行动的内容）、Timebox（在 AWT/CGP 授权时钟内收敛工作）、CODER Loop（Codex 有界实现、独立评估与修复循环）、Codex Voice Optimizer（面向免手操作的 Codex 语音编排）以及 Codex App Link（让 Claude Code 操作 Codex 桌面应用线程）。各包拥有独立文档、可单独安装，也可组合成 Slopware Dev Stack，包之间无硬依赖或共享运行时。
展开详情收起详情：Slopware Skills：面向 Codex 与 Claude Code 的可移植 AI 编程智能体技能与插件合集⌄
★ 37 · 开发框架
GitHub
原文发布：未知收录：2026-10-17
negativexq/knowledge-base-rag · Production-style multilingual RAG with tenant-safe retrieval, evidence provenance, deterministic validation, observability, and reproducible evaluation.
该项目是一个生产风格的多语言 RAG 平台，覆盖混合检索（Qdrant 稠密+BM25、RRF 融合、BGE 重排序）、租户与角色授权边界、SectionAware 证据构建、请求级 support ID 与引用校验、Architecture V2 发生账本式关键值一致性校验、OpenTelemetry/Jaeger 可观测性以及可复现的离线评测与失败归因。README 提供本地运行的 Quickstart，并强调其定位为 portfolio 系统而非生产服务声明。
展开详情收起详情：Knowledge Base RAG：面向多租户的多语言检索增强生成平台⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
lazarevtill/strix-halo-llm · Measured llama.cpp Vulkan tuning for AMD Strix Halo (Ryzen AI MAX+ 395 / gfx1151), plus an eval harness with a catalogue of 13 bugs that each produced a believable wrong number.
该项目针对 AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）统一内存平台，提供经实测的 llama.cpp Vulkan 推理调优方案，包括单模型启动脚本、路由器模式启动器、Prometheus 指标导出与看门狗脚本，并记录了内存占用上限、批大小、推测解码等实测结论。仓库还包含可跨硬件使用的评测工具与一个记录了十六个评测框架 bug 的目录，每个 bug 都附带了它曾产生的“看似合理的错误数值”。
展开详情收起详情：strix-halo-llm：AMD Strix Halo 上的 llama.cpp Vulkan 调优与 LLM 评测工具集⌄
★ 1 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
zhiyuwang720-dev/CodeSage · AI-powered code review platform that ranks #1 on AACR-Bench with 52.8% precision, 23.4% recall, and 32.4% F1. Plans PR investigations, runs parallel reviewers, and verifies every finding against code evidence.
CodeSage 是一款 AI 驱动的代码审查工具，提供本地 CLI 和配套 Web 产品。其深度审查能力 CodeSage Deep 会围绕一次代码变更展开调查：理解 PR 意图、制定审查计划、让多个 Reviewer 并行检查不同问题，再对发现进行证据核验与跨文件分析，输出定位到代码的结构化审查意见。审查过程中 Agent 可读取完整文件、查看其他文件差异、搜索仓库并沿调用关系追查上下文。设计上强调确定性准备、可修复的审查计划、受控并行 Reviewer、一次 Cross 综合验证与确定性收尾，并通过 ARQ 投递、数据库行锁、Lease、心跳续约与提交门禁治理任务执行。材料称在 AACR-Bench 100 个实例评测中，CodeSage Deep 搭配 GLM-5.2 获得 52.8% 精确率、23.4% 召回率和 32.4% F1。
展开详情收起详情：CodeSage：面向 Pull Request 的 AI 代码审查平台⌄
★ 77 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
elementmerc/senbonzakura · The world's top open-weight AI model workshop. Measure, uncensor and audit: refusal removal for transformer language models, with the instruments to measure what the edit cost.
Senbonzakura 是一套 Python 工具，用于对开源权重 Transformer 语言模型执行 abliteration（项目称为 uncensoring）：移除模型原有的拒绝回答行为，并用带区间与对照的测量工具评估该编辑造成的代价，包括拒绝是否真正消失、模型是否仍能识别有害内容、推理能力是否下降以及首 token 分布漂移。仓库提供 compass、score、drift、capability、validate、check、report 等命令，并附带约 6200 条有害提示的评测轨道以便离线运行。README 明确说明该编辑会永久写入权重，且生成模型仍受基础模型许可证约束。
展开详情收起详情：Senbonzakura：对开源权重语言模型进行去审查编辑并量化其代价⌄
★ 10 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
api-evangelist/vervoe · Vervoe — independent third-party profile of a public API surface, by API Evangelist. Vervoe is an AI-powered skills assessment and skills-based hiring platform. Employers build their own assessment content or select from a public Assessment Library - assessments can include video, spreadsheets, presentations, and code challenges that simulate real
Vervoe 是一个 AI 驱动的技能评估与技能招聘平台，雇主可自建评估内容或从公开评估库中选题（含视频、表格、演示和代码挑战），并邀请候选人参与由 AI 打分排序的 Talent Trials。该仓库是 API Evangelist 维护的第三方公开 API 档案，记录其合作伙伴/集成 REST API：列出雇主的评估、邀请候选人完成评估、获取候选人报告与分数，以及通过签名 Webhook 接收报告实时通知。Vervoe 未公开具体端点路径和 OpenAPI 定义，访问需联系其销售团队开通。
展开详情收起详情：Vervoe：基于技能的招聘评估与 ATS 集成 API 档案⌄
★ 0 · 资料合集
GitHub
原文发布：未知收录：2026-10-17
doyled-it/excalidraw-skill · Agent skill for generating editable .excalidraw diagrams that argue visually: deterministic layout, text measurement, geometry preflight. Installs into Claude Code, Codex, or any skill-aware agent.
excalidraw-skill 是一个可安装到 Claude Code、Codex CLI 等支持 skill 机制的编码智能体中的技能包，用于生成可编辑的 .excalidraw 图表。它强调“结构本身承载论证”，通过扇出、时间线、汇聚、分区等布局来表达关系，并要求使用真实事件名、载荷和 API 调用作为证据元素。配套提供确定性布局工具（文本测量、容器尺寸计算、正交箭头路由、几何预检），使多框图表在首轮生成时即可避免溢出、重叠和裁剪问题。渲染器为可选组件，仅用于视觉校验。
展开详情收起详情：excalidraw-skill：用确定性布局生成可编辑 Excalidraw 论证图⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
AcadifySolution/fine-tuning-pipeline · PyTorch LLM fine-tuning pipeline with LoRA/QLoRA training, chat dataset preparation, and Accelerate, DeepSpeed, and SageMaker configuration examples.
该项目是一个面向生产场景的因果语言模型监督微调（SFT）流水线，基于 Hugging Face Transformers、PEFT 与 Accelerate 构建，支持 LoRA/QLoRA、assistant-only 损失掩码、单卡与多卡训练以及可选 DeepSpeed ZeRO-3。数据侧提供 JSON/JSONL/HF 数据集的规范化、schema 过滤与确定性切分，训练侧通过种子控制与每次运行的 run_manifest.json 提升可复现性，并输出安全序列化的模型检查点与 LoRA 合并脚本。仓库还包含 AWS SageMaker/Terraform 部署脚手架示例，以及 Ruff、Black、配置校验、测试、CodeQL 与 Terraform 校验等工程质量检查。
展开详情收起详情：fine-tuning-pipeline：基于 PyTorch 的 LLM LoRA/QLoRA 监督微调流水线⌄
★ 0 · 开发框架
GitHub
原文发布：未知收录：2026-10-17
codecoradev/cora-code · CLI-first AI code review — BYOK, diff/scan/branch, pre-commit hooks. 100% open source (MIT).
Cora 是一款用 Rust 编写的原生 CLI 工具，面向终端、CI/CD、Git 钩子以及 AI 编程代理场景，提供 AI 驱动的代码审查与代码智能能力。它支持自带密钥（BYOK）接入 OpenAI、Anthropic、Groq、Ollama、Z.AI 等多家模型或任意 OpenAI 兼容 API，并可在未配置大模型时运行确定性的内置规则、安全与密钥检测扫描。功能涵盖 diff/分支/未推送提交审查、提交信息生成、SARIF 输出、质量门禁与质量档位、自定义规则引擎、大 PR 自动分块、多语言代码库符号索引与调用图追踪、混合语义搜索（FTS5 + 向量 KNN + 图 RRF 融合）以及面向 AI 编程代理的 MCP 服务。
展开详情收起详情：Cora：基于 BYOK 大模型的命令行 AI 代码审查与代码智能工具⌄
★ 29 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
api-evangelist/zoho-people · Zoho People — independent third-party profile of a public API surface, by API Evangelist. Zoho People is Zoho's cloud-based, AI-first HR management system (HRMS) spanning core HR, time and attendance, leave, performance, learning, recruitment, payroll and analytics — bundled inside the Zoho One business suite.
该仓库是 API Evangelist 维护的第三方资料索引，并非 Zoho People 本身的 API 或软件。它整理 Zoho People 这一云端 AI-first HRMS 的公开 REST API 接口面，覆盖员工记录、自定义表单、休假、考勤、工时追踪、自动化与仪表盘数据，并汇总 OAuth 2.0 认证、七类 ZOHOPEOPLE 作用域，以及 OpenAPI、JSON Schema、Postman 集合等机器可读描述。材料称产品涵盖核心 HR、考勤、休假、绩效、学习、招聘、薪酬与分析，但仓库本身不提供这些功能的实现。
展开详情收起详情：Zoho People：Zoho 云端 HRMS 公开 REST API 的第三方资料索引⌄
★ 0 · 资料合集
GitHub
原文发布：未知收录：2026-10-17
Yeshwanthyk/agent-skills · Agent Skills for Claude Code, Codex, and Pi: stateful-systems and interactive-system-explainer
这是一套面向 Claude Code、Codex、pi 等能够读取 SKILL.md 目录的智能体的技能集合，每个技能可独立使用。核心技能 yesh-router 会为每个任务挑选合适的方法并应用工程原则；技能覆盖架构选型、回归定位、性能基准核查、变更影响面分析、缺陷诊断、代码原理讲解、交互式 HTML 解释、对抗式评审、形式化建模与不变量检验、代码与结构审查、并行智能体编排、文档与提交文案润色、可视化渲染、面向智能体的文档写作等。README 还介绍了 powerball 模式的配置方式，以及修改技能后的检查与构建流程。
展开详情收起详情：Agent Skills：为编程智能体提供可组合的工程技能库与路由⌄
★ 6 · 资料合集
GitHub
原文发布：未知收录：2026-10-17
AtomicBot-ai/Atomic-Chat · Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V
Atomic Chat 是一个本地 AI 应用与推理引擎，可在本机运行来自 HuggingFace 的开源权重 LLM（如 Llama、Gemma、Qwen、Mistral、Phi 等），强调隐私与离线使用。它提供桌面端（macOS/Windows/Linux）与移动端（iOS/Android）应用，内置 OpenAI、Anthropic、Mistral、Groq、MiniMax、Qwen、Moonshot 等云端模型提供商（自带 API Key），支持 MCP 服务器、自定义助手、项目会话树和 Artifacts 实时预览。同时通过 localhost:1337/v1 提供 OpenAI 兼容的本地 API，可被各类 Agent、CLI 和 IDE 插件调用。
展开详情收起详情：Atomic Chat：本地运行开源权重大模型的 AI 聊天应用与推理引擎⌄
★ 1803 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
driftsys/upskill · Upskill your coding agents — ultra-lightweight agent skills package manager
upskill 是一个 ultra-lightweight 的 agent 技能包管理器，用单个 Rust 二进制在 Claude Code、GitHub Copilot、opencode 等 AI 编程客户端之间，从单一可信来源（SSOT）编写与分发 AI 辅助内容（rules、skills、agents）。它无需 Node.js、npm 或运行时依赖，支持从源仓库或 bundle 安装内容并自动展开到 .claude/、.github/、.agents/ 等目录，通过 .upskill-lock.json 记录安装版本与哈希，并提供 update、list、doctor、new、lint、fmt、search 等命令。项目区分源注册表（作者命令）与消费项目（消费命令）两种角色。
展开详情收起详情：upskill：用单个 Rust 二进制管理 AI 编程助手的 rules、skills 与 agents⌄
★ 0 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-17
NVIDIA-NeMo/Nemotron · Developer Asset Hub for NVIDIA Nemotron — A one-stop resource for training recipes, usage cookbooks, datasets, and full end-to-end reference examples to build with Nemotron models
NVIDIA Nemotron 开发者资源库，围绕 Nemotron 系列开源高效多模态模型，提供从数据准备、合成数据生成、预训练、SFT、PEFT、强化学习到评测、量化与部署的完整训练配方，以及使用 cookbook、端到端智能体工作流示例和模块化 nemotron steps CLI。仓库还附带名为 nemotron-customize 的 Claude Code 插件，可按步骤目录规划流水线并生成 YAML 配置。
展开详情收起详情：NVIDIA Nemotron：面向智能体 AI 的开源模型训练配方、部署指南与用例资源库⌄
★ 2169 · 资料合集
GitHub
原文发布：未知收录：2026-10-17
langchain-ai/agentevals · Readymade evaluators for agent trajectories
AgentEvals 提供一组用于评估智能体（Agent）执行表现的评估器与工具，重点关注 agent trajectory，即智能体运行过程中的中间步骤。它既可以基于参考轨迹进行匹配判定，也支持以 LLM 作为评判者（LLM-as-judge）来评估轨迹准确性，并包含针对图结构轨迹的评测方式，可作为构建智能体评测体系的概念起点。同时提供 Python 与 TypeScript 版本。
展开详情收起详情：AgentEvals：面向智能体轨迹的评估器集合⌄
★ 751 · 开发框架
GitHub
原文发布：未知收录：2026-10-17
karpathy/autoresearch · AI agents running research on single-GPU nanochat training automatically
autoresearch 提供一个可自主运行的 LLM 训练研究循环：给 AI Agent 一个精简版单 GPU nanochat 训练环境，Agent 自动修改 train.py、训练 5 分钟后以 val_bpb 评估结果并决定保留或丢弃，不断重复，从而在夜间无人干预地积累实验日志并可能得到更好的模型。仓库刻意保持精简，只有 prepare.py（数据准备与运行时工具，不改动）、train.py（Agent 修改的模型、优化器与训练循环）和 program.md（供人类为 Agent 编写研究指令）三个核心文件。
展开详情收起详情：autoresearch：让 AI Agent 自主迭代单 GPU 上的 nanochat 训练实验⌄
★ 98027 · 开发框架
GitHub
原文发布：未知收录：2026-10-17
harbor-framework/harbor · Framework for evaluating and improving agents
Harbor 是由 Terminal-Bench 团队开发的框架，用于评估与优化智能体和语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等各类智能体，构建和分享自定义基准与运行环境，通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等提供方并行运行上千个环境开展实验，并为强化学习优化生成 rollout。Harbor 是 Terminal-Bench-2.0 的官方评测框架。
展开详情收起详情：Harbor：面向容器环境评估与优化智能体和语言模型的框架⌄
★ 6185 · 开发框架
GitHub
原文发布：未知收录：2026-10-17