AI 资源库 · 已整理 4 项
查看与inference相关的 AI 资讯、工具、Skill、工作流和开源项目。
mfellner/sparkrun-recipes · Custom SparkRun recipes for DGX Spark-class systems
该项目是面向 NVIDIA DGX Spark 及兼容 GB10 系统的自定义 SparkRun 配方注册表，通过 sparkrun registry add 注册后可在 @mfellner/ 命名空间下使用。包含多个配方：单机原生 TTS（Fish Audio Drama 3）、单机多模态检索嵌入（Qwen3-VL-Embedding-8B）、双机 1M 上下文的 Qwen3.8 Flash Next NVFP4 和 GLM 5.3 Flash EXL3 on TensorFold 等，均带有镜像与模型快照的不可变 pin、依赖与授权说明以及可复核的验收证据。配方多采用非特权容器、主机网络/IPC、设备访问等配置，服务默认无鉴权，需运行在受信任的私有网络中。
api-evangelist/simplismart · Simplismart — independent third-party profile of a public API surface, by API Evangelist. Simplismart is an AI inference and model-deployment platform that lets teams run, fine-tune, and self-host generative AI models on optimized GPU infrastructure. It offers OpenAI-compatible LLM chat inference (Llama, Qwen, Gemma, Mixtral, DeepSeek), Whisper spe
该仓库是 API Evangelist 维护的第三方公开资料档案，并非 Simplismart 官方 API 或软件。材料显示 Simplismart 是一个 AI 推理与模型部署平台，支持在优化过的 GPU 基础设施上运行、微调与自托管生成式 AI 模型，提供兼容 OpenAI 的 LLM 对话推理（Llama、Qwen、Gemma、Mixtral、DeepSeek）以及 Whisper 语音转文字等能力。仓库本身只包含文本与机器可读的 API 描述，没有可构建、发布或安装的软件。由于该档案尚处于待补充（stub）状态，关于部署条件、硬件要求、API 费用与限制等信息均未说明。
FuturixAI-and-Quantum-Works/carve-jev · Open-source Jev-like model family with one-token Qwen3.8 decisions, TypeSafe API, one-command setup, and reproducible benchmarks.
CARVE（Candidate-Aligned Readout via Vocabulary Evidence）是一个 Apache-2.0 开源模型家族，基于 Qwen3.8-27B，通过只对用户自定义选项对应的候选字母 token 进行打分，实现单输出 token 的 Noul、Choice、Score 类型化决策，无需生成自由文本 JSON 再解析。项目提供 TypeSafe 兼容的 System One API、一键启动脚本和可复现基准，发布 CARVE-ZS、CARVE-AS、CARVE-FS2 等多个服务配置，在 Decision 1.0 transfer-v9 上报告 82.22% 的最高准确率。README 说明其返回的为原始受限候选 token 概率，并非校准后的正确性置信度。
rwilliamspbg-ops/Ghostlink · Distributed LLM inference fabric for heterogeneous local clusters. Features zero-copy SPSC ring buffers, automated tuning, and an OpenAI-compatible API.
Ghostlink 是一个用 Rust 编写的分布式推理织构，面向由 CPU、GPU、NPU 混合组成的本地局域网集群。它通过 llama.cpp 的 ggml-rpc 后端拆分 GGUF 模型权重，自动发现局域网节点并按硬件能力放置负载，对外提供 OpenAI 兼容的 /v1/chat/completions API 服务；同时包含硬件探测、自动调优以及 SPSC 环形缓冲区、TCP/UDS 传输、AF_XDP 内核旁路等研究性组件（实验性质，其基准数值只反映传输分帧延迟而非 LLM 生成速度）。