AI 资源库 · 已整理 8 项
查看与vLLM相关的 AI 资讯、工具、Skill、工作流和开源项目。
Maaa2005/local-rag-agent · 閉域環境向けのローカル文書検索RAGプロトタイプ。権限プレフィルタ、Excel正規化、Qdrantハイブリッド検索、根拠付き回答を検証。汎用業務AI・回答保証を目的としない（vLLM / FastAPI）
该项目是一个面向闭域环境的本地文档检索 RAG 原型，可将机密文档保留在内部网络中进行处理。项目涵盖本地文档导入、Excel 规范化、基于 access_level 的权限预过滤、Qdrant 混合检索以及附检索依据的回答生成，后端采用 FastAPI，推理采用 vLLM 与量化开源模型。作者在小型数据集上的检索与权限过滤验证效果良好，但明确指出最终回答存在数值判断错误，定位为课程演示可用、生产不可用，不保证回答正确性，也未覆盖大规范语料。
rmedipallycic/llm-inference-fault-tolerance · Fault-injection study of vLLM and SGLang: what a streaming client sees when an LLM server crashes mid-generation. 430 measured trials on Llama 3.1 8B (AWS A10G): naive retry contradicted already-delivered text; deterministic modes plus recompute recovered exactly. Paper, raw logs and table scripts included.
该项目是针对 vLLM 与 SGLang 的故障注入研究，考察 LLM 推理服务在生成中途崩溃时，流式客户端实际收到什么。基于 Llama 3.1 8B 与 AWS A10G 完成 86 次运行、430 次试验，比较朴素重试、重算、固定间隔 KV 检查点等恢复策略，并记录朴素重试与已交付文本矛盾、确定性模式加重算可精确恢复等发现；仓库包含论文、原始日志、分析制表脚本、故障注入工具与精确一次令牌网关。后续的 KV 检查点微基准与自适应策略尚未开始。
ai-runway/airunway · ✈️ Kubernetes-native platform for deploying and managing AI inference across multiple providers
AI Runway 是一个 Kubernetes 原生平台，提供 Web UI 和统一的 ModelDeployment CRD，用于跨多个推理提供商部署和管理大语言模型。它支持浏览 HuggingFace 模型、一键部署、实时状态与日志监控、Prometheus 指标、GPU 成本估算，并集成 Gateway API 推理扩展和 Headlamp 插件。它兼容 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，通过提供商适配集成 NVIDIA Dynamo、KubeRay、KAITO、LLM-D 和直连 vLLM。
Sahil170595/Chimeraforge · PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.
Chimeraforge 是一个本地优先、模型无关的 LLM 部署规划器，以 Python CLI 形式提供。用户可输入模型规模、HF 仓库或 Ollama 标签，以及 GPU 硬件与请求速率，工具会在（模型 × 量化 × 后端 × GPU 数量 × 并行策略）空间中搜索，并在 VRAM、质量、延迟、成本、能耗等门控约束下返回满足 SLO 的最便宜配置。每个数值都标注为 measured、extrapolated、derived、estimated 或 unknown 的来源，无需联网即可对本地注册表和目录进行规划。项目还提供 workload 流量画像、markdown 决策简报、MCP 服务器供 Claude/GPT/Cursor 调用，以及 suggest、measure、bench、safety 等共 25 个子命令。
Chainguard 推出了一套 AI 安全工具 Harness，用前沿模型帮忙找应用代码里普通扫描器查不出的可被利用漏洞。它一开始用的是 Anthropic 限制开放的 Claude Mythos 5.1，所以没参加 Project Glasswing 的团队没法直接碰这个模型，但可以通过 Harness 间接受益。Harness 强调先在实际隔离环境里复现漏洞、验证补丁确实有效，再由人工审核后才交付，以减少 AI 误报给维护者带来的噪音。它已经公开发现并修复了 vLLM 的一个漏洞，还有关键基础设施相关的问题在协调披露中。同时发布的一份调查称，营收十亿美元以上的公司里有 66% 承认至少有时会放着高危漏洞不修。
FuturixAI-and-Quantum-Works/carve-jev · Open-source Jev-like model family with one-token Qwen3.8 decisions, TypeSafe API, one-command setup, and reproducible benchmarks.
CARVE（Candidate-Aligned Readout via Vocabulary Evidence）是一个 Apache-2.0 开源模型家族，基于 Qwen3.8-27B，通过只对用户自定义选项对应的候选字母 token 进行打分，实现单输出 token 的 Noul、Choice、Score 类型化决策，无需生成自由文本 JSON 再解析。项目提供 TypeSafe 兼容的 System One API、一键启动脚本和可复现基准，发布 CARVE-ZS、CARVE-AS、CARVE-FS2 等多个服务配置，在 Decision 1.0 transfer-v9 上报告 82.22% 的最高准确率。README 说明其返回的为原始受限候选 token 概率，并非校准后的正确性置信度。
quickhoteloccupancy5342/vllm-qwen3.8-flash-next-rtx-pro-6000-sharp-monitoring · Serve Qwen3.8-Flash-Next on one RTX PRO 6000 with vLLM, a sharp chat template, and bundled Prometheus+Grafana monitoring.
该仓库提供一套基于 Docker 的打包方案，用于在 NVIDIA RTX PRO 6000 Blackwell 显卡上通过 vLLM 运行 Qwen3.8-Flash-Next 语言模型，包含 Qwen-Sharp 对话模板、MTP-3 推测解码、工具调用支持，以及 Prometheus 与 Grafana 组成的实时监控面板。README 说明面向 Windows 10/11 用户提供 start.bat 启动脚本，本地推理不上传对话数据，并在首次运行时下载约 40GB 模型文件。
monickverma/cursor-electronics · Circuit OS: AI hardware compiler. Plain English to validated schematic, Arduino firmware, SPICE simulation and BOM. Runs on AMD ROCm via vLLM.
Circuit OS 是一个 AI 硬件编译器，用户用自然英语描述电路需求，系统输出经过验证的电路原理图、Arduino 固件、SPICE 仿真、物料清单（BOM）以及设计决策解释。其核心约束是 LLM 不直接撰写 SPICE、KiCad 文件或固件，而是只输出符合严格 IR schema 的结构化 JSON，随后由确定性编译器（ngspice、KiCad、Jinja2 模板等）生成产物，并通过 Pydantic 与硬件规则引擎做字段级校验和最多 3 次重试。项目支持使用 Claude 或通过 vLLM 在 AMD ROCm GPU 上运行的开放模型，包含硬件规则检查、后台仿真评分、补丁式修改、JWT 认证、限流、PostgreSQL 存储等能力。