推理与部署01
quickhoteloccupancy5342/vllm-qwen3.8-flash-next-rtx-pro-6000-sharp-monitoring · Serve Qwen3.8-Flash-Next on one RTX PRO 6000 with vLLM, a sharp chat template, and bundled Prometheus+Grafana monitoring.
该仓库提供一套基于 Docker 的打包方案,用于在 NVIDIA RTX PRO 6000 Blackwell 显卡上通过 vLLM 运行 Qwen3.8-Flash-Next 语言模型,包含 Qwen-Sharp 对话模板、MTP-3 推测解码、工具调用支持,以及 Prometheus 与 Grafana 组成的实时监控面板。README 说明面向 Windows 10/11 用户提供 start.bat 启动脚本,本地推理不上传对话数据,并在首次运行时下载约 40GB 模型文件。
Agent 与自动化02
sindre-ai/maskin · AI run the shop. Humans set direction, agents execute.
Maskin 是一个开源工作空间,让 AI Agent 自主执行产品开发,人类负责设定方向。核心流程为洞察(用户、数据、市场信号)→ 下注(待验证假设)→ 任务(具体工作项)→ 反馈循环。Agent 作为一等公民可创建洞察、提出假设、拆解并执行任务,人类负责纠偏。界面与 Agent 共用同一套 REST API,洞察、下注、任务均为统一对象模型并通过关系连接,所有变更记录为事件日志。Agent 以临时 Docker 容器会话运行(Claude Code、Codex 或自定义 CLI),由事件或定时触发器调度,日志通过 SSE 实时流式输出,技能、经验与记忆持久化在 S3 兼容存储;外部 Agent 可通过内置 MCP 服务(stdio 与 HTTP 两种传输)接入。
知识库与 RAG03
BedtimeNewsStudio/BedtimeNews-Agent · 睡前消息知识库 | 视频节目文稿 | 问答AI Agent | 马前卒工作室 | 睡前消息 | 参考信息 | 高见 | 讲点黑话 | 产经破壁机
该项目为睡前消息视频节目文稿构建知识库网站,既可向智能体提问,也能在站内浏览与阅读全部节目文稿。问答由基于 LangGraph 的智能 RAG 系统提供,包含自动查询路由、查询优化与语义搜索、基于 LLM 的文档相关性评分、检索文稿上下文与 Markdown 引用修复等功能,并支持自动化文档索引与基于不可变快照的增量更新和网页界面阅读器。系统使用 PostgreSQL + pgvector 存储向量,支持任意 OpenAI-compatible 的对话与嵌入端点,提供 Docker Compose 自托管与蓝绿零停机升级方案。
推理与部署04
ea1het/local_hybrid_ai · Local hybrid AI implementation in favor of data sovereignty
Local Hybrid AI 是一套本地优先的 AI 基础设施方案,在单台 Linux 服务器上通过八个 Docker Compose 栈,配合运行 oMLX 的 Mac mini 进行推理。项目提供 ./local-ai 命令,用于准备、启动、停止和检查各个栈,涵盖平台准备、HAProxy 的 HTTPS 入口、SearXNG 与 Firecrawl 的本地搜索、LiteLLM AI 网关、Gitea、Dockhand、带 SSH 沙箱的 Hermes 智能体以及 Open WebUI 聊天界面,强调数据主权与混合本地部署。