工具
yeixio/toskar-core · Run local AI across all your computers: one OpenAI-compatible API, automatic model placement, nothing leaves your machines.
Toskar Core 是一个用 Go 编写的开源本地 AI 控制平面,目标是让在自有硬件上运行 AI 像使用托管服务一样简单。它自动检测 CPU、内存、存储和 GPU 等硬件,推荐并管理 GGUF 模型,启动 llama.cpp 运行时,并在多台配对的电脑之间发现节点、分配工作负载,同时对外暴露统一的 OpenAI 兼容 API。项目还包含本地 Web UI、持久记忆、连接知识库、工具与 MCP、定时自动化、模型性能诊断以及 LoRA 微调训练等功能。
展开详情收起详情:Toskar Core:为自有硬件提供 OpenAI 兼容 API 的本地 AI 控制平面⌄
程序员在自有硬件上运行本地模型,并通过 OpenAI 兼容 API(GET /v1/models、POST /v1/chat/completions)接入应用或 IDE,用于代码相关请求;还可使用工具(web search、files、shell、Git)与 MCP 服务器,以及 LoRA 微调训练专用助手。
产品经理使用本地模型进行对话与知识库检索(Mimir 连接文件、文件夹、上传、扫描 PDF、只读 SQL 数据库和 Web API),并可用定时自动化与条件通知辅助整理信息。
★ 0 · 可直接使用的工具
原文发布:未知收录:2026-10-07
综合合集
Osmantic/ODS · ODS V3 Pre-Release: Public testing and refinement ahead of the official V3 launch. Turn your PC, Mac, or Linux box into a private AI server.
ODS 是一个面向本地自托管的 AI 服务栈,通过一条安装命令把本地模型推理、Open WebUI 聊天界面、控制面板、语音、Agent 与工作流、RAG 与检索、图像生成、隐私与运维工具等预装并串联起来,无需手工组合 Ollama、Open WebUI、n8n、ComfyUI 等组件。支持 Linux、Windows(WSL2/Docker Desktop)与 macOS Apple Silicon,默认本地模式,也可选云或混合 API 模式。当前 V3 处于公开测试阶段的预发布版本。
展开详情收起详情:ODS(Osmantic 部署系统):把个人电脑变成私有 AI 服务器的本地 AI 服务栈⌄
程序员在本地硬件上搭建私有 AI 服务栈,用于本地模型推理、聊天界面、Agent 与工作流、RAG 与检索、图像生成以及服务认证、密钥、可观测性与诊断等运维工具,避免手工组合 Ollama、Open WebUI、n8n、ComfyUI 等组件。
产品经理在本地或私有环境中使用预装的聊天界面、Agent 与工作流、RAG 与检索、图像生成等能力,用于产品探索与原型验证,且提示与数据默认留在本机。
★ 6952 · 可直接使用的工具
原文发布:未知收录:2026-10-02
工具
featherless-ai/simple-jev · Turn any open model into a classifier/jev endpoint
Simple Jev 让兼容的开源模型(如 Hugging Face 上的 Qwen、Gemma、Laya 系列)无需额外训练分类头即可用于结构化分类与评分。请求包含共享上下文(state 或 messages)和若干问题,服务端读取模型在候选标签上的 next-token logits,自行构造 JSON 响应,返回 choice(多选一)、score(量表打分)和 noul(真值/支持度判断)三类结果,输出不依赖模型生成文本。项目包含基于 Hugging Face Transformers 与 PyTorch 的本地服务、供其他推理实现复用的 Python common 规则模块、以及带 JevBench 打分、文本/决策与视觉套件、提示格式搜索的评测框架。
展开详情收起详情:Simple Jev:把开放模型变成结构化分类与评分端点⌄
程序员将兼容的开源模型(如 Qwen、Gemma、Laya 系列)作为结构化分类与评分端点使用,无需训练分类头;通过 POST /v1/classifier 发送共享上下文和问题,获取 choice、score、noul 三类 JSON 结果,用于代码或文本的分类、评分与真值判断。
HR使用结构化分类端点对员工消息或文本进行路由分类(如 billing/technical)和真值判断(如是否明确请求退款),可用于员工沟通或人力数据整理中的文本分类与判断。
产品经理利用结构化分类与评分端点对用户反馈或需求文本进行多选一分类、量表打分和真值/支持度判断,辅助用户研究与需求分析中的定性数据整理。
★ 575 · 可直接使用的工具
原文发布:未知收录:2026-10-01
工具
potto007/unridden · Zero-generated-token decision API: reads a local LLM's final-position label logits to answer Choice, Score and true/false questions. Apache-2.0.
Unridden 是一个本地决策 API,通过读取本地 LLM 末位标签 logits 来回答结构化问题,不生成任何 token。用户提供 state 和一个命名问题映射,服务为每个问题返回一个类型化答案:Choice(选项)、Score(分数)或 Noul(真/假概率)。它在本地以单个 llama.cpp 子进程运行,一次处理一个请求,不采样也不追加 token,适用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。
展开详情收起详情:Unridden:读取本地 LLM 末位 logits 的零生成决策 API⌄
程序员在本地以单个 llama.cpp 子进程运行决策 API,通过读取本地 LLM 末位标签 logits 回答结构化问题(Choice、Score、Noul),不生成任何 token,可用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。
产品经理使用该本地决策 API 对结构化问题返回类型化答案(Choice、Score、Noul),适用于将客服消息路由到团队、评估紧急程度或判断是否报告重复扣款等分类与判定场景。
★ 1 · 可直接使用的工具
原文发布:未知收录:2026-09-24