AI 资源库 · 已整理 2 项
查看与流式生成相关的 AI 资讯、工具、Skill、工作流和开源项目。
meteorologicalballoonfronttooth549/tsfm · Provide on-device Apple Foundation Models inference in TypeScript with streaming, structured output, and chat-style APIs for secure, local AI processing.
tsfm 是一个基于 TypeScript 和 Node.js 的工具库，用于在 macOS 26 及以上系统中访问 Apple 的端侧 Foundation Models，实现本地 AI 推理。它支持流式输出、结构化输出与聊天式 API，数据保留在设备本地以保护隐私，可用于构建虚拟助手、语言翻译、文本摘要和定制 AI 工作流等场景。
agentjido/req_llm · Composable Elixir library for LLM interactions built on Req and Finch
ReqLLM 是一个基于 Req 与 Finch 构建的 Elixir 库，将不同厂商 LLM API 的请求与响应标准化，提供统一、符合 Elixir 习惯的调用接口。它受 Vercel AI SDK 启发，提供 generate_text/3、stream_text/3、generate_object/4 等高层函数，内部由 Req 负责请求/响应、Finch 负责流式传输，并通过 provider 回调统一模型元数据、选项与响应格式。根据 README，其模型目录来自 LLMDB，覆盖 21 个已实现的 provider 集成、1,205 个模型，涵盖文本、嵌入、图像生成、语音、转录、重排与 OCR 等操作，同时支持 Ollama 和 LM Studio 本地推理。库还提供结构化输出、工具调用、模型路由 behaviour、评测模型（Jev）等能力。