AI 资源库 · 已整理 5 项

streaming

查看与streaming相关的 AI 资讯、工具、Skill、工作流和开源项目。

llm-sse:把 OpenAI、Anthropic、Gemini 的流式响应统一成单一事件格式

slegarraga/llm-sse · Parse streaming responses from OpenAI, Anthropic and Gemini into one unified event format. Text and tool-call deltas. Zero dependencies.

llm-sse 是一个零依赖的 TypeScript SSE 解析库,将 OpenAI Responses、OpenAI Chat Completions、Anthropic Messages 以及 Gemini streamGenerateContent 的流式输出统一为同一组事件:text、reasoning、tool_call_start、tool_call_delta、finish 和 error。它正确处理 SSE 分帧、跨块的多字节 UTF-8、同行分割的数据字段与保活注释,并提供 collectStream 汇总完整消息、toAssistantMessage 生成标准 OpenAI 形状的 assistant 消息,便于在多个提供商之间迁移和组合流式响应。适配 Groq、DeepSeek、OpenRouter、Ollama 等 OpenAI 兼容接口。

☆ 收藏查看来源 ↗

Claude Agent SDK:面向 Elixir 的 Claude Code 编程接口

nshkrdotcom/claude_agent_sdk · An Elixir SDK for Claude Code - provides programmatic access to Claude Code CLI with streaming message processing

该项目是一个 Elixir SDK,通过将 Claude Code CLI 作为权威运行时契约,提供对 Claude Code CLI 的编程式访问。它支持流式消息处理、生命周期钩子、权限控制以及通过 MCP 的进程内工具执行,可用于构建 AI 编程助手、自动化代码审查、多 Agent 工作流和交互式聊天界面。SDK 本身不捆绑 Claude Code CLI,需要单独安装。

☆ 收藏查看来源 ↗

AI Code Reviewer:基于 OpenAI/Anthropic 的流式 AI 代码审查工具

faizkhairi/ai-code-reviewer · AI code reviewer with streaming output: bring your own OpenAI or Anthropic key, 4 review types, 19 languages

AI Code Reviewer 是一个可自行提供 OpenAI 或 Anthropic API key 的 AI 代码审查工具,支持 GPT-4o 与 Claude Sonnet 之间的切换,提供通用、安全、性能、缺陷检测四种审查类型,覆盖 19 种编程语言,并以流式输出配合 markdown 渲染实时展示逐条审查意见。项目基于 Next.js 16 与 Vercel AI SDK 构建,支持语法高亮和最近 50 条审查记录的本地历史保存,同时包含 GitHub App PR 审查任务与演示模式。

☆ 收藏查看来源 ↗

Inference Systems Lab:LLM 推理服务基准测量与证据复现工具包

stelioszach03/colab-speculative-decoding-speed-lab · Inference Systems Lab: 1,536 controlled vLLM requests on one RTX 4090, cache/concurrency comparisons, raw traces and bounded streaming benchmark tools.

该项目是一个服务测量工具包,起源于推测解码速度实验,包含标准库 Python 客户端,用于对本地 OpenAI 兼容 /v1/chat/completions 端点记录流式请求的首块到达、块间隔、总延迟、服务端 token 数等指标,并支持固定大小闭环并发阶段。仓库附带受控 GPU 实验(单张 RTX 4090 上 1536 次 vLLM 请求)的原始轨迹、结果表与对比数据,以及不执行推理的记录结果校验脚本和单元测试。README 明确说明这些记录仅用于检查特定设置,不构成通用最快服务栈的选型依据,也未声称无损加速或输出质量提升。

☆ 收藏查看来源 ↗

llm-stream-guardrails:流式响应中实时脱敏 PII 与密钥的 LLM 护栏

roshcompanylabs/llm-stream-guardrails · LLM guardrails for streaming: redact PII and secrets mid-stream

llm-stream-guardrails 是一个 TypeScript 库,用于在 LLM 流式响应过程中实时检测并遮盖 PII、API 密钥、私钥等敏感内容,无需先缓冲完整回复再过滤。它接收任意字符串异步可迭代对象(可直接接入 Vercel AI SDK 的 textStream,OpenAI/Anthropic SDK 需一行映射),承诺对任意输入、策略与分块方式,流式输出与整串过滤结果逐字节一致且每个输出块独立完整。内置 email、信用卡(Luhn 校验)、电话、SSN、IBAN(mod-97)、35 类密钥形态及 PEM 私钥块检测器,并支持按字段名识别的 labeledSensitive 与自定义敏感标签。仓库定位为纵深防御而非合规控制,作者明确说明对未见文本的召回率约 47%–81%,不能替代其他安全措施。

☆ 收藏查看来源 ↗