AI 资源库 · 已整理 6 项

流式响应

查看与流式响应相关的 AI 资讯、工具、Skill、工作流和开源项目。

Spring AI 2.1 消息部件:能完整往返保留的推理内容

Spring AI 是一个用 Java 写 AI 应用的框架。以前它把模型回复只当成一段文字,但像 Claude、Gemini、OpenAI 这些推理模型会额外返回“思考过程”和加密签名,要求下次请求时原样带回;如果顺序错了或丢了,模型就会报错或忘掉之前的推理。Spring AI 2.1 把消息改成按顺序排列的“部件”列表,可存放文本、推理、工具调用、工具结果、图片等,并原样保留这些加密数据,不同厂家的模型之间也能安全切换。该版本目前是 2.1.0-RC1 候选发布版,主要聊天模型都能生成和读取部件,还新增了可持久化这些部件的会话记忆功能。使用 Spring AI 的开发者升级后,推理内容能在多轮对话和流式输出中完整保留,读取方式也统一了。

文中可用工具

  • Spring AI用 Java 构建 AI 应用的框架,2.1 版把消息改为按顺序的部件列表
  • OpenAI Responses APIOpenAI 面向推理模型和智能体的较新接口,返回带加密推理项的数组
  • Chat CompletionsOpenAI 最早的聊天接口,许多其他服务器也实现
  • OpenAiChatModelSpring AI 中对接 Chat Completions 接口的实现
  • OpenAiResponsesChatModelSpring AI 2.1 新增,对接 Responses API 的无状态模式
  • MessageAggregator把流式返回的分片合并成完整消息
  • JdbcChatMemoryRepository原先只保存文本和消息类型的会话记忆存储
☆ 收藏查看来源 ↗

ClaimCheck:面向 LLM 工作流的本地优先 PII 假名化网关

saasclawai-org/ClaimCheck · Local-first PII pseudonymization for LLM workflows — sanitize text, files, and LLM traffic with a reversible vault that never leaves your machine. Works with Cline, OpenClaw & any MCP client. Free, MIT.

ClaimCheck 是一个本地优先的隐私脱敏网关,用于在 LLM 工作流中把敏感标识符替换为稳定的占位符(如 [FEIN_1]、[SSN_2]),并通过保存在本机的可逆映射库在输出阶段还原真实值。它提供 MCP 服务器模式(供 Cline、Cursor、Claude Desktop、OpenClaw 等 MCP 客户端通过 read_sanitized、scan_file、sanitize_text 工具读取脱敏内容)和 OpenAI 兼容 LLM 反向代理模式(在请求链路上自动脱敏、在响应上还原,并支持 SSE 流式响应)。内置基于正则与校验器的确定性识别器,覆盖 FEIN、SSN、信用卡、IBAN、云密钥、JWT、PEM 私钥、密码字段等,并可选启用本地 NER 模型识别姓名、机构、地点,支持自定义脱敏规则。

☆ 收藏查看来源 ↗

AI-Resume-Agent:面向招聘方的对话式简历问答 Agent

Rayhanpatel/AI-Resume-Agent · Conversational AI agent for recruiter Q&A — raw HTTP to Gemini (no SDK), 5 LLM-as-a-Judge evaluators, graceful degradation across 6 services, SSE streaming, Mem0 memory, Langfuse tracing. FastAPI + React 18 on Railway.

这是一个面向招聘方的对话式 AI Agent,用于回答关于个人职业背景的问题。项目以 profile.json 作为知识来源,提供多轮对话、SSE 流式输出、模型回退与真实模型健康检查、意图分类、提示注入防护、服务端会话与配额限流、Job URL 抽取与结构化解析,以及基于 Langfuse 的追踪和 5 项 LLM-as-a-Judge 评测。技术栈为 FastAPI + React 18,后端部署在 Railway,前端在 Vercel,Gemini 通过 Vertex AI / AI Studio 调用。

☆ 收藏查看来源 ↗

Portfolio AI Assistant:基于简历知识库的招聘问答助手

VidhiDixit2000/portfolio-ai-assistant · Recruiter-facing chat assistant grounded in my resume — answers questions about my experience with classification routing and streaming responses, built so it can't invent experience I don't have. FastAPI on Render, React on Vercel.

面向招聘方的对话式助手,从作者简历知识库中作答,支持按职位描述(JD)评分、上传或设置 JD、以 NDJSON 流式返回答案,并借助每次会话的状态与求职知识库缓存来避免编造简历中没有的经历;后端采用 FastAPI(主用 OpenAI,自动回退到 Groq),前端采用 React 并部署在 Vercel,后端部署在 Render。

☆ 收藏查看来源 ↗

Open Intelligent UI:基于 OpenUI 的生成式交互界面实现

thesysdev/open-intelligent-ui · An open-source take on ChatGPT's Intelligent UI: answers stream as interactive UI (maps, photos, charts, drawings and working tools). Built with OpenUI.

该项目用开源组件复刻 ChatGPT 的“Intelligent UI”体验:模型以流式方式输出 OpenUI Lang 1.0 描述,前端再把它渲染为可交互答案,包括地图与街道路线、图片、图表、表单控件、SVG 绘图,以及能在页面内计算并响应用户操作的小工具。项目提供组件库、59 个 @functions、动作指令和提示词选项;支持 OpenUI Cloud 网关、任意 OpenAI 兼容 API 或本地 Ollama 模型,并附带示例画廊和基准测试脚本。

☆ 收藏查看来源 ↗

Web Research Stack:LLM 驱动带引用的网页抓取与研究工具

senoldogann/web-research-stack · A production-ready web scraping and AI-powered research tool with full-stack capabilities.

该项目是一个生产就绪的全栈网页抓取与研究工具,后端采用 Python FastAPI,前端采用 React/Next.js,提供 CLI 与 REST API 两种接口。它包含本地网页研究工具(多角度搜索、抓取、站点地图、后台爬取与结构化抽取),并通过 stdio MCP 服务器暴露为 web_search、web_scrape 等工具;同时提供带引用的 LLM 研究能力,支持 SSE 实时进度、SQLite 历史与缓存、Docker 部署、Prometheus/Grafana 监控以及 SSRF 防护。

☆ 收藏查看来源 ↗