← 返回列表
推理与部署综合合集

Quixotic AI：面向 JVM 的本地 AI 开源全栈

qxoticai/qxotic · AI sovereignty for the world's most trusted runtime.

GitHub原文发布 未知首次收录 2026-09-24上架 2026-09-24 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Quixotic AI 为 JVM 提供一套完整的本地 AI 开源技术栈，覆盖分词、模型格式读写、量化矩阵乘法、张量引擎与多模态推理引擎。其推理引擎 jinfer 支持对话、视觉、音频、嵌入、重排序与文本转语音；配套 toknroll（纯 Java 分词器）、jam（面向多 CPU 指令集的量化 matmul）、jota（跨 Java/C/CUDA/HIP/Metal/OpenCL/Mojo 的张量引擎）、gguf 与 safetensors（纯 Java 的模型格式读写）。项目强调无需 Python、无需 ONNX、无需外部服务，AI 可在 JVM 内端到端运行，并支持 GraalVM Native Image。
# 多模态# 量化# JVM# 本地推理# GraalVM

核心能力与快速开始

★ 92 · Java

能做什么
提供完整的本地 AI 开源栈：jinfer 推理引擎支持聊天、视觉、音频、嵌入、重排序和文本转语音；toknroll 为纯 Java、零依赖的 LLM 快速分词器；jam 提供面向多种 CPU 指令集的量化矩阵乘法原生实现；jota 为张量引擎，统一 Java、C、CUDA、HIP、Metal、OpenCL、Mojo 的公共张量 API；gguf 与 safetensors 模块以纯 Java、零依赖方式读写 llama.cpp 的 GGUF 与 HuggingFace 的 Safetensors 模型格式。具备可选原生加速（矩阵乘法性能对标 llama.cpp），并一等支持 GraalVM Native Image，可生成自包含二进制、体积小、毫秒级启动。
适用场景
在 JVM 应用中集成端到端本地 AI 推理，无需 Python、ONNX 或外部服务；在 Java 服务中运行对话、视觉、音频、嵌入、重排序与 TTS 任务；读取和写入 GGUF 与 Safetensors 模型；在 CPU/GPU 上使用统一张量 API 编写可跨后端加速的计算代码；通过 GraalVM Native Image 构建低占用、快速启动的 AI 二进制。
项目形态
开发框架
部署方式
未说明
主要依赖
构建与测试需要 JDK 25、Maven 3.9，以及 cmake 和 C 编译器来构建原生 jam 内核（README 说明）。其他运行环境与硬件要求未说明。
使用限制
需要模型的测试套件与需要硬件的测试套件为可选项，需按模块 README 说明运行；其他限制未说明。
许可证
Apache-2.0
最近推送
2026-09-23 19:05
官方入门核对 README 依据 ↗

资料检查：2026-09-24 07:00 · 卡片整理：2026-09-24 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在 JVM 项目中集成端到端本地 AI 能力：使用 jinfer 实现对话、视觉、音频、嵌入、重排序与文本转语音推理，使用 toknroll 做纯 Java 分词，使用 gguf 与 safetensors 读写模型格式，使用 jota 编写跨 CPU/GPU 的张量代码，并使用 jam 的量化矩阵乘法加速；无需 Python、ONNX 或外部服务，可构建 GraalVM Native Image 自包含二进制。

查看内容依据
Quixotic AI provides a complete, open stack, for local AI on the JVM. From tokenizers and model formats, to a full inference engine with multi-modal capabilities.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

oxinfer：纯 Rust 实现的本地 LLM、扩散模型与嵌入推理引擎

oxinfer 是一个用纯 Rust 编写的本地推理项目，不依赖 BLAS 或 ML 框架，直接读取 safetensors（含 HuggingFace 与 MLX 4-bit 权重）并自行实现矩阵乘、注意力、归一化、RoPE 与采样等算子，并带有手写 SIMD 内核与线程池。它面向文本生成、多模态输入（图像/视频/音频）、嵌入、Stable Diffusion 图像生成、Whisper 语音转文字和 Orpheus 文字转语音等场景，自动在运行时检测 Metal、CUDA 与浏览器 WebGPU 加速，CPU 路径作为始终可用的回退。支持 Gemma 4/3、Qwen 3.x、JEV 决策模型、sentence-transformers 等模型，输出与 transformers 参考实现进行比对，并支持工具调用与权重流式加载。

llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎

llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

AI Hub：基于 Claude Code 的多模态聊天界面

AI Hub 是一个由 Claude Code 驱动的轻量级多模态 AI 聊天界面，提供多会话管理、标签筛选、三种可保存的界面布局、图片与文档等文件上传与下载、可选的 Whisper 语音输入、模型切换（Sonnet、Opus、Haiku）、工具启停控制以及用户与管理员设置。它使用 Gradio 构建界面，以 SQLite 持久化数据，并通过子进程调用 Claude Code CLI 获取回复。README 中说明该项目为示例项目，不再维护。

Tensor2Tensor：面向多模态任务的深度学习模型与数据集库

Tensor2Tensor（T2T）由 Google Brain 团队与社区开发，是一个汇集深度学习模型和数据集的 Python 库，覆盖数学语言理解、故事问答、图像分类与生成、语言建模、情感分析、语音识别、摘要和机器翻译等任务。它提供 t2t-datagen 数据生成、t2t-trainer 训练评估推理入口，以及命令行切换问题、模型和超参数集，并支持多 GPU 和分布式训练。项目已标记为弃用，仍维护并可接受缺陷修复，官方建议转向后继库 Trax。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。