AI 资源库 · 已整理 2 项

C++

查看与C++相关的 AI 资讯、工具、Skill、工作流和开源项目。

推理与部署

llama.cpp：面向多种硬件的本地 LLM 与 VLM C/C++ 推理引擎

ggml-org/llama.cpp · LLM inference in C/C++

llama.cpp 是用 C/C++ 实现的 LLM（并支持 VLM）推理项目，目标是在尽量少的配置下，于本地或云端多种硬件上获得高性能推理。它基于 ggml 库，支持 Apple Silicon、x86、RISC-V，以及 CUDA、HIP、MUSA、Vulkan、SYCL 等多种后端，并提供 1.5 位到 8 位的整数量化、CPU+GPU 混合推理、命令行工具 llama cli、兼容 OpenAI 接口的 llama serve 服务以及内置 Web UI。

# 量化# C++# 本地推理# OpenAI 兼容 API# ggml
☆ 收藏查看来源 ↗
评论 · 分享第一个看法
评测与安全

llm-eval：LLM 提示一致性与稳定性测试工具

wahhyun/llm-eval · Evaluate large language models with tools for performance and consistency scoring as part of the llm-cpp C++ infrastructure toolkit.

llm-eval 是一个用 C++ 编写的小型 LLM 提示测试工具，通过多次运行同一提示并比较回答，评估语言模型的回答一致性与稳定性，给出评分并标记差异过大的情况。它无需额外依赖，可单头文件形式嵌入 C++ 项目，也提供了可直接运行的 Windows 程序。

# LLM# prompt-engineering# 评测# Windows# C++
☆ 收藏查看来源 ↗
评论 · 分享第一个看法