推理与部署01
lazarevtill/strix-halo-llm · Measured llama.cpp Vulkan tuning for AMD Strix Halo (Ryzen AI MAX+ 395 / gfx1151), plus an eval harness with a catalogue of 13 bugs that each produced a believable wrong number.
该项目针对 AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）统一内存平台，提供经实测的 llama.cpp Vulkan 推理调优方案，包括单模型启动脚本、路由器模式启动器、Prometheus 指标导出与看门狗脚本，并记录了内存占用上限、批大小、推测解码等实测结论。仓库还包含可跨硬件使用的评测工具与一个记录了十六个评测框架 bug 的目录，每个 bug 都附带了它曾产生的“看似合理的错误数值”。
AI 编程02
rchrp/Blame · An open source desktop IDE for AI coding agents, with a semantic harness, integrated backlog, isolated Git worktrees, live previews, and code review before merging.
Blame 是一个开源的桌面开发环境，把用户故事、编码智能体任务、相互隔离的 Git worktree、运行预览和代码审核串联在同一个工作区中。用户可以把需求交给智能体实现，在其独立工作树和预览环境中检查改动、日志与终端输出，再决定驳回或批准合并。项目支持接入用户自己的 AI 提供方凭证，并提供轻量语义 harness 用于语法感知的代码导航、受控编辑与执行验证证据。代码以 TypeScript monorepo 组织，采用 pnpm 与 Turborepo。
行业动态03
Google DeepMind 和新加坡政府科技局（GovTech）合作，训练出一个专门识别聊天诈骗的轻量级模型。原来很多诈骗会通过伪造官员、银行或熟人，在聊天中逐步骗人转账，而传统做法要把消息上传到云端扫描，既慢又涉及隐私。这次他们把 Google 的轻量模型 Gemma 用本地诈骗对话数据微调，让它直接在手机本地判断对话是否有操纵意图，发现可疑就实时提醒用户，对话数据不离开设备，政府和 Google 都拿不到。目前该模型是在新加坡国际网络周上展示的合作成果，具体在应用中上线会分阶段推进，尚未说明普通用户何时能用到。
文中可用工具
- GemmaGoogle 的轻量级模型，被微调后在手机本地分析聊天内容，判断是否为诈骗对话
应用工具04
kjustinkeener/Moonpool · Moonpool is a launcher for your local apps and dev servers, with live status and an embedded terminal for each.
Moonpool 是一个常驻系统托盘的启动器中心，用单一的 JSON 清单管理本机应用与开发服务器：列出注册的应用、显示实时运行状态，并在内嵌终端（真实 PTY）中启动应用命令，双向交互查看控制台输出。它提供开始/停止/重启（停止时终止进程树并释放端口）、托盘驻留、最近使用排序，以及命令行远程控制和自带 MCP server 供脚本或 AI agent 调用。使用 Tauri v2 + Svelte 5 构建，跨平台支持 Windows 与 Linux，不支持 macOS。
推理与部署05
rwilliamspbg-ops/Ghostlink · Distributed LLM inference fabric for heterogeneous local clusters. Features zero-copy SPSC ring buffers, automated tuning, and an OpenAI-compatible API.
Ghostlink 是一个用 Rust 编写的分布式推理织构，面向由 CPU、GPU、NPU 混合组成的本地局域网集群。它通过 llama.cpp 的 ggml-rpc 后端拆分 GGUF 模型权重，自动发现局域网节点并按硬件能力放置负载，对外提供 OpenAI 兼容的 /v1/chat/completions API 服务；同时包含硬件探测、自动调优以及 SPSC 环形缓冲区、TCP/UDS 传输、AF_XDP 内核旁路等研究性组件（实验性质，其基准数值只反映传输分帧延迟而非 LLM 生成速度）。