← 返回列表
Agent 与自动化工具

Patrol：离线运行的失踪人员物品搜索无人机系统

mthomas100/patrol · A search drone that looks for one missing person's things from words alone, with no internet: four local AI models on one Mac, simulated in MuJoCo. Multi Model Hackathon, SF Tech Week 2026.

GitHub原文发布 未知首次收录 2026-10-13上架 2026-10-13 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

Patrol 是一个基于提示词描述的无人机搜索系统原型，面向荒野失踪人员场景：家属描述失踪者携带的物品（如蓝色背包、橙色帐篷、灰狗），无人机据此在无网络条件下自主搜索。系统在一台 Mac 上运行四个本地 AI 模型——Clef-Flash 负责快速判定、Qwen 视觉模型负责语义推理与二次判定、Parakeet 负责语音转文字、Kokoro 负责语音播报，由普通代码负责飞行与安全约束。无人机与山坡场景在 MuJoCo 中仿真，项目声称已完成实时飞行演示，3 件物品全部找到且无误报，但项目自述这些结果仅证明行为在仿真中有效，不代表真实环境的检测率。
# multimodal# local-inference# mlx# offline# mujoco

核心能力与快速开始

★ 1 · Python

能做什么
将自然语言描述的物品线索转为搜索任务，在仿真环境中以 40 米高度扫掠地面，每 12 米拍照一次；用颜色稀有度异常检测框出每张照片中最异常的三处位置，再由本地决策模型对 256 像素裁剪图打分判断是否为线索；遇到疑似目标下降至 20 米乃至 12 米拍摄近距特写，必要时调用视觉语言模型二次确认；找到目标后输出位置、照片与语音播报提示，并据线索重新规划剩余搜索扇区。所有模型离线本地推理，飞行控制与安全（航线、高度带、边界、电池余量与返航）由普通代码负责，模型无法越权。
适用场景
适用于无网络覆盖的野外搜救场景中，依据家属口述的物品特征快速定位目标；也可作为多模型本地协同推理与无人机自主决策的研究参考实现；其仿真飞行记录、决策链路与误报对比实验可用于评估“飞行中判定”与“落地后回看照片”的差异。
项目形态
研究实现
部署方式
本地部署：需在 Apple Silicon Mac 上运行，模型通过本地端口提供服务（Clef-Flash 走 8097 端口，可选视觉聊天模型走 8090 端口），示例启动命令为 tests/e2e_search.sh --only 1,2,3,4 --no-think 后使用浏览器控制台。仓库另提供 HOSTED.md 描述改用托管模型的方案，但作者自述该方案未经测试且不再保持离线。
主要依赖
Apple Silicon Mac，内存 32 GB 或以上；需下载 Clef-Flash（10.7 GB）以及八个 3D 搜索物品的网格包或使用 local-3d 重建；可选本地视觉聊天模型与 local-voice 语音组件。具体依赖与许可各自归属上游模型（Clef-Flash 为 Apache-2.0、Parakeet 为 CC-BY-4.0、Kokoro 为 Apache-2.0、MuJoCo 3.15 为 Apache-2.0、Hunyuan3D 为腾讯社区许可）。
使用限制
作者明确说明结果为仿真环境下的行为验证，不代表真实山坡上的检测效果，样本量也较小；尚未解决的问题包括异常检测器存在盲区（例如漏掉了睡袋）、无无线电通信、未做断网演练、尚无可用的真实航拍影像。所有结论来自离线录制运行，未提供真实硬件飞行证据；部署与 API 成本、商用许可条件材料未说明。
许可证
未说明
最近推送
2026-10-12 13:56
官方入门核对 README 依据 ↗

资料检查：2026-10-13 07:00 · 卡片整理：2026-10-13 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

作为多模型本地 AI 系统的参考实现，程序员可研究其架构：四个本地模型（Clef-Flash、Qwen 视觉模型、Parakeet、Kokoro）在单台 Mac 上协作，普通代码负责飞行与安全约束，并配有单元测试（pytest）和端到端场景测试（e2e_search.sh），可用于学习多模型编排、离线推理与安全门控的代码组织方式。

查看内容依据
| `patrol/` | the code: planner, anomaly finder, Clef client, gate, mission, console |

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

作为产品原型案例，产品经理可参考其从用户自然语言描述（家属描述失踪者物品）到系统行为的完整需求转化过程，以及用仿真测试验证产品行为（3 件物品全部找到、无误报）的评估方式，用于理解 AI 产品在离线、决策支持场景下的功能定义与验证思路。

查看内容依据
A family says what the missing person had with them. A drone searches for those things, from words alone, with no internet.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

ScreenMind：本地化屏幕记忆与检索对话工具

ScreenMind 是一款 AI 驱动的屏幕记忆应用，通过内容变化检测捕获屏幕截图，使用 Gemma 4 多模态模型在本地完成视觉分析、语音转写与推理，构建语义与关键词混合检索的可搜索历史记录，并支持基于屏幕记忆的对话问答、会议转写总结、Agent 自动化、MCP 集成与数据分析面板。项目强调全部数据与推理留在本机、无遥测、提供敏感信息过滤与静态加密等隐私措施。

clef-hrx：在 AMD Strix Halo 上用 Rust 运行 Cloudflare CLEF 多模态结构化决策推理

该项目用 Rust 在 AMD Strix Halo（gfx1151 GPU）上实现 Cloudflare CLEF 与 CLEF Flash 模型的推理，文本主干、视觉编码器和决策头以 Loom 内核形式通过 HRX 运行。CLEF 可对文本、图像和视频回答结构化问题，支持 choice（选项与概率）、score（期望得分与图例）和 noul（命题为真的概率）三类输出，并提供 BF16 与 INT4 精度选项、JSONL 批量请求、库接口 ClefModel/Encoder 等能力。README 给出了在 JevBench 上相对 llama.cpp HIP 的吞吐对比结果。

laya-mlx：在 Apple Silicon 上本地运行类型化决策模型的推理引擎

laya-mlx 是一个面向 Apple Silicon Mac 的本地决策推理软件，用于在设备端运行「类型化决策模型」（.laya 文件），据称单次决策耗时约 7–14 毫秒，无需 PyTorch 等重型依赖，也不依赖云端 API，强调数据不出本地的隐私性。其技术组合包括针对 Apple Silicon 优化的 MLX 运行时、ModernBERT 模型与纯本地计算。README 给出下载即用的入门流程和 Apple Silicon 系统要求。

Flywheel：在所选模型上运行 AI 任务并留下可离线复核的凭据

Flywheel 是一个模型无关的 AI 运行框架，可在前沿或本地模型之上，通过统一的 OpenAI 兼容接口执行 AI 任务。它把结果连同可重新推导的密封凭据一起记录下来，独立见证者可离线重跑该凭据并返回 MATCH、DRIFT 或 UNVERIFIABLE，接受路径上不含学习模型。内置 Rowan 桌面助手和权限门控的 relay 编码代理，并提供 17 个可组合 lane 以及金融、医疗、法律等检查包。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。

讨论 0

登录后参与讨论，阅读资讯无需注册。

还没有评论，来分享第一个看法。