
OpenEye 发布:面向视觉模型的 Ollama 式工具,支持 YOLO、SAM 2 和深度估计
来源标题:Show HN: OpenEye – Ollama for vision models (YOLO, SAM 2, depth) with MCP server
OpenEye 是一个以命令行优先的感知引擎,可将原始视频转化为机器人及自主智能体可用的结构化世界模型,像 Ollama 一样从终端拉取、运行和部署视觉模型。它支持 YOLO 系列目标检测、SAM2 分割、Depth Anything V2 深度估计,并集成 VLM 推理与 MCP 服务器。项目还提供 REST/WebSocket API、设备集群管理和托管 API 按次调用。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
OpenEye 是一个以 CLI 为核心的感知引擎,能把原始视频转化为机器人及自主智能体可用的结构化世界模型。你可以从终端拉取、运行并对外提供计算机视觉模型——类似 Ollama,但面向视觉 AI。
目标检测 — YOLOv8、YOLO26(当前随附 YOLO11n 权重)、Grounding DINO、RF-DETR,以及自定义适配器 深度估计 — 通过 Depth Anything V2 进行单目深度估计 分割 — SAM2 分割一切 场景理解 — 空间关系、场景图、自然语言查询 VLM 推理 — 视觉语言模型集成(Nebius、OpenRouter) 智能体循环 — 持续感知 → 推理 → 规划流水线 安全监控 — 基于区域的感知,实时人体检测与机器人急停 CLI 原生 — 所有能力均可从终端访问 REST + WebSocket API — 一条命令即可通过 HTTP 对外提供模型 设备集群管理 — 大规模注册、部署和监控边缘设备 MLOps — 模型注册表、版本管理、A/B 测试、批量推理 治理 — 策略执行、审计日志、安全规则管理 托管 API — https://openeye.sh/v1,无需在本地运行任何东西即可进行目标检测(按调用次数以 credits 计费) Web 控制台 — openeye.sh/dashboard:API 密钥、credits、历史记录、设备集群管理,以及——连接到你自己运行的 openeye serve——推理、实时流等更多功能
快速安装 pipx install openeye-sh 带 YOLO 支持: pipx install "openeye-sh[yolo]"
快速开始
拉取模型
openeye pull yolov8
对图片运行推理
openeye run yolov8 photo.jpg
启动带 REST API、WebSocket 和浏览器控制台的服务器
openeye serve yolov8
实时摄像头画面与实时检测
openeye watch --models yolov8
带安全监控的实时摄像头画面
openeye watch --models yolov8 --safety
给你的 AI 智能体装上眼睛(MCP)
OpenEye 自带 MCP 服务器,因此 Claude、Cursor 或任何 MCP 客户端都可以拉取模型,并在你的机器上运行检测、深度估计和分割:
pipx install "openeye-sh[mcp]"
claude mcp add openeye -- openeye-mcp
然后提问:“对 ~/Pictures/desk.jpg 运行 yolov8,告诉我我桌上有什么。” Claude Desktop 及其他客户端的配置:docs/claude-skill。
检测无需 GPU 或本地安装:
curl -X POST https://openeye.sh/v1/detect
-H "Authorization: Bearer oe_your_key_here"
-F "file=@photo.jpg"
或使用 CLI
export OPENEYE_API_KEY=oe_your_key_here openeye api detect photo.jpg openeye api usage
端点 状态 Credits POST /v1/detect 可用(YOLOv8n,JPEG/PNG 小于 4 MB) 1 POST /v1/describe 托管 API 启用 VLM 之前返回 503 3 POST /v1/depth 返回 501——仅限自托管(openeye serve depth-anything) 2 GET /v1/models、GET /v1/usage 可用 免费
托管 API 不提供 WebSocket 流式传输;如需流式传输,请运行 openeye serve。详见文档。
openeye serve 默认允许来自 https://openeye.sh 的请求,因此托管控制台可以驱动你机器上的服务器: openeye serve yolov8 # http://localhost:8000 打开 openeye.sh/dashboard,在 Overview 页面点击 Server(即“OpenEye Server URL”对话框),并输入 http://localhost:8000。随后推理、实时、场景图、指标、基准测试、配置、治理、MLOps 以及实时智能体循环都会针对你的服务器运行。如果你的浏览器阻止从 HTTPS 页面连接到 localhost,请改用 HTTPS 提供 OpenEye 服务。
一个交互式演练,针对示例图片运行真实的 OpenEye 命令。非常适合评估该工具、新人上手或现场演示。 Python 3.12+ jq(可选,用于 JSON 流水线步骤——brew install jq) curl(用于 API 服务器步骤)
安装
安装带 YOLO 和摄像头支持的 CLI
pipx install -e "./cli[yolo,camera]"
拉取 YOLOv8 模型(6 MB)
openeye pull yolov8
运行演示 ./demo.sh demo.sh 是一个 bash 脚本:可在 macOS、Linux、WSL 或 Windows 上的 Git Bash 中运行。它使用你 PATH 中的 openeye(pipx),并回退到 ./.venv 或 cli/.venv。在纯 PowerShell 或 cmd 中,请自行运行相同的步骤: openeye list openeye pull yolov8 openeye run yolov8 src/assets/demo/scene-warehouse.jpg --pretty openeye run yolov8 src/assets/demo/scene-warehouse.jpg --visualize openeye bench yolov8 --warmup 2 --runs 5 openeye serve yolov8 --port 8111 演示是交互式的——按 Enter 在各步骤之间前进。每一步都会显示正在运行的命令及其实时输出。 步骤 命令 演示内容 1 openeye list 浏览模型注册表(7 个视觉模型) 2 openeye pull yolov8 下载模型——类似 ollama pull 3 openeye run yolov8 scene-warehouse.jpg --pretty 目标检测,输出结构化 JSON 4 openeye run yolov8 scene-kitchen.jpg --pretty 在另一场景上检测(苹果、杯子、甜甜圈) 5 openeye run ... --visualize 保存一张带标注框的图片 6 openeye run ... | jq Unix 管道可组合性——把 JSON 传给 jq 7 openeye bench yolov8 基准测试推理速度(延迟、FPS、P95) 8 openeye serve yolov8 启动 REST API 服务器并用 curl 查询 9 批量循环 处理全部 4 张演示图片并汇总结果
演示图片 src/assets/demo/ 中包含四张示例图片: 标注后的图片会保存到 demo_output/。API 服务器步骤会临时在端口 8111 上运行,并自动关闭。 以下是脚本化演示未涵盖、但你可以交互式尝试的命令:
带终端叠加显示的实时摄像头检测
openeye watch --models yolov8
Safety Guardian——基于区域的人体接近告警
openeye watch --models yolov8 --safety --danger-m 0.5 --caution-m 1.5
Unitree G1 机器人安全演示(dry-run,无需机器人)
openeye g1-demo --control-mode dry_run --demo
智能体感知循环——感知、推理、行动
openeye agent run
边缘设备集群管理
openeye fleet ls
使用文本提示进行开放词汇检测(需要 grounding-dino)
openeye pull grounding-dino openeye run grounding-dino photo.jpg --prompt "person. hard hat. forklift."
项目结构 openeye.sh/ ├── cli/ # openeye-sh CLI 与推理服务器(Python)
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。