返回资讯中心
外部精选
软件工程
#开发者实时流

tamserve 发布实时视频目标跟踪引擎,成本降低一半

来源标题:Show HN: Open-source, real-time object tracking for live video feeds

tamserve 推出面向 SAM 2 和 EdgeTAM 的实时多摄像头目标跟踪服务引擎,模型只保留一份副本供所有摄像头共享,成本比逐摄像头部署降低 2 倍。在单块 RTX 4090 上,它可同时处理六路摄像头、每路 30 帧/秒,且因未改动模型本身,结果与原实现一致。

Hacker News 最新aryaman_darda2026/11/13 · 4 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

用 SAM 2 在单块或多块 GPU 上实现实时多摄像头跟踪。

SAM 2 及其较小的兄弟 EdgeTAM 能跟踪你指向的任何东西,但它们的代码是为一次处理一段录制视频而写的。tamserve 正是它们缺失的 serving 引擎:模型只有一份副本,就能在每路摄像头上跟踪每个对象,只要摄像头还在运行就一直跟踪下去。

为什么用 tamserve · 初次接触视频跟踪? · 使用方式 · 工作原理 · 结果 · 局限

一块 GPU 上跑六路实时摄像头,每路都是 30 帧/秒。可以看这段 32 秒的演示,或者读它是怎么录制的。

这些模型非常出色。随模型附带的代码是为编辑单段录制视频而写的,而要把它们用到多路摄像头上,通常的做法是为每路摄像头各跑一份模型副本。每多一份副本、每多一分钟视频,内存都会不断堆积。

tamserve 做的事,就像 vLLM 这类 LLM 服务器为聊天所做的那样:每路摄像头共享同一份模型副本,某一时刻需要 GPU 的工作一起排队通过它。结果不仅更轻量,而且更快;又因为模型本身没有被改动,结果完全一致。

以下数据是在一块 RTX 4090 上跑 EdgeTAM,对照 EdgeTAM 自带代码的最快配置:编译后,每路摄像头一份副本,全部共享 GPU。速度是所有摄像头的总和,每路摄像头跟踪一个对象。换成更大的 SAM 2.1 模型时,tamserve 的速度与 Meta 当前的 SAM 2 代码相同,而 GPU 内存只占约三分之一。完整表格见「结果」一节。

假设你有一段视频,需要知道某个特定目标在每一帧里的位置:这个人、那台叉车、那只狗。这就是跟踪。SAM 2 及其较小的同类模型 EdgeTAM 和 SAM 2.1 是 Meta 的模型,在这方面表现很好。你只需在某一帧上指向目标一次,模型就会在之后的每一帧上画出它的精确轮廓。

tamserve 位于这类模型和你的程序之间。你的程序把每路摄像头的最新帧交给它,它返回每一帧中每个被跟踪对象的轮廓。你可以随时开始跟踪新目标或停止跟踪,摄像头也可以随时加入或退出。

它面向任何需要回答「这个东西现在到底在我每一路视频流的什么位置」的人:体育和广播图形、仓储和零售分析、机器人、野生动物和实验室监控、标注工具。

它不做的一件事是决定跟踪什么。需要有人点击画面,或者由检测器,先给出目标最初的位置。tamserve 从那里接手。

安装

pip install tamserve

需要 Python 3.10 或更新版本,以及一块 NVIDIA GPU。它也能在 CPU 上运行,用来试用很方便,但对实时视频来说太慢了。

第一次加载模型时,tamserve 会把它下载到 ~/.cache/tamserve,所以那一次运行需要联网。EdgeTAM 是 54 MB。下载被固定到某一个版本,并且在加载任何内容之前都会先校验。

tamserve 不打开摄像头,也不自己跑循环。你的程序按自己的方式读取帧,每轮调用一次 engine.step(),传入每路摄像头的最新帧,原样使用解码器给出的内容。下面这个例子用 OpenCV 读取两路网络摄像头:

import threading import cv2 # pip install opencv-python; any source of frames will do from tamserve import Box, Engine, build_video_predictor class Camera: """Reads one stream on a thread of its own and keeps its newest frame.""" def init(self, url): self.stream, self.newest, self.arrived = cv2.VideoCapture(url), None, threading.Event() threading.Thread(target=self.read, daemon=True).start() def read(self): while True: ok, picture = self.stream.read() if not ok: break # the stream has ended self.newest = cv2.cvtColor(picture, cv2.COLOR_BGR2RGB) # OpenCV gives BGR, the engine takes RGB self.arrived.set() def take(self): """Waits for a frame the loop has not seen yet, and returns it.""" self.arrived.wait() self.arrived.clear() return self.newest engine = Engine(build_video_predictor("cuda")) # loads EdgeTAM onto the GPU cameras = {"door": Camera("rtsp://door-camera/stream"), "yard": Camera("rtsp://yard-camera/stream")}

What to track and where it is in the first frame: a box as (left, top, right, bottom), in pixels.

In a real system this comes from a detector, or from someone drawing on the picture.

start = {"door": {"courier": Box(410, 120, 560, 480)}} while True:

1. Take the newest frame from each camera.

frames = {name: camera.take() for name, camera in cameras.items()}

2. One call tracks every object in every one of those frames.

masks = engine.step(frames, start) start = None # the box was only needed once; from here on the engine tracks the courier by itself

3. Use the answer. masks["door"]["courier"] is True on the courier's pixels and False everywhere else.

for camera_name, objects in masks.items(): for object_name, mask in objects.items(): print(camera_name, object_name, "covers", int(mask.sum()), "pixels")

每次调用 step() 接收每路摄像头的一帧,等这些帧的 mask 准备好后返回。引擎在两次调用之间记住正在跟踪什么,这就是为什么框只传一次。摄像头名和对象名由你自行选择。

帧按解码器给出的样子原样传入。引擎把它们上传到 GPU 并在 GPU 上调整大小,每帧大约耗时半毫秒,而在 CPU 上调整大小需要 16 毫秒。Camera 类也是为了速度:每路摄像头一个线程,下一轮的帧在 GPU 跟踪这一轮时就被解码了。而且因为每路摄像头只保留最新帧,落后的循环会跳过帧而不会卡顿。引擎从它收到的任何一帧开始跟踪,不需要看到每一帧。

循环能跑多快?在 RTX 4090 上使用编译后的引擎,八路 720p 摄像头、每路一个对象,像这样的循环从视频到 mask 每秒跟踪 273 帧,也就是每路摄像头 34 帧。换成 1080p 摄像头则是 238 帧。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →