Nvidia 推出 Eye Contact NIM，让视频通话中目光始终看向镜头

NVIDIA Eye Contact NIM 利用先进的 AI 模型，动态地将用户的目光位置调整到摄像头方向，以模拟自然的眼神交流，增强远程数字互动体验。NVIDIA Eye Contact NIM 模型构建于 NVIDIA 软件平台之上，集成了 CUDA、TensorRT 和 Triton，可提供开箱即用的 GPU 加速。

NVIDIA Eye Contact 作用于眼睛周围的感兴趣区域，也称为眼部图像块。眼部图像块由 NVIDIA 面部跟踪管线从视频帧中提取，该管线从视频帧中计算 2D 面部关键点和 6DOF 头部姿态。随后，头部姿态被输入到眼神接触网络中。

眼神接触网络采用解耦的编码器-解码器架构。编码器从输入的眼部图像块中估计视线角度，同时提取一组特征（也称为嵌入向量）。基于这些嵌入向量，解码器对输入图像块中的视线进行重定向，使面部看起来朝向正前方。

管线的最后阶段是通过逆变换将眼部图像块融合回原始视频帧。

有关该模型的更多细节，请阅读 NVIDIA 开发者技术博客中的《Improve Human Connection in Video Conferences with NVIDIA Maxine Eye Contact》一文。

NVIDIA Eye Contact NIM 支持两种运行模式：

在此模式下，输入文件以分块形式流式传输到 NIM。随着数据块到达，NIM 增量执行推理，并将输出以分块形式流式返回给客户端——甚至在 NIM 接收到完整输入文件之前就已开始。服务器会自动检测可流式传输的视频，并在内部使用流式推理路径，因此无需在服务器端设置额外标志来启用此行为。为获得最佳性能，请使用可流式传输的视频作为输入。

在此模式下，完整的输入文件会在推理开始前上传到 NIM。推理在输入文件上运行以生成输出文件，然后将输出文件发送回客户端。当输入视频不可流式传输时，服务器会自动回退到此模式。

更多细节请参阅 Basic Inference 的 Input Modes 章节。

可在 build.nvidia.com/nvidia/eyecontact 试用 NVIDIA Eye Contact NIM。

如需体验 NVIDIA Eye Contact NIM API 而无需自行托管服务器，请使用 Try API 功能，该功能使用 NVIDIA Cloud Function 后端。