东北大学Maxwell用学生照片训练机器视觉模型，可自动去阴影还原真实色彩

在100多名学生提交的数千张照片的推动下，Bruce Maxwell的机器视觉模型能够自动去除图像中的阴影，从而在任何光照条件下还原物体的真实色彩。

但东北大学西雅图分校Khoury计算机科学学院计算项目主任Bruce Maxwell的新研究，正试图通过一种新颖的图像处理方法，让算法前所未有地接近这一目标。

在东北大学全球网络各校区100多名计算机视觉课程学生提交给他的数千张照片的推动下，Maxwell的机器视觉模型能够准确还原物体的真实色彩，即使这些物体被阴影笼罩或在弱光环境下拍摄。

东北大学的计算机视觉专家表示，这种极其精确的自动化物体与颜色检测算法，有望缓解依赖像素级完美图像的行业所面临的一些挑战——从自动驾驶汽车到3D电子游戏美术。

在晴天，当道路被附近树木或建筑物的阴影覆盖时，作为自动驾驶汽车（如Tesla的车辆）“眼睛”的摄像头可能难以辨别路缘和骑行者等物体的边缘与颜色。据东北大学西雅图校区电气与计算机工程教授Xian Li介绍，它们会出于安全考虑频繁提前刹车，即使前方看到的并不是障碍物，而是一片阴影。

“人类没有这个问题。我们知道一片阴影下的路面仍然是同一条路，”Li说道，他本人也在东北大学西雅图分校的电动Ford Mustang方向盘后开展图像与传感器数据研究。“[Maxwell的]方法教会摄像头同样的事情，通过学习光线在阳光和阴影之间如何改变颜色。”

Maxwell表示，人眼在阴影中很少对物体的真实形状和颜色产生混淆，部分原因在于人眼与摄像头不同，是一种对数传感器。当视力正常的人感知光子时，他们是以对数曲线的方式进行的，这可以防止明亮的高光过曝成纯白，也防止暗部细节被压成纯黑。

摄像头拍摄的是线性图像，这会人为地压缩场景中的光照强度，使较暗的阴影和较亮的高光在数据中占据不自然的同等比例。

“你要么在阴影中什么都看不见，要么所有被完全照亮的东西都过曝了，”Maxwell说。他表示，要获得色彩相对准确的图像，唯一的方法是使用一种设备，通过多台摄像头以不同曝光度拍摄照片，再以对数方式将它们合成在一起。

Maxwell表示，要创建真正先进的机器视觉模型——即基于规则的处理系统，使计算机能够捕捉、处理和分析图像，从而在物理环境中实现决策自动化——意味着需要用最准确的数据来训练它们。他发现，当他使用以对数尺度存储RGB（红、绿、蓝）值的数字图像来训练模型时，获得的真实色彩效果最好，这更接近地模拟了人眼的工作过程。

“对于自动驾驶这类场景，你身处户外的高动态范围环境中……你必须能够使用非常高效的模型，”他说。“所以，如果你仅仅通过改变输入的数据，就能让同一个模型获得稍好一些的性能，那是有用的。”

在最近的研究中，Maxwell探究了该模型的能力：面对包含阴影物体的图像，在没有任何失真或保真度损失的情况下自动将其提亮，以显示该物体在完全均匀光照下应有的全貌——他表示这是此前从未实现的。

该项目使用了一个约25,000张对数图像的数据集，这些图像由Maxwell的数十名计算机视觉学生在四年间用各自的智能手机和相机拍摄。他说，学生们从东北大学全球网络各校区——包括波士顿、西雅图、温哥华、硅谷、迈阿密、阿灵顿和波特兰校区——贡献了照片，在秋季、春季和夏季拍摄了相同的街道、宠物、花园或标牌。

Maxwell表示，这种自动去阴影算法可以帮助摄影师比主流AI模型和智能手机编辑软件更准确地校正图像，并呈现更真实的色彩丰富度。对于希望将现实世界中的3D物体（如咖啡杯）插入游戏的电子游戏美术设计师来说，Maxwell的模型还可以省去在完美光照下从各个角度拍摄数百张照片再进行拼接的需要。他说，设计师只需拍摄一段杯子在手中转动的短视频，然后让模型自行去除所有阴影，即可上传一个色彩完美、可直接用于游戏的重建模型。

Maxwell表示，他希望有朝一日将该模型应用于自动驾驶汽车并实时运行，通过完全去除周围物体和行人的阴影，让车辆对道路有更清晰的感知。

Li表示，Maxwell的工作可以帮助摄像头在真实驾驶条件下更可靠地运行。

“我很想在我们在西雅图用研究车辆收集的街道数据上测试它，”他说。

Peter Rubinstein是东北大学全球新闻驻奥克兰记者。可通过p.rubinstein@northeastern.edu联系他。