SeaSplat 是一种图像分析工具，能够穿透海洋的光学效应，生成水下环境的图像，揭示海洋场景的真实颜色。研究人员将这种色彩校正工具与一种计算模型结合，后者将场景的图像转换为一个可以虚拟探索的三维水下“世界”。
海洋中生机勃勃。但除非你近距离观察，否则大部分海洋世界很容易被忽视。这是因为水本身可以作为一种有效的伪装：穿过海洋的光线在密集的水介质中传播时，会弯曲、散射并迅速消失，且会反射海洋微粒的持久雾霭。这使得没有近距离成像的情况下捕捉物体在海洋中的真实颜色变得极具挑战性。
现在，麻省理工学院和伍兹霍尔海洋学研究所（WHOI）的一组团队开发了一种图像分析工具，能够穿透海洋的光学效应，生成看起来就像已排空水体的水下环境图像，揭示海洋场景的真实颜色。该团队将色彩校正工具与一种计算模型配对，通过该模型将场景的图像转换为一个可以虚拟探索的三维水下“世界”。
研究人员将这个新工具称为“SeaSplat”，既是指其水下应用，也参考了一种称为3D 高斯溅射（3DGS）的方法，该方法能够将场景的图像拼接在一起，生成一个完整的三维表示，可以从任何角度详细查看。
“使用 SeaSplat，可以明确建模水的作用，因此在某种程度上可以去除水的影响，并生成更好的三维水下场景模型，”麻省理工学院研究生 Daniel Yang 说。
研究人员将 SeaSplat 应用于潜水员和水下载具拍摄的海底图像，地点包括美国维尔京群岛。与之前的方法相比，该方法生成的 3D “世界”更加真实、多彩。
该团队表示，SeaSplat 可以帮助海洋生物学家监测某些海洋社区的健康。例如，当一个水下机器人探索并拍摄珊瑚礁时，SeaSplat 会同时处理图像并渲染出真实颜色的三维表示，科学家可以根据自己的节奏和路径“飞行”穿越，以检查水下场景，例如寻找珊瑚白化的迹象。
“从近距离看，珊瑚白化看起来是白色的，但从远处看可能会显得蓝色和朦胧，你可能无法检测到这一点，”WHOI 的副研究员 Yogesh Girdhar 说。“通过 SeaSplat 图像，珊瑚白化和不同珊瑚物种可能更容易被检测，以获取海洋中的真实颜色。”
Girdhar 和 Yang 将在 IEEE 国际机器人与自动化会议（ICRA）上展示一篇详细介绍 SeaSplat 的论文。他们的合著者是麻省理工学院机械工程教授 John Leonard。
水下光学
在海洋中，物体的颜色和清晰度受到光在水中传播效应的扭曲。近年来，研究人员开发了旨在再现海洋中真实颜色的色彩校正工具。这些努力涉及调整原本为水外环境开发的工具，例如在雾霭条件下揭示特征的真实颜色。最近的一项工作通过一种名为“Sea-Thru”的算法准确再现了海洋中的真实颜色，尽管此方法需要大量的计算能力，这使得其在生成3D场景模型方面的使用变得具有挑战性。
与此同时，其他人也在3D高斯溅射方面取得了进展，开发了无缝拼接场景图像的工具，并智能填补任何空白，以创建整个三维版本。 这些三维世界实现了“新颖视图合成”，意味着可以从任何角度和距离观看生成的3D场景，而不仅仅是从原始图像的视角。
但3DGS仅成功应用于水外环境。将3D重建适应水下图像的努力受到了主要由两种水下光学效果的阻碍：后向散射和衰减。后向散射发生在光线反射微小颗粒时，形成一种薄雾状的遮罩。衰减是指某些波长的光随着距离的增加而衰减或消失。在海洋中，例如，红色物体在远处观察时似乎比蓝色物体衰减得更严重。
在水外，物体的颜色无论从哪个角度或距离观察都几乎没有变化。然而，在水中，颜色可以迅速变化和衰退，具体取决于观察者的视角。当3DGS方法试图将水下图像拼接成一个整体的三维模型时，由于水下后向散射和衰减效应的影响，无法分辨物体，导致不同角度下物体颜色的失真。
“我们想要的水下机器人视觉的一个梦想是：想象一下如果你能去除海洋中的所有水，你能看到什么？”Leonard说。
模型游泳
在他们的新工作中，Yang 和他的同事们开发了一种考虑后向散射和衰减光学效应的色彩校正算法。该算法确定图像中每个像素有多大程度受到后向散射和衰减效应的扭曲，并在此基础上去除这些水下效应，计算出该像素的真实颜色。
之后，Yang 将色彩校正算法整合至3D高斯溅射模型中，创建了 SeaSplat，能够快速分析场景的水下图像并生成可以从任何角度和距离详细探索的真实颜色的三维虚拟版本。
该团队将 SeaSplat 应用于多个水下场景，包括在红海、古拉索附近加勒比海和巴拿马附近的太平洋拍摄的图像。这些图像来自一个已有的数据集，代表一系列海洋地点和水质条件。他们还在美国维尔京群岛对由遥控水下机器人拍摄的图像进行了 SeaSplat 测试。
从每个海洋场景的图像中，SeaSplat 生成了一个真实颜色的三维世界，研究人员能够进行虚拟探索，例如在场景中放大和缩小，从不同的视角查看某些特征。即使从不同的角度和距离观察，他们发现每个场景中的物体保持了真实颜色，而不是像通过实际海洋观察时那样褪色。
“一旦生成了3D模型，科学家可以像潜水一样在模型中‘游泳’，以真实的颜色高细节观察事物，”Yang 说。
目前，这种方法需要强大的计算资源，形式为一台桌面计算机，而这种计算机体积较大，无法随身携带到水下机器人上。不过，SeaSplat 可能适用于有线操作，即与船只连接的载具能够探索并拍摄图像，然后将图像传输到船的计算机上。
“这是第一种能够快速构建高质量、真实颜色的水下3D模型的方法，并且能够快速生成和渲染，”Girdhar 说。“这将有助于量化生物多样性，并评估珊瑚礁和其他海洋社区的健康。”
这项工作部分得到了WHOI科学投资基金和美国国家科学基金会的资助。
