一个研究团队最近开发了一种突破性的神经形态曝光控制（NEC）系统，该系统在极端光照变化下革命性地改变了机器视觉。这个生物启发的系统模仿人类的周边视觉，在动态感知环境中实现前所未有的速度和鲁棒性。
由香港大学（HKU）工程学院计算机科学系和电气与电子工程系的潘佳教授和彭亦凡教授领导的研究团队，联合澳大利亚国立大学的研究人员，最近开发了一种突破性的神经形态曝光控制（NEC）系统，该系统在极端光照变化下革命性地改变了机器视觉。该研究发表在Nature Communications上，这个生物启发的系统模仿人类的周边视觉，在动态感知环境中实现前所未有的速度和鲁棒性。
传统的自动曝光（AE）系统依赖于迭代的图像反馈，造成了一个鸡与蛋的困境，在突发亮度变化（例如，隧道、眩光）中失效。NEC系统通过将事件相机——捕捉每像素亮度变化作为异步“事件”的传感器——与一种新型三线性事件双重积分（TEDI）算法相结合来解决这个问题。这种方法：在单个CPU上以每秒130百万事件的速度运行，使边缘部署成为可能。
“就像我们的瞳孔瞬间适应光线一样，NEC模仿了视网膜通路之间的生物协同效应，”文章的第一作者林诗杰解释道。“通过将事件流与物理光度量融合，我们绕过了传统瓶颈，实现了光照不可知的视觉。”
在测试中，团队在关键任务场景中验证了NEC的有效性：
- 自动驾驶：当车辆从隧道驶入刺眼的阳光时，检测准确性提高（mAP +47.3%）。
- 增强现实（AR）：在手术灯下的手部追踪中，姿态估计（PCK）提高11%。
- 3D重构：在传统方法失效的过曝环境中实现连续的SLAM。
- 医疗AR辅助：尽管光源动态调整，仍然保持清晰的术中可视化。
潘佳教授说：“这一突破代表了机器视觉的重大飞跃，架起了生物原理与计算效率之间的桥梁。NEC系统不仅解决了传统曝光控制的局限性，而且为从自动驾驶汽车到医疗机器人等现实应用中更具适应性和韧性的视觉系统铺平了道路。”
彭亦凡教授评论道：“我们的合作工作在推动神经形态工程的边界方面发挥了重要作用。通过利用基于事件的感知和生物启发算法，我们创造了一个在极端条件下不仅更快而且更鲁棒的系统。这彰显了跨学科研究在解决各种复杂工程挑战中的力量。”
从长远来看，NEC范式提供了一种新颖的事件帧处理方案，减少了高分辨率事件/图像的处理负担，并将生物可行原则纳入机器眼的低级控制。这为相机设计、系统控制和下游算法开辟了新的途径。团队在各种系统中体现神经形态协同的成功是一个里程碑，可以激励许多光学/图像/神经形态处理管道，并对行业产生直接的经济和实际影响。
