扫码关注
引言
近年来，人工智能的快速发展对计算架构提出了巨大需求。虽然电子处理器按照摩尔定律持续发展，但在功耗和处理速度方面面临基本限制。光神经网络(ONNs)作为一种使用光而非电子进行计算的替代方案应运而生。本文探讨了ONNs的一项突破性进展 - 空间变化纳米光子神经网络(SVN3)，在保持超低功耗的同时实现了与现代电子神经网络相当的性能[1]。
光神经网络的挑战
传统电子处理器面临重大挑战：摩尔定律预测晶体管数量每两年翻倍，而神经网络规模每六个月就翻倍。这种差异导致计算性能出现瓶颈，主要受限于功耗而非晶体管密度。
图1：空间变化纳米光子神经网络概述。图示包括(A)光电网络架构，(B)大角度变化PSFs，(C)核心因子分解方法，(D)与AlexNet的性能比较，(E)空间变化核心可视化。
光计算相比电子系统具有多个优势，包括更高的吞吐量、更低的延迟和更低的功耗。但现有光神经网络在实现识别精度方面受到限制，难以与现代电子神经网络相媲美。大多数高性能ONNs需要相干照明，这使其难以在自然光照条件下集成到相机光学系统中。
神经网络设计创新
SVN3通过将并行光学计算嵌入平面相机光学系统引入了新方法。该系统在图像捕获期间、在传感器进行任何测量之前就执行神经网络计算。主要创新在于使用大型核心并实现通过低维重参数化学习的空间变化卷积网络。
图2：SVN3的实验验证。图像显示(A)平面相机原型，(B)实验设置，(C)空间变化PSF可视化，(D)实验测量与真实值的比较。
该系统由超透镜阵列纳米光子前端和轻量级电子后端组成。超透镜阵列包含50个针对525 nm附近的非相干光优化的超透镜元件。每个超透镜诱导的波前调制可以用入射场与单个器件点扩散函数的光学卷积表示。
技术实现
SVN3采用大尺寸角度变化PSFs作为卷积核心构建大核心空间变化(LKSV)卷积层。虽然这类层在传统神经网络中计算量大，但研究人员开发了使其实用的技术：
大核心因子分解：将15×15卷积核心重参数化为七个3×3核心的堆叠
低秩空间变化重参数化：通过核心基的加权线性组合实现空间变化
图3：实验测量显示(A)与真实特征通道相比的定性评估，(B)验证方法有效性的混淆矩阵。
性能和结果
SVN3实现了显著的性能指标：
在CIFAR-10上达到72.76%的准确率，超过AlexNet(72.64%)
电子参数减少四个数量级
超过99%的计算光学完成，零能耗
保持仅4mm长度的紧凑形态
图4：展示CIFAR-10测试集随机样本的概率预测的实验分类结果，展示了系统在物体识别方面的准确性。
多功能性和应用
该系统在不同数据集和任务上展现出显著的多功能性：
图5：验证SVN3作为多功能相机的性能，显示(A)ImageNet上的特征图，(B)在不同数据集上的识别性能，(C)语义分割能力。
SVN3在各种数据集上实现了具有竞争力的性能：
ImageNet上达到48.64%的top-5分类准确率
在CIFAR-100、Flowers-102、Food-101和Pet-37数据集上达到或超过AlexNet的性能
在PASCAL VOC上实现65.73%的像素准确率的语义分割
未来发展
这项光神经网络的突破代表了实用光子人工智能系统的重要进展。结合紧凑的形态和与自然光照条件的兼容性，使用光进行复杂计算的能力为边缘计算应用提供了新方向。未来的发展可能实现高分辨率、多通道光计算，进一步缩小光子和电子人工智能系统之间的差距。
SVN3的成功表明，光神经网络可以在保持光计算优势（超低延迟和功耗）的同时，实现与现代电子网络相当的性能。这一进展可能推动低功耗边缘计算的应用，使薄眼镜或微型机器人中的计算，以及降低用于神经网络训练的数据中心功耗成为现实。
参考文献
[1] K. Wei, X. Li, J. Froech, P. Chakravarthula, J. Whitehead, E. Tseng, A. Majumdar, and F. Heide, "Spatially varying nanophotonic neural networks," Sci. Adv., vol. 10, no. eadp0391, pp. 1-9, Nov. 2024.
END
