二维（2D）和三维（3D）双模视觉信息在自动驾驶、工业机器人、人机交互等前沿领域具有广泛的应用前景。但是2D和3D两种模式视觉信息在处理方法上存在较大的差异，使得边缘端计算型处理器难以兼顾两种模式的处理需求；同时以深度学习为代表的人工智能算法的计算密集和高数据复用率等特点进一步增加了处理器电路的设计复杂度，导致边缘端实现双模视觉信息智能处理的芯片设计面临大的挑战。
中国科学院半导体研究所刘力源研究员带领的团队在双模视觉信息智能计算芯片设计领域取得重要进展。团队创新性地设计了一款兼容处理2D/3D双模视觉信息的视觉处理器架构和用于人工智能算法的数据流。提出了一种可重构并行处理单元阵列架构，并行处理单元阵列支持向量化单指令多数据处理模式，可显著提升人工智能算法的数据复用率，减小了算法处理延时和访存功耗；设计了一种用于2D/3D图像处理算法的指令集架构以及对应的算法部署方法，能够灵活映射从数据预处理到智能处理阶段的图像处理算法，消除冗余的专用图像处理电路，提升了芯片单位面积算力。测试结果表明，芯片可实现3D深度重建、2D人脸目标检测和2D目标追踪算法。图1和图2分别为芯片照片和片上算法处理结果。该工作为设备功耗与体积均受限的边缘场景多模态视觉信息智能处理提供了一个高效且灵活的智能化计算平台。
该成果由半导体所博士生魏思源等在刘力源研究员的指导下完成。成果得到了国家重点研发计划和国家自然科学基金等项目的资助。
图1 芯片照片
图2 片上算法推理结果
（来源：中国科学院半导体研究所）