研究团队开发用于终身学习的可重构光子计算架构

 3周前     69  
研究团队开发用于终身学习的可重构光子计算架构

文章目录

在大规模数据集的推动下,人工智能任务变得越来越丰富和复杂。随着摩尔定律的平稳和德纳德标度的结束,能量消耗成为当今重电子深度神经模型更广泛应用的主要障碍,尤其是在终端/边缘系统中

社区正在寻求下一代计算模式,以突破基于电子的人工神经网络(Ann)实现的物理限制

光子计算是克服电子技术固有局限性并将能效、处理速度和计算吞吐量提高几个数量级的一种很有前途的途径

这些非凡的特性已被用于构建特定应用的光学架构,用于解决基本的数学和信号处理问题,其性能远远超出现有电子处理器的性能

不幸的是,现有的ONN遭受“灾难性遗忘”,仍在努力完成简单的一次性任务。主要原因是它们继承了传统计算系统的普遍问题,传统计算系统倾向于训练干扰先前学习的知识的新模型,在训练新事物时迅速忘记从先前学习的任务中获得的专业知识

这种方法未能充分利用用于光子计算的波动光学的稀疏性和并行性的固有特性,最终导致多任务学习的网络容量和可扩展性较差

在最近发表在《光:科学与技术》杂志上的一篇论文中;应用,由中国北京清华大学电子工程系西格玛实验室的陆芳教授及其同事领导的一个科学家团队开发了L2ONN,这是一种可重构的终身学习光子计算架构

首次在光子计算架构中开发出光、空间稀疏和多光谱并行的独特特性,赋予ONN终身学习能力。与试图模仿ANN结构的现有ONN不同,L2ONN的光子终身学习最初是根据光的物理性质设计的–物质相互作用,以充分探索波动光学在光子计算中的功能和性能潜力

受益于所提出的终身学习光学计算架构,对自由空间和片上架构的实验评估表明,L2ONN在支持各种新环境的数十项具有挑战性的任务上显示出非凡的学习能力,如视觉分类、语音识别和医疗诊断

L2ONN的容量是现有光学神经网络的14倍,能效比有代表性的电子人工神经网络高一个数量级

“人类拥有增量吸收、学习和记忆知识的独特能力。特别是,神经元和突触只有在有任务要处理时才能工作,其中有两个重要机制参与其中:稀疏神经元连接和并行任务驱动的神经认知,共同有助于终身记忆的巩固和检索。

”因此,在ONN中,基于光学算子固有的稀疏性和并行性,这些特征可以从生物神经元自然地提升为光子神经元

“模仿人脑结构和功能的光学架构展示了其缓解上述问题的潜力,在构建可行的终身学习计算系统方面,它比电子方法显示出更多优势。

”我们已经证明,光子终身学习为大规模现实生活中的人工智能应用提供了一个具有前所未有的可扩展性和多功能性的交钥匙解决方案。科学家们表示:“我们预计,拟议的神经形态架构将加速更强大的光子计算的发展,作为现代先进机器智能的关键支持,并开启人工智能的新时代。”

想要了解更多关于脑机接口技术的内容,请关注脑机网,我们将定期发布最新的研究成果和应用案例,让您第一时间了解脑机接口技术的最新进展。

版权声明:Robot 发表于 3周前,共 1149 字。
转载请注明:研究团队开发用于终身学习的可重构光子计算架构 | 脑机网

您可能感兴趣的

暂无评论

暂无评论...