【中国科学报】“自组织”让“电老虎”少吃多干

发布时间:2021-11-11

  作者:武玥彤 来源:中国科学报 发布时间:2021/11/11 17:23:24 

  自组织反向传播(SBP)机制可以在降低计算能耗的同时不损失精度。图片来源:unsplash 

  云计算、大数据、人工智能等技术的快速发展和广泛应用,让这些领域成了“电老虎”。新思界产业研究中心《2021年全球及中国数据中心加速器产业深度研究报告》预测,到2025年,仅全球数据中心消耗的电能就将占全球总发电量的五分之一。

  近日,中科院脑智卓越中心研究员徐波、蒲慕明院士联合研究团队在线发表于《科学进展》的研究,利用介观尺度自组织反向传播(SBP)机制,在更高效率、更灵活的类脑局部学习方面取得了重要进展。该技术能在机器学习过程中,降低计算能耗的同时又不损失精度,让这些“电老虎”可以少吃多干。

  能耗的瓶颈 

  人工智能在某些领域表现出巨大的优势,比如,AlphaGo 完胜人类世界围棋冠军;在电子游戏竞技中,AlphaStar以10:1的总比分“狂虐”职业玩家。

  近年来,随着数据量越来越大、算力越来越强、大规模预训练模型对能源的要求也越来越高。据伦敦大学学院教授David Attwell团队通过对单个神经元耗能进行计算,发现整个大脑的能耗约16.6瓦。对于人体而言,大脑只需要不到20瓦的功率就可以应对复杂思考任务。与之相比,战胜柯洁的AlphaGo,耗电量相当于12760个人类大脑。

  “预训练模型的参数提高以后,人工智能的性能确实更强了,但能耗问题也不容忽视。”该论文第一作者、中国科学院自动化所副研究员张铁林对《中国科学报》说,“研究者普遍认为,人工智能的表现还应更好一些。比如,进行同样运算而消耗更少的能源。”

  模拟人类大脑运行过程是人工智能的一个重要途径,在人工智能研究领域,目前神经网络中被广泛使用的反向传播算法(BP)采用全局优化策略。这种端到端的学习方法性能卓越,但学习过程能量消耗大,缺乏灵活性。

  “在精度不受影响的前提下,降低能耗是我们的研究目的之一。”徐波告诉《中国科学报》,“现在包括人工智能大模型在内的很多算法也远未达到人脑的参数量。而大脑维持这么多神经元运算,却是非常节能的。如果我们在算法设计之初,让机器能像人那样去学习,也许模型不必那么庞大,学习训练的时候也不会那么耗电。”

  向大脑学习 

  “我们想借用一些生物学领域取得的进展,弄清楚大脑是怎么在低能耗的情况下高效学习的。”张铁林说,“所以蒲慕明老师给徐波老师团队推荐了很多算法,并保持着深度合作。”

  1997年,蒲慕明团队在《自然》杂志发表论文,揭示了海马体内神经元可以将长时程抑制(LTD)可塑性自组织地传播到三个方向,分别是突触前侧向传播、突触后侧向传播和反向传播,这个发现就是SBP。

  进一步的研究证实,SBP现象具有普遍性,不仅覆盖更多的神经区域如视网膜—顶盖系统,还覆盖更多的可塑性类型,如长时程增强。该机制的形成归结于生物神经元内分子调制信号的天然逆向传递,被认为是可能导致生物神经网络高效反馈学习的关键。

  研究团队受到该机制的启发,对SBP的反向传播方向(第三个方向)单独构建数学模型,重点描述了神经元输出突触的可塑性能够反向传播到输入突触中,可塑性的发生可以通过时序依赖突触可塑性,也可以通过人工局部梯度调节。在标准三层脉冲神经网络(SNN)的学习过程中,SBP机制可以自组织地完成前一层网络权重的学习,并可以结合短时突触可塑性、膜电位平衡等,形成更强大的SNN组合学习方法。

  由于涉及前沿生物技术,有很多生物机制计算机验证起来非常困难。

  “蒲老师讲完这一机制,我们读相关论文时还觉得这项工作并不复杂。”张铁林说,“但真正应用到模型上却困难重重、一筹莫展。”

  张铁林等人是计算机领域的,生物领域论文对他们来说比较难,“很多时候并不完全懂”。而且,大脑中有多个关联机制,要不要跟SBP结合、怎么结合、神经元的突触往前传多少、传给谁、有没有倾向性,这些问题都没有答案,感觉“有很多缺失的信息需要去补充”。

  没有标准答案,研究人员只能先结合网络情况进行论证分析,再设置一个可优化的参数,用一些特殊的方法构建“能量函数”来约束一些变量,然后把这个机制放到脉冲网络里去验证。

  然而,经过多次尝试,结果却并不理想。他们只好回过头来重新认识“生物学规则”。随着学习的深入,蒲慕明建议他们做一些小实验来模仿类似生物的小网络。慢慢的,这种机制逐步明确起来。

  “从科研角度来讲,要先做减法,把它的重要性弄清楚、体现出来,后面再做加法,加更多的机制、变量和条件。”张铁林说,“目前我们只是在一些标准的简单模型上进行了验证。因为如果模型太复杂,会说不清楚SBP在其中到底贡献了什么。下一步我们会在更大规模的模型上进行验证。”

  研究团队针对性地提出一种统计训练过程中能量消耗的新方法。在图片分类、语音识别、动态手势识别等多类标准数据集上,SBP机制通过组合其它可塑性机制,实现了更低能耗和更高精度的SNN局部学习。在一些人工网络的学习中,SBP机制也可以大量替换BP机制实现全局和局部交叉学习,在降低计算能耗的同时不损失精度。

  “自组织”的优势 

  “生物智能计算的本质,很可能就是灵活融合多类微观、介观等可塑性机制的自组织局部学习,结合遗传演化赋予的远程投射网络结构,达到高效的全局优化学习效果。”蒲慕明告诉《中国科学报》,“该工作可以进一步引导生物和人工网络的深度融合,最终实现能效比高、可解释性强、灵活度高的新一代人工智能模型。”

  目前,反向传播机制已经是一种优化的结果,作为一种标准模型,它基本上覆盖了脉冲和人工网络模型,效果也不错。

  “但其能耗和学习效率方面,还可以再优化一些,从各个尺度上再提升一下。”张铁林说,“我们在训练时,也采取混合式的训练方法,一部分采用BP方法,一部分采用SBP方法。”

  研究人员认为,SBP是一类介观尺度的特殊生物可塑性机制,具有自平衡、自组织、可传播等特点,因此在神经网络学习中展示出较好的组合优化优势。

  “人工的反向传播算法靠整体目标函数驱动,每次计算时既慢又耗能,特别是在网络比较大的时候,问题就更明显了。”张铁林说,“如果一个算法是自组织的,它就可以像大脑一样无监督学习,可以进行局部运算,就比较节能了。”

  目前,该团队已经在一些小型、浅层的人工网络上做过测试。结果表明,最好的时候,其可以在保持原来性能的基础上,把能耗降到原来的21%左右。

  “比如,原来需要100块GPU去训练,现在只需要21块就够了。”张铁林说,“这在进行大模型训练的时候就比较重要了。”

  SBP只是一个开始,它对进一步深入探索类脑局部计算具有很大的启示。

  “将来还有很多和脑智卓越中心生物科学团队的交叉合作研究。”徐波说,“相信人工智能领域未来还有很大的进步空间,这些受生物启发的学习法则可以帮助人们更好地填补这些空白。”

https://share.gmw.cn/kepu/2021-11/11/content_35302583.htm

附件下载: