从网络模体到集体动力学:三节点motif 如何影响神经网络的鲁棒性与灵活性

发布时间:2026-06-30

<span style="color: rgb(0, 0, 0);">ICML 2026 三节点 motif 与 RNN 集体动力学 短小版 导语作者信息</span>

近期,中国科学院脑科学与智能技术卓越创新中心、脑认知与类脑智能全国重点实验室张铁林研究团队发表了题为“Functional Building Blocks of Neural Networks: From Network Motifs to Collective Dynamics”的研究论文,该论文发表于International Conference on Machine Learning, ICML 2026(第43届国际机器学习大会)。该研究从神经网络内部的基本连接单元入手,揭示了三节点 motif 对网络动力学和任务表现的调控作用。结果表明,通过设计和调节局部连接模式,有望在不单纯依赖扩大模型规模的情况下提升神经网络对不同环境的适应能力。

神经网络的计算能力不仅取决于参数数量,也受到连接方式影响。残差连接、门控循环和低秩更新等结构都说明,网络拓扑会改变信息传递、状态保持和动态更新方式。

但完整连接矩阵维度很高,直接解释功能差异并不容易。论文因此选择三节点motif (模体)作为基本单元:它们是复杂网络中反复出现的局部连接模式,既便于动力学分析,也可以在较大网络中被统计和调控。

在连续时间 RNN Recurrent Neural Network, 循环神经网络)框架下,每种三节点 motif 被看作局部回路,分析其在平衡点附近的线性化动力学。根据稳定性充分条件,13 motif 被划分为三个层级:Level 1 更容易满足稳定性条件,Level 2 处于中间区域,Level 3 包含更复杂的循环结构。

图1 三节点 motif 的稳定性分层。Level 1 更偏向收敛,Level 3 对应更复杂的局部动力学。

随后,团队用可微 motif 正则化将结构偏好写入训练过程。通过连续松弛近似 motif 频率,可以得出在梯度训练中提高某一类目标 motif 的占比,并观察这种结构偏置对任务表现的影响。

PDMTIDIGITS MNIST 等噪声识别任务中,富集 Level 1 motif 的网络整体表现出更高噪声鲁棒性。Level 1 相较 Level 3,在三类任务上的平均准确率分别高出约 4.75.3 9.0 个百分点。

在强化学习控制任务中,趋势有所不同。InvertedPendulum-v2 Ant-v2 需要网络持续整合环境反馈并更新动作策略。此时 Level 3 motif 富集网络表现出更快收敛或更高累计回报。

图2 实验结果汇总。左侧为噪声识别任务,右侧为持续运动控制任务。

为解释任务差异,团队使用低秩 RNN 将高维神经活动投影到二维潜在空间。噪声增强后,Level 1 网络的潜在轨迹仍相对集中,而 Level 3 网络轨迹更分散,提示不同 motif 层级可能通过改变状态轨迹影响任务表现。

图 3|低秩 RNN 潜在轨迹分析。噪声增强时,Level 1 轨迹较集中,Level 3 轨迹更分散。

这项工作的主要贡献在于,将局部连接 motif、网络动力学和任务表现放入同一分析框架中。需要注意的是,结论主要建立在连续时间 RNN、三节点 motif 和指定任务集合上,能否推广到 Transformer、状态空间模型或更高阶结构,仍需进一步验证。

    在本文实验设置下,三节点motif motif 的稳定性分层与任务需求之间存在可观察对应关系:Level 1 更符合鲁棒识别中的稳定性需求,Level3更符合控制任务中的动态适应需求。

中国科学院脑科学与智能技术卓越创新中心博士研究生张健、博士后孙悦和中国科学院自动化研究所硕士研究生姚王梓为本论文共同第一作者;中国科学院脑科学与智能技术卓越创新中心张铁林为通讯作者。本研究工作得到了科技部、中国科学院、临港实验室等的支持。

附件下载: