注：本文是大创组会论文《脑启发 ANN 综述》讨论内容。
# 人工神经网络 (ANN) 学习中的脑启发表示
# 局部学习算法
全局学习算法 (例如反向传播) 在更新权重时需要去传播通过整个神经网络。而如果去采用局部学习算法，ANN 就可以更高效地学习，进而应用于实际。所以，这篇论文下面列举了一些脑启发局部学习算法的一些进展，这些进展展现了提高 ANN 的性能和鲁棒性的潜力。
# 局部反向传播
局部反向传播模仿了反向传播 (BP) 的一些数学性质，但是区别于传统 BP，它是采用局部的误差梯度来更新权重。一个局部 BP 的例子是反馈对齐 (FA) 算法，它采用随机矩阵替代了精确且对称的权重连接矩阵 (因为现实不存在这种形式，但传统 BP 算法具有严格的结构限制)，下面举例介绍这个算法的细节。对于一个三层的神经网络，输入是，隐藏层是，输出层是，误差为。按照传统的 BP 算法，，而 FA 算法是改变 为，即将 替换成随机矩阵，这样也可以达到相似的效果。但是由于 是一个随机生成的矩阵，所以这个算法效果可能不稳定。
直接反馈对齐 (DFA) 算法与 FA 类似，也是随机生成一个反馈矩阵，但它使用一个与输出层相同的网络，直接连接到每个隐藏层来计算反馈信号，这个算法也可以优化 BP 算法，同时具有较好的稳定性。另外符号对称 (SS) 算法与 FA 类似，只是它的权重是对称的。总的来看，FA 和 DFA 算法处理小数据集时较好，而处理大数据集不尽人意；而 SS 算法在处理大数据集可以达到与传统 BP 相似的性能。
资格传播 (e-prop) 算法将 FA 算法思想拓展到脉冲神经网络 (SNN)，结合了传统 BP 和生物合理的学习规则。e-prop 计算每个突触的资格迹 (表征当前突触对神经的总贡献)，可以仅前向传播，来更新权重。但是 e-prop 一个缺点是仅考虑过去，而不能考虑未来的误差，所以它需要一个实时的误差信号。
# 泛化性质
随着深度学习模型的参数越来越大，不可避免地产生了模型的过参数化，即训练集精度很高，测试集的效果很差，也就是泛化性能很差。目前有个发现是，在误差函数的多个极小值点中，平坦的极小值点可以有更好的泛化性能。所以，能够找到足够平坦的极小值的算法可以产生更好的泛化。
与传统 BP 相比，局部 BP 在泛化性上面表现得不好且不稳定。局部近似的优化在泛化性上不如全局的优化，这并不奇怪，但也给出了新问题，就是反向 BP 是否值得进一步探索，还有设计脑启发学习的最佳方法是什么。
# 元优化可塑性规则
元优化可塑性规则在以误差为驱动的全局学习和脑启发的局部学习之间提供了一种平衡。元学习可以被定义为学习算法本身搜索的自动化，不是依赖于人对算法的描述，而是通过搜索过程找到应用的算法。元学习自然地扩展到了脑启发的算法，这样脑启发算法就可以通过搜索更优学习算法自行优化，而不依靠人为改变学习规则。下面是这项研究的各个具体方面。
# 可微分塑性
可微分塑性是一种专注于通过梯度下降来优化神经网络中突触塑性规则的框架。其中的动态的可塑性规则参数是可微的，以此实现 BP 中可塑性规则参数的元优化。也就是权重能精准地在执行过程中完成优化权重的任务，称为生命周期内的学习。可微分塑性也可以进行动态神经调节的可微优化，主要包括两种神经调节：全局神经调节和反向神经调节。全局神经调节中权重变化的方向和幅度由依赖于网络输出的全局参数控制；反向神经调节中过去活动的影响被类多巴胺信号在短时间内调节，这主要是通过上面所说过的资格迹实现。
可微分可塑性已经成功应用于各种领域。这包括顺序关联任务，熟悉度检测，和机器人噪声适应。它也被用来优化短期可塑性规则，这些规则改善了在强化学习和时间监督学习问题中的性能。但是由于要对每个突触的多个参数进行优化，占用了大量内存，所以需要参数共享或者另外的 BP 方式。
# 脉冲神经网络 (SNN) 中的可塑性
当前在 SNN 中可以采用替代梯度对不可微项进行反向传播，这个进展使得 SNN 中可微分塑性的使用成为可能。可微分的脉冲时序依赖性可塑性规则已经能够在某些情况下实现自行学习；相似的方法还可以优化第三因子信号，引入 e-prop 的元优化形式；通过进化调整后的循环神经网络 (RNN) 也可以用于元优化规则。可进化神经元 (ENUs) 引入一种门控结构来控制输入数据如何处理，输入以及动态参数的更新，用这种神经元构成的神经网络可以独立发现动态脉冲和强化学习方法。
# 循环神经网络 (RNN) 和 Transformer 中的可塑性
不同于更新规则学习可塑性的研究，Transformer 的学习纯粹是通过网络激活来进行。除此之外，RNN 也可以进行这个过程。虽然这好像与突触的可塑性完全是不同的过程，但事实上有很强的关联性。其中一个关联是，元学习的参数共享往往会 将激活解释为权重。这表明在权重固定的情况下，这些模型依然能表现出与突触可塑模型相同的性能。另外一个关联是，Transformer 中的自注意机制涉及内外积，这可以更新权重甚至实现梯度下降。
# 进化和遗传的元优化
与可微分塑性一样，进化和遗传的元优化已经被应用于可塑性规则的参数优化 (例如机器人系统对肢体损伤的适应)。通过笛卡尔遗传算法实现了可塑性系数和条件方程的优化，这项工作表现出自动寻找生物上合理的可塑规则的方法的可能性。在这些工作中进化和遗传元优化已经接近可微分的过程，并且由于不需要对时间上的误差进行 BP 而占用了更小的内存。但是它需要更大的数据集才能达到接近可微分塑性的性能。
# 自我参照元学习
突触可塑性的学习有两个层次，分别是元学习者和寻找学习规则，自我参照学习拓宽了它的层次。自我参照的结构允许对所有参数以递归的方式更新，所以理论上可以有任意级别的学习，比如元 - 元学习等等。比如有些元学习需要参数初始化，这仍需要一个元学习者。在其他网络中可以通过消除这个元学习者进行自我修正。总之，尽管自我参照元学习与突触可塑性存在差异，但是它们都是为了实现神经网络的自我适应和改进。
# 元优化学习的可塑性
元优化学习的泛化是一个 open problem，发现的学习规则还不知道多大程度能推广到更多任务，也不知道能否能发现像 BP 这样的通用学习规则。研究表明，当搜索空间大，学习规则限制少的时候，发现的算法很难泛化。对于这个问题，参数共享的元学习可以泛化到一些分类问题，同时强化学习算法也能解决一些泛化的问题。
# 脑启发学习的应用
# 神经形态计算
神经形态计算的目标是创建模仿生物大脑结构和功能的硬件。它寻求开发不仅复制大脑的学习能力，而且具有其效率和固有并行性的人工神经网络。神经形态计算通常有专门的硬件 (如神经形态芯片和忆阻器件等)，来达到脑启发算法的高效执行。这些系统可以大幅提高机器学习的性能，尤其是在边缘计算和实时处理场景中。
目前神经形态计算的一个关键方面是开发出适合脉冲神经网络 (SNN) 的硬件架构，因为 SNN 更接近生物神经元的信息处理机制。神经形态系统基于脑启发的局部学习，具有高效率、低延迟和对噪声的鲁棒性，而相应硬件的开发与整合对其成功应用具有重要意义。
近年来，神经形态计算的进步已经促进各种平台的开发，如 Intel 的 Loihi、IBM 的 TrueNorth 和 SpiNNaker，它们提供了用于实现脉冲神经网络和脑启发式学习算法的专门硬件架构。这些平台为神经形态计算系统的进一步探索提供了基础，使研究人员能够设计、模拟和评估新颖的神经网络架构和学习规则。
# 机器人学习
神经网络的脑启发学习有潜力克服当前机器人领域面临的许多挑战，使机器人能够以更灵活的方式学习和适应环境。传统的机器人系统依赖于预编程的行为，这在适应变化的条件方面有其局限性。相比之下，神经网络可以通过根据接收到的数据调整其内部参数来适应新的情况。
脑启发学习在机器人领域的应用有着悠久的历史。突触可塑性很早就被引入计算机领域，用于电机增益，崎岖地形，避障以及关节臂控制。深度强化学习 (DRL) 是神经网络与强化学习算法的结合，创建了能够通过与环境互动学习复杂行为的自主代理。DRL 能引导机器人学习实现其目标的最优策略，即便是在高度动态和不确定的环境中。这种强大的方法已经在各种机器人应用中得到了展示，包括灵巧的操纵，机器人运动和多代理协调。
# 终身学习和在线学习
终身学习和在线学习是脑启发式学习在人工智能中的重要应用，它们使系统能够适应变化的环境并不断获取新的技能和知识。相比之下，传统的机器学习方法通常在固定的数据集上进行训练，缺乏适应新信息或变化环境的能力。成熟的大脑可以不断地学习，而脑启发学习机制的神经网络也可以被训练至有不断学习和适应的能力。这种算法在数据稀缺时显得十分有用，因为它使系统可以实时学习和适应，不需要提前收集和处理数据。
终身学习的一个主要目标是缓解在 ANN 中多次连续应用 BP 是产生的灾难性遗忘，即 ANN 在学习新数据时突然忘记以前学习的信息的倾向。这是因为 BP 算法在促进新的学习时，并没有固有地考虑到需要保留以前获取的信息。这在以前是一个难题，但现在可以考虑使用模拟大脑动态学习的脑启发学习算法来解决这个难题。
# 对大脑研究的展望
人工智能和神经科学这两个领域一直在彼此受益。一种特殊深度神经网络在处理空间和视觉信息方面显示出与人脑惊人的相似性，这暗示可以通过 ANN 来更好的理解大脑。也出现了神经连接研究计划，主张以 ANN 作为计算语言来测试大脑如何计算，取得了一些成果。反向传播和局部的类反向传播也促进了对大脑的研究，来了解大脑中的哪些过程可能与反向传播类似，这促成了神经科学中新的观点和理论。
综上所述，ANN 中去采取脑启发的学习规则，不仅仅是工程上的创新，更使我们能够从人工智能的新视角更深入地探索大脑计算的复杂性，揭开大脑复杂运作的秘密。
