脑启发的人工神经网络学习表示及其应用
注:本文是大创组会论文《脑启发 ANN 综述》讨论内容。
# 人工神经网络 (ANN) 学习中的脑启发表示
# 局部学习算法
全局学习算法 (例如反向传播) 在更新权重时需要去传播通过整个神经网络。而如果去采用局部学习算法,ANN 就可以更高效地学习,进而应用于实际。所以,这篇论文下面列举了一些脑启发局部学习算法的一些进展,这些进展展现了提高 ANN 的性能和鲁棒性的潜力。
# 局部反向传播
局部反向传播模仿了反向传播 (BP) 的一些数学性质,但是区别于传统 BP,它是采用局部的误差梯度来更新权重。一个局部 BP 的例子是反馈对齐 (FA) 算法,它采用随机矩阵替代了精确且对称的
more...