人工神经网络和生物神经网络比较
今天我们主要讨论一件事:人工神经网络是否全面模拟了生物神经网络,或者更狭隘一点,是否模拟了人类大脑皮层的工作机理?
先告诉答案,两者都是否定的。我个人觉得,人工神经网络只是借鉴了部分生物神经网络,只有一小部分共同点,甚至称不上模拟。我们一起来看看,为啥答案是否定的。
既然是简单比较,我们只着眼于最基本的和智能相关工作机制,而不论其他。
首先,我们要先纠正一个错误的观点,神经系统就是大脑。人类的神经系统非常复杂,整体上由中枢神经系统和周围神经系统组成:
- 中枢神经系统:(Central Nervous System,CNS)包括大脑和脊髓;大脑是主要的控制中心,负责处理感觉信息、思维、情感和行为。脊髓是连接大脑与周围神经系统的桥梁,负责传递信息并控制身体的运动。
- 周围神经系统:(Peripheral Nervous System,PNS)包括所有在中枢神经系统外部的神经组织;负责将感觉信息传递到中枢神经系统,并将中枢神经系统的指令传递给身体的各个部分。
为了方便解说,我们用 ANN (Artificial Neural Network) 代表人工神经网络,BNS (Biological Nervous System) 代表生物神经系统。我们将从各个方面来比较两者。
生物神经网络的工作机理研究
科学家对生物神经系统的研究很早就开始,并于1940年代取得了一些进展。1943年,美国心理学家麦克洛奇(McCulloch)和数理逻辑学家皮兹(Pitts)合作建立了MP(McCulloch-Pitts Neuron Model)数学模型,开创了人工神经网络研究这一崭新领域。1949年,心理学家Hebb提出了突触联系强度可变的赫布规则。这两个研究揭示了生物神经元的基本工作原理,也是人工神经网络的理论基础和灵感源泉。
![](https://www.mymaplelife.com/blog/wp-content/uploads/2024/03/neutron.webp)
生物神经元基本工作方式如下:
- 树突结构:生物神经元具有多个树突,每个树突都可以接收到来自其他神经元的输入信号。
- 突触传递:这些信号在神经元内部会被综合起来。突触间的连接强度(即突触权重)决定了不同输入信号的影响程度。
- 阈值和动作电位:一旦综合后的输入信号达到了神经元的激活阈值,神经元就会产生动作电位,并传递到轴突末端。
- 神经递质释放:动作电位通过轴突传播到轴突末端时,会触发释放神经递质的过程,这些化学物质可以影响其他神经元的活动状态,进而影响整个神经网络的行为。
计算机科学家,也就是人工智能专家由此受到启发,开始了他们的自由发挥。
- 1960年代更完善的神经网络模型被提出,其中包括感知器、自适应线性元件、适应谐振理论(ART网)、自组织映射以及认知机网络等等。
- 1982年,John Hopefiled 提出了Hopfield神经网络模型,首次将能量函数(Lyapunov函数)引入其中,他用一组非线性微分方程建构神经网络,并给出了网络稳定性判断。
- 1985年,出现了采用统计热力学模拟退火技术的波耳兹曼模型,保证了整个系统能够趋于全局稳定点。
- 1986年,Rumelhart、Hinton、Williams共同发展了反向传播算法,解决了模型的学习问题。
- 1988年,Linsker对感知机网络提出了新的自组织理论,并在香农信息论的基础上形成了最大互信息理论,随后Vapnik等提出了支持向量机和VC(Vapnik-Chervonenkis)维数的概念。
- 1991年,哈肯把协同引入神经网络,在他的理论框架中指出认知过程是自发的,并断言模式识别过程即是模式形成过程。
- 1994年,廖晓昕发展了细胞神经网络的数学理论,通过拓广神经网络的激活函数类,给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络(HNN)和双向联想记忆网络(BAM)模型。Hinton等人于2006年提出的深度学习算法,它本质上是构建含有多隐层的机器学习架构模型。
这一系列我们可以统称为生物神经网络衍生算法。
共同点
首先我们来讨论一下这两种神经网络的一些共同点。
![](https://www.mymaplelife.com/blog/wp-content/uploads/2024/03/Similarity-between-biological-and-artificial-neural-networks-Arbib-2003a-Haykin.png)
- 采用了神经元的概念,使用激活函数来模拟神经元的输出
- 在人工神经网络里突触被抽象为带权重的输入
- 连接成网络,有分层结构
- 大规模分布式的而不是冯诺依曼方式的存储和处理方式,突触的连接和权重既是是知识,也是程序。
- 训练过程都是渐进的,而不是一次性的编码或编程。
接下来我们开始讨论它们之间的差异。
神经元的不同点
现在我们来看一下两种系统在神经元上的的不同点。
- 人类对神经元和整个系统的工作机理的研究还在继续,我们无法肯定我们已经发现其中的全部奥秘,更无法来模仿。
- 人类神经元的电信号编码方式二进制的脉冲,即0或1,MP模型就是布尔模式的 – 你没有听错,是二值逻辑,更像一台简单的二进制计算机。而我们现在所有的模型,从最简单的感知机到复杂的Transformer,都是基于实数的。
- 生物神经元的输入由三部分组成,从其他神经元来的电信号,化学信号,神经元细胞内的信号(兴奋,抑制类型,这里可以类比为激活函数),输出也是三部分,电信号,化学信号和改变自身状态。而人工神经元只有电信号。
- 神经元内部是通过电信号传递,即动作电位。动作电位沿着神经元的轴突传播,最终到达轴突末端。
- 神经元之间是通过突触递质(化学信号)释放和接收来完成信息传递。
- 生物神经信号有兴奋和抑制类型,在MP模型中,抑制性输入是那些对决策产生最大影响的输入。人工神经元中没有这些。
- 人工神经元相对比较单一,虽然激活函数可以部分模拟神经元,但是神经元底层的编码能力还未被全面认识。生物神经元的形态有非常大的差异,这些差异代表了不同功能。比如有的神经元可以对一定间隔的信号产生反应。
网络结构
讨论了两种系统的神经元的差异,我们再从网络结构上看看他们的差异。
- 在人工神经网络中,专家们已经发现了很多有趣并且有用的网络结构,这些结构有明显的层次结构;也发现并理解了一些带有随机连接的网络,但也只是限制在一个很小的范围内。生物神经网络的结构要复杂和精细得多,随着生理神经学的进展,很多新的网络结构被发现,并启发了人工智能专家,比如最近的很火的注意力机制的灵感来自人类的视觉系统。
- 在人体尺度上,生物神经系统还存在更复杂的结构,比如大脑皮质的分层体系结构,脑区域内、区域间的前馈和反馈连接,以及多层脑构建块的模体等等,还有中枢神经系统和周围神经系统之间的结构等等。在这些方面,人工神经系统基本是空白,等待着人们的研究和开发。
- 人工神经网络模型是固化的,一旦完成设计,能够修改的只有权重,偏置等少数内容。而整个生物神经系统具有高度的可塑性,它既有出厂设置,也会在生长发育和学习过程中不断调整。
- 生物神经元具有可塑性,即它们可以通过经验和学习形成新的突触或调整现有的突触连接。这种可塑性包括长期增强和长期抑制。
- 大脑区域之间并非是完全不相关的功能模块,当一个区域受损时,大脑的其他区域会学习并实现该受损区域的功能。
功能上的差异
现在让我们再从功能角度来聊一下。
- 人工神经网络模型一般只是针对某个特定功能,比如视觉识别,语言模型等等。而人类的大脑和神经系统,是一个能够协同工作的巨大系统,涵盖智能和机能控制领域。
- 目前比较成功的人工神经网络模型只涵盖了大语言模型,视觉识别,听觉识别等少数方面。这些只是人类智能表层的部分,而且其实现效果呈现出一种机器的扭曲感,只能作为辅助,而无法独立使用。
- 简单一句总结,就是我们离通用人工智能,还非常遥远,即便在某个领域中,也还未达到这个程度。
训练和学习
最后从模型的学习和使用角度来看一下。
- 人工智能网络模型的训练是通过反向传播机制实现的。生物神经系统的学习目前尚未完全被揭示,但肯定不是反向传播机制。
- 人工智能网络模型的学习是极其低效的。而生物神经系统的学习是非常高效。
- 首先,机器训练数据必须按输入的要求,进行清洗和整理,这需要花费大量的人工成本和时间,而人的学习,只需要通过感官进行。
- 其次,机器训练必须准备大量数据,而人的学习,只需要少量数据,而且很多时候,大脑会通过其他方面的知识,自动完成对新领域的学习,这类似于人工智能中的迁徙学习。人类学习是举一反三,而机器是举三千反0.9。
- 机器训练前还需要对模型进行特定的初始化,而整个神经系统的初始化在人体的胚胎阶段就已经完成,之后再也不需要。
- 机器训练需要通过使用同一批数据一次又一次的迭代,才有可能达到训练效果。而生物神经系统的训练非常高效,一份数据,教一次即可。
- 机器的训练和使用是极其耗能的。一块 8GB VRAM 的 RTX 4060 平均游戏功耗100w/h,一天耗电2.4度,基本上玩不了任何大模型,一个大模型训练耗电多少?人太穷,我无法想象。而人脑每天消耗大概 400 大卡的能量,相当于200克米饭,或者0.46度电,而且这个能耗基本恒定,你用不用脑都这个消耗,否则只要多动动脑就可以减肥,多妙啊。
需要指出的是,现在已经有很多研究人员,开始深入研究生物神经系统的学习机制,并尝试在人工神经网络中重现。
我们最后来总结一下:
人工神经网络和生物神经网络有些相似之处,因为前者借鉴了后者的部分工作原理,但前者不是后者的模拟,而是两种几乎不同的对智能的实现途径。