人工智能的江湖之争 – 三大流派介绍
大家好，从今天开始，我们会用几个视频，介绍一下人工智能的几大流派。
有人的地方，就有江湖，学术界亦然。人工智能的江湖有三大流派，涵盖了当今人工智能的大部分范畴，了解这些学派，可以让大家对人工智能的发展脉络和成就，有更深刻的理解；同时也会人类自身的智能结构有一个大概的了解，也因此会对人工智能今后的影响有一个了解。
在人工智能的历史介绍中，我已经提到过三大流派，他们是：符号主义，连接主义和行为主义。
符号主义和连接主义的纠缠，贯穿整个现代人工智能的诞生和发展。行为主义是二十世纪末期才兴起，其侧重点和主要贡献在机器人控制系统方面。我个人不太赞同把行为主义作为一个主要流派。现代人工智能的发展史，主要是符号主义和连接主义互相竞争又互相影响和成就的过程。行为主义在我看来是一种辅助手段，不是更本质的区别。但是很多学者把它单独列为一个流派，考虑到人工智能的各个方面，尤其是感知、反馈和机器学习方面，我还是把它单独列出。其他的一些次要流派，比如贝叶斯学派和类推学派，我就不单独介绍了。
符号主义
又称逻辑主义，它的原理主要为物理符号系统假设和有限合理性原理，用逻辑符号来表达概念，用逻辑演算表达推理思维的过程，强调逻辑演绎和形式系统。长期以来一直在人工智能研究中处于主导地位。
符号主义有如下一些特点：
符号表示：符号主义认为，智能可以通过使用符号和符号之间的关系来进行表示。这些符号可以代表现实世界中的对象、概念或事物，并且符号之间的关系可以用来表示知识。
逻辑推理: 符号主义强调逻辑推理的重要性，认为通过使用形式逻辑可以模拟人类的推理过程。逻辑规则用于从给定的符号表示中推导出新的信息。
形式化方法： 符号主义使用形式化方法，将问题和解决方案表示为符号，并通过符号之间的关系进行操作。这种形式化的方法使得问题变得更加清晰和可管理。
推动符号主义发展的一些代表人物有：
艾伦·图灵（Alan Turing）： 虽然他的工作跨足了多个领域，但他的思想对人工智能的符号主义方向产生了深刻的影响。图灵机的概念为计算机科学和人工智能的发展奠定了基础。
约翰·麦卡锡（John McCarthy）： 提出了Lisp编程语言，对人工智能领域产生了深远的影响。他是人工智能领域的先驱之一，对符号主义的推动作用巨大。
艾伦·纽厄尔（Allen Newell）和赫伯特·西蒙（Herbert A. Simon）： 他们一同提出了“逻辑理论家”这个早期的人工智能程序，共同发明了共同发明了通用问题求解程序，是符号主义的奠基人之一。
马文·闵斯基（Marvin Minsky）： 是人工智能领域的先驱之一，与西蒙一同创建了早期的神经网络，提出了框架理论，对符号主义和连接主义的发展都有贡献。
符号主义有很多优点，并因此长期在人工智能领域处于主导地位：
明确的知识表示： 符号主义采用明确的符号表示，使得知识可以以结构化和可操作的方式存储。这有助于计算机理解和处理大量的复杂知识。
逻辑推理： 符号主义强调逻辑推理的重要性，通过使用形式逻辑可以进行精确的推理。这使得计算机能够进行复杂的问题求解，模拟人类的思维过程。
可解释性： 符号主义方法通常具有较高的可解释性，因为符号表示可以被解释为特定概念和关系。这使得人们能够理解计算机的推理过程和决策依据。
形式化方法： 符号主义使用形式化的方法，将问题和解决方案表示为符号，并通过规则进行操作。这种形式化的方法使得问题的建模更为清晰和可管理。
它的缺点也非常明显。
处理不确定性的困难： 符号主义在处理不确定性方面相对较弱。在现实世界的许多情况下，信息可能是不完整或模糊的，而符号主义主要基于形式逻辑和精确的符号表示，难以有效处理这种不确定性。
知识获取的难度： 符号主义在构建知识库时需要大量的手动工作，这被称为“知识工程”的问题。获取和形式化领域专家的知识是一项复杂的任务，需要大量的时间和资源。
灵活性不足： 符号主义系统通常在处理新问题或适应新环境时缺乏灵活性。因为它们的知识表示和推理规则通常是固定的，难以适应变化和不断发展的情境。
计算复杂性： 一些符号主义方法在计算上可能变得非常复杂，尤其是在处理大规模的知识库时。这可能导致低下的效率低和海量的计算资源需求。
缺乏自适应性： 符号主义往往缺乏自适应性，即在学习新知识或适应新环境方面相对较差。这使得符号主义不能胜任变化和未知情况。
语义间隙： 符号主义在理解自然语言和处理语义间隙方面存在挑战。自然语言的复杂性和歧义性使得符号主义难以准确捕捉语言的含义。
上面这些有点缺点，都是业界公认的。以下是我个人的一些分析。符号系统最大的缺陷是理论基础性的。
首先，逻辑演绎只是人类智能中极小的一部分，远不是全部，甚至不是必须的；物理现实是开放式的，所以符号主义的物理符号系统假设基础和有限合理性原理都是不充分的。这是导致它一系列缺点的根本原因。
此外，形式系统没有感知和抽象功能，依赖人来提供抽象概念，输入概念和基础规则，这导致了“知识工程”问题，而这正是连接主义擅长的。
第三，形式系统是不完备的，这已经由哥德尔不完备定理所阐述。形式系统无法通过自身来补足，显然需要来自其他理论的支持。
符号主义已经不是今天人工智能的热门话题和研究领域，但是，符号主义并未完全消失，它所取得的成就，已经融入到整个计算机科学和人工智能领域。
首先，Prolog 编程语言，作为一种基于谓词逻辑的编程语言，有其独特之处，在学术和应用领域有特殊用途。它被广泛用于符号主义中的知识表示和逻辑推理。它支持规则和事实的定义，使得开发专家系统变得更为方便。
其次，基于规则和知识表示的专家系统，在特定的领域内依然是一种非常实用的工具。
第三，形式化推理： 符号主义推动了形式逻辑和推理的研究，包括一阶逻辑和模型检测等形式化推理方法。这些方法在知识表示和推理系统中发挥了关键作用。
第四，符号主义的各种研究成果，已经成为当今计算机科学的理论的一部分。比如形式语言，已经是今天计算机编程最重要的理论基础，同时也对自然语言处理有重要的帮助，它的影响力，甚至涉及到人类的语言学。
除了上面这些，符号主义还发展出很多算法，这些算法被广泛应用到很多很多不同计算机程序中解决很多实际问题。比如：语义网络和各种图算法，谓词逻辑规划，启发式算法等。
连结主义
又被称作仿生学派，或者生理学派，是对人类和动物神经系统的模仿，现代神经生理科学的进展，给了连接主义各种灵感和推动，某种程度上，是一门跨学科的科学。
连接主义试图通过模拟神经元之间的连接和信息传递来实现机器学习和认知功能。它有以下一些特点：
神经网络结构： 连接主义采用神经网络作为其基本模型。神经网络是由大量简单的节点（神经元）组成的，这些节点通过连接相互传递信息。层与层之间的连接构成了网络结构，其中信息从输入层传递到输出层。
学习和适应性： 连接主义强调系统的学习和适应能力。通过调整连接权重，神经网络可以从数据中学习模式和规律。这种学习通常是基于反馈信号，即系统根据输出结果与预期结果之间的差异来调整权重。
分布式表示： 连接主义倡导使用分布式表示来存储和处理信息。相比于符号主义的集中式表示，分布式表示将信息分散存储在神经网络的各个节点中，使得系统更具鲁棒性和泛化能力。
并行处理： 连接主义系统通过并行处理大量信息来模拟人脑的并行性。神经网络的并行性使得它能够同时处理多个输入并执行多个任务，从而提高了整体的效率和速度。
自组织和自适应： 连接主义系统具有一定的自组织和自适应能力。在学习的过程中，神经网络可以自动调整连接权重，适应不同的输入模式，而无需显式的编程。
线性映射： 连接主义强调通过非线性映射实现复杂的函数逼近。神经网络中的激活函数引入了非线性元素，使得网络可以学习和表示更加复杂的关系和模式。
在连接主义的发展工程中，很多人都有杰出的贡献，在连接主义的早期，这些学者为连接主义的发展奠定了基础：
弗兰克·罗森布拉特（Frank Rosenblatt 1928–1971）: 他是感知机模型的创始人，提出了感知机学习算法。尽管感知机后来受到了限制和批评，但它在连接主义的发展中起到了开创性的作用。
戴维·瑞姆尔哈特（David Rumelhart 1942–2011）: 与James McClelland等人合作，提出了并开发了反向传播算法，这是训练神经网络的关键方法之一。他的工作在连接主义的发展中具有重要影响。
詹姆斯·麦克莱兰（James McClelland:） 与David Rumelhart等人一起，他是连接主义和并行分布式处理的先驱之一。他们合作的《Parallel Distributed Processing: Explorations in the Microstructure of Cognition》一书对连接主义的发展有深远影响。
John Hopfield: 他提出了Hopfield网络，这是一种用于解决优化问题的反馈神经网络。这个模型在连接主义中起到了关键作用。
在这波深度学习和强化学习的浪潮中，以下这些人起到了关键作用：
Geoffrey Hinton： 作为深度学习的奠基人之一，Hinton对连接主义的发展做出了巨大贡献。他是深度学习领域的领军人物，提出了许多深度学习模型和算法，包括卷积神经网络（CNN）和胶囊网络。
Yann LeCun： LeCun是深度学习领域的先驱之一，他对卷积神经网络（CNN）的研究对图像识别等任务产生了深远的影响。他也是深度学习的倡导者和推动者。
Yoshua Bengio： 作为深度学习三巨头之一，Bengio在深度学习和连接主义方面做出了杰出的贡献。他的研究涉及到循环神经网络（RNN）和生成对抗网络（GAN）等领域。
连接主义，神经网络有一些显著的优点：
学习能力： 连接主义模型具有较强的学习能力。通过调整神经网络的连接权重，模型可以从数据中学习到复杂的模式和规律，而无需显式的规则。
适应性： 连接主义强调系统的适应性。神经网络可以在面对新的数据和任务时进行自适应，而不需要重新编程。这使得连接主义在面对复杂、不断变化的环境时更为灵活。
泛化能力： 连接主义模型在训练过程中具有一定的泛化能力，能够推广到未见过的数据。这使得它在处理具有一定变化和噪声的任务时表现较好。
并行处理： 神经网络的并行性质使得连接主义系统能够同时处理多个输入和执行多个任务。这有助于提高系统的效率和速度。
非线性映射： 连接主义引入了非线性映射，使得模型可以学习和表示更加复杂的关系和模式。这对于处理高度非线性的任务非常重要。
自组织性： 连接主义系统具有一定的自组织性，能够自动调整神经网络的结构和权重，以适应输入数据的分布和特征。
适用于大规模数据： 连接主义在大规模数据下表现出色。随着深度学习的发展，连接主义模型在处理大量数据时取得了很大的成功，尤其在图像识别、语音识别等领域。
多层次抽象： 深度学习中的连接主义模型采用多层次的抽象表示，使得系统能够逐层提取和学习数据的特征，实现更高级别的认知。
这些优点使得连接主义在许多领域取得了显著的成果，特别是在计算机视觉、自然语言处理、语音识别等任务中。
伴随这些优点的，是它的缺点：
黑盒性，可解释性差： 大多数连接主义模型被认为是黑盒模型，即其决策过程难以解释和理解。模型的内部结构和学到的表示通常是复杂的，这使得难以解释模型的工作原理，限制了对决策的透明性。在一些应用场景，特别是需要对决策做出解释或需要遵循法规的领域，模型的可解释性成为一个重要问题。
数据需求： 连接主义模型通常需要大量的数据来进行训练，特别是深度学习模型。在某些领域，获取大规模标记数据可能是昂贵或困难的，这限制了连接主义在某些任务上的应用。
计算资源需求： 深度学习模型通常需要大量的计算资源进行训练，包括高性能的图形处理单元或专用的硬件。这增加了训练和部署这些模型的成本。
样本依赖： 连接主义模型对训练数据的分布和特征的依赖性较强，对于未见过的数据或领域的泛化能力可能受到限制，尤其是在数据分布发生变化时。
过拟合： 在数据噪声较大或数据集较小的情况下，连接主义模型容易过拟合，即在训练数据上表现良好但在新数据上表现较差。
缺乏常识推理： 连接主义模型通常缺乏对常识推理的能力，对于需要理解复杂上下文、推理能力较强的任务可能表现不佳。而这正是符号主义所擅长的。
概念漂移： 当输入数据的分布发生变化时，连接主义模型可能会遭遇概念漂移的问题，导致模型性能下降。
对于这些缺点，以下是我个人的一些见解。
首先，现代神经生理学虽然在人和动物的神经系统研究方面有很多重大发现，但是目前并没有一个理论全面完整地解释生物神经系统的工作原理。反而是连接主义在不断地尝试并发现其中的奥秘，但还没有达到完全理解的程度。这或许就是黑盒性和可解释性差的根本原因。
此外，神经生理学还没有完全揭示、发现生物神经系统的各种工作机制，这可能是其他一些缺陷的原因，比如过度拟合，样本依赖，概念漂移等。
第三，当前通过CPU和GPU进行神经网络模拟的方法，显然和生物神经系统的真实工作方式背道而驰。在人们找到合适的实现方式前，，计算资源的需求可能永远是个问题。体外化，很多人觉得忆阻器元器件或许是一个不错的突破方向。
尽管有各种缺点，连接主义是当前人工智能领域的热门研究方向，借助于摩尔定律，和计算机硬件厂商的努力，尤其是图像硬件厂商，连接主义在深度学习和强化学习方面获得了长足的进步，这些成果展现出惊人的智能。我们一起来回顾一下这些成果.
深度学习： 连接主义在深度学习领域取得了巨大成功。深度学习是指使用深度神经网络进行学习和推断的方法。这种方法允许模型从大规模数据中学习复杂的特征表示，广泛应用于图像识别、语音识别、自然语言处理等任务。深度学习的兴起标志着连接主义在模式识别和感知任务中的重大突破。
卷积神经网络（CNN）： CNN是一种专门用于处理网格化数据（如图像）的深度学习架构。它通过在输入数据上使用共享权重的卷积核来提取空间层次的特征，被广泛应用于图像识别领域，例如在AlphaGo中的应用。
循环神经网络（RNN）： RNN是一种适用于序列数据的深度学习架构，具有记忆单元，可以处理不定长的序列输入。这在自然语言处理、语音识别等领域中发挥了关键作用，使模型能够考虑上下文信息。
生成对抗网络（GAN）： GAN是一种深度学习框架，由生成器和判别器组成，它们相互博弈以生成逼真的数据。GAN在图像生成、风格转换等任务中取得了很大成功。
迁移学习： 迁移学习是连接主义在处理数据不足或不平衡问题时的一项重要技术。通过将在一个任务上学到的知识迁移到另一个相关任务上，模型可以更有效地利用有限的标注数据。
强化学习： 连接主义在强化学习领域也有显著贡献。深度强化学习方法，如Deep Q Network（DQN）和深度确定性策略梯度（DDPG），在游戏领域和机器人控制中取得了卓越的表现。
自监督学习： 自监督学习是一种无监督学习的形式，其中模型通过自动生成标签进行训练。连接主义方法在自监督学习中取得了一些突破，特别是在语音识别和图像表示学习中。
这些成果证明了连接主义在各种应用领域中的成功，推动了人工智能技术的不断发展。连接主义的方法在处理大规模和复杂数据、解决感知任务和决策问题方面展现出强大的潜力。
利用上面的研究成果，我们在自然语言理解，语音识别，视觉识别的人工智能领域进入了产业化阶段，并随着各种消费产品，进入每个人的生活中，正在深刻的改变这我们的世界。
连接主义今天依旧是一个非常活跃的研究领域，有很多未知和可能性，等待人们的发掘。同时，它也正在进行如火如荼的产业化，它的更新速度是按月和周进行的。我们会在以后的视频里向大家介绍一些最新的进展。
行为主义
又称作进化主义或控制论学派。最早源自二十世纪中期的心理学，强调观察和测量可见的行为，强调行为目标导向，关注反馈机制，能够从环境中学习并适应。
以下是人工智能行为主义的主要特点：
关注外部行为： 行为主义关注观察和测量可以直接观察到的行为，而不关注内部心理过程。在人工智能行为主义中，重点放在模拟和预测智能系统的外部行为上。
通过反馈学习：行为主义者认为学习是通过环境反馈和奖励形成的。人工智能系统通过观察或接受外部环境的反馈来调整其行为，以实现更好的性能。
强调可观察性： 行为主义拒绝研究不可观察的心理状态，而是将注意力集中在观察和记录可测量的行为上。在人工智能行为主义中，强调通过观察系统的输出和响应来推断其智能表现。
建立模型进行预测： 人工智能行为主义者使用建模技术来描述系统是如何对输入做出响应的。这些模型通常基于输入和输出之间的关系，而不涉及内部过程。
强调环境适应： 行为主义认为，个体通过与环境的交互来适应和学习。在人工智能行为主义中，系统被设计为对环境变化做出适应性响应，以实现更好的性能和效果。
应用于问题解决： 人工智能行为主义者将这一理论应用于问题解决，尤其是那些可以通过观察和测量行为来评估性能的领域。
行为主义的代表人物有以下这些：
诺伯特·维纳（Norbert Wiener，1896-1964）：他的《控制论》（“Cybernetics”）一书，创了一个全新的学科“控制科学”（Control Science），也开创了人工智能中的行为主义学派。
B.F. 斯金纳（B.F. Skinner）： 斯金纳是行为主义领域的重要人物，他的研究主要集中在动物行为学和操作条件反射。他提出了操作条件反射的理论，强调环境对行为的塑造作用。
人工智能行为主义的主要优点包括：
实用性： 行为主义注重实际行为和结果，更加关注可观察到的现象。这种实用性使得行为主义方法在解决实际问题和设计应用系统时具有一定的优势，因为它们强调通过观察和测量来获取可操作的结果。
简单性： 行为主义方法通常较为简单，容易理解和实施。它们倾向于避免过多的理论复杂性，更注重直接的因果关系，这使得行为主义在一些应用场景中更易于处理。
奖励和惩罚： 行为主义强调奖励和惩罚对于学习和行为形成的影响。这种强调使得在智能系统中引入奖励机制和反馈变得更加直观和可操作，有助于设计具有学习能力的系统。
适用于特定任务： 行为主义方法在特定任务的解决上可能表现出色，尤其是在需要通过试错和经验积累来达到目标的情境下。
可量化的结果： 由于行为主义强调可观察的行为和结果，因此可以更容易地对系统的性能和学习效果进行量化评估。这有助于在实践中更好地掌握系统的性能。
人工智能行为主义的主要缺点包括：
忽略内部过程： 行为主义主张关注可观察的行为，而忽略了个体内部的认知和思维过程。这导致了对于智能行为背后的真正理解的不足，因为行为主义未深入研究思维、感知和内在的心理过程。
无法解释复杂行为： 行为主义在解释复杂的认知和学习过程方面存在局限。对于复杂智能行为的解释需要考虑到更多的认知因素，而行为主义难以提供对这些因素的深入解释。
不适用于创造性和抽象思维： 行为主义主要关注学习和行为的直接关系，对于创造性和抽象思维等复杂认知活动的解释能力较弱。
对环境依赖： 行为主义的方法通常较为依赖于环境的刺激和反馈，而在某些情况下，个体可能需要在缺乏直接反馈的情况下进行学习和决策。
过于简化： 行为主义对于认知活动的简化处理可能过于极端，忽视了大脑内部处理信息的复杂性，导致了对智能行为本质的过度简化。
无法解释语言和符号处理： 行为主义难以解释语言和符号处理的机制，而这些对于人工智能中的自然语言处理和符号处理至关重要。
总体而言，尽管人工智能行为主义在某些应用上表现良好，但在解释和模拟智能行为的全面性上存在一些明显的限制。
行为主义对人工智能领域的主要贡献有：
机器学习基础： 行为主义奠定了机器学习的基础。通过关注行为与环境之间的关系，行为主义理论对于机器学习算法中的学习理论提供了重要的启示。机器学习的一些基本概念如监督学习、无监督学习、强化学习等都可以追溯到行为主义的学习理论。
模型化行为： 行为主义的方法鼓励对行为进行建模。在人工智能中，模型化行为是一个重要的步骤，尤其是在开发智能代理程序时。行为主义的思想有助于设计能够适应和预测环境的智能系统。
强调环境与行为关系： 行为主义强调环境对行为的影响，这一观点在人工智能中仍然具有重要性。智能系统需要对环境进行感知，并根据环境的变化调整其行为，这与行为主义的关注点相吻合。
强化学习的基础： 强化学习是人工智能中的一个重要领域，而行为主义的强调奖励和惩罚对于强化学习的理论构建起到了积极的作用。强化学习模型的基本概念和算法部分地受到了行为主义学派的影响。
实践中的成功： 行为主义在实践中取得了成功，尤其是在一些具体的应用领域，如机器人学、自动驾驶等。通过建模和引导机器行为，行为主义的思想为这些应用提供了实用的方法。
尽管行为主义在认知科学中的地位有所下降，但其在人工智能领域的一些基本理念和方法仍然对研究和应用产生着影响。
行为主义中的控制论对当代机器人发展有举足轻重的作用。而其进化主义观点，又发展出很多非常实用的算法，比如，遗传算法，进化策略和规划，蚁群算法等待。
历史变迁
介绍完这三个流派，我们来看一下他们各自的历史渊源，发展历程和彼此的影响。这三个流派在达特茅斯会议开始之前，就已经萌芽，有一段孕育期，并对整个人工智能的发展，定向了各自的基调，产生各自的影响。
符号主义源远流长，最早可以追溯到古希腊的古典逻辑，在现代直接源于数理逻辑。连接主义发端于当代生理神经科学。控制论是行为主义的直接灵感源泉。
达特茅斯会议之后，符号派获得了长足的发展，风头完全盖过了连接主义和行为主义。我在《人工智能的历史》系列视频中讲过，这里边最要的原因是硬件和计算能力。在计算机发展的早期阶段，冯诺依曼体系的计算力是一种稀缺资源，这导致了研究人员无法在连接主义，也包括行为主义领域去构建更复杂的网络或控制结构，无法论证和发展这些理论。
符号主义在发展到顶峰后，实现了各种专家系统后，人们逐渐意识到它的缺陷，这些缺陷是底层理论性质的，从某种意义上说，符号主义已经走到了头，剩下得只是修修补补。在这段时间里，摩尔定律让计算力得到了指数级别得增长，连接主义和行为主义得研究工作又逐渐恢复，最终在2010年左右进入爆发期。
从达特茅斯会议到深度学习的大爆发，期间相隔60年左右，符号主义和连接主义的此起彼伏贯穿始终。作为吃瓜群众中的一员，我曾经把它们比作物理学中光子的粒子和波动学说的关系。实际上，一些人工智能的大拿，同时在两个领域都有杰出的贡献。最典型的就是马文·闵斯基（Marvin Minsky），他是符号主义的杰出贡献者，同时也是连接主义的奠基者。也是他，在《感知器》一书中，指出了感知器的缺点，直接导致了连接主义在1969年后的研究停顿，和符号主义的兴起和爆发。
未来：三派融合
上面介绍了这三个主要人工智能流派，为了帮助你记忆，我这里给出一些形象的比喻，和它们最直观的区别。
符号主义在模拟人的心智（Mind），是人类智能中的逻辑推理、演绎等抽象思维，它有坚实的数学基础，其过程和结果是完全可以解释的。
连接主义在模拟人的大脑（Brain），生物神经系统，擅长对物理世界的感知、识别并进行提取和抽象。这些物理世界的感知目前集中在视觉和听觉，但应用上可以包括各种感官。目前还没有一个理论来完美的解释整个神经系统的工作机制，它虽然很好用，但是没有人能够解释和准确预测其结果。
行为主义在模拟人的行为（Behavior），强调了感知、反馈和控制，强调从环境中学习并应对，更侧重于应用和身体模拟。行为主义更像是一个应用框架和一系列算法，而不是一个单独的理论。
这三个流派的局限如此显而易见，聪明如你，一定会得出一个结论，一个通用的人工智能，必须拥有这三者。这也是当下热门的人工智能研究领域。融合这三大流派，甚至所有可能的学术成就，可以让整个人类在人工智能的理论发展和实际应用上取得更多的进步。最后，祝我们在有生之年，一起目睹通用人工智能的诞生。
