深度学习:智能时代的核心驱动力量

深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), 特伦斯·谢诺夫斯基

人工智能近期取得的进展得益于大脑逆向工程。分层神经网络模型的学习算法受到了神经元之间交流方式的启发,并依据经验进行了改进。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 122-123. Kindle Edition

数据是新时代的石油,那么学习算法就是从中提取信息的炼油厂;信息积累成知识;知识深化成理解;理解演变为智慧。欢迎
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 187-188. Kindle Edition

数据是新时代的石油,那么学习算法就是从中提取信息的炼油厂;信息积累成知识;知识深化成理解;理解演变为智慧。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 187-188. Kindle Edition

卡车大概会在10年内率先实现自动驾驶,出租车要花上15年,而15到25年后,客运无人车将全面走入人们的生活。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 227-229. Kindle Edition

自动驾驶汽车的不同之处就在于,当一辆汽车遇到罕见事件时,相应的学习体验会被传递给所有其他自动驾驶汽车,这是一种集体智能。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 234-235. Kindle Edition

发挥,“食物上这只苍蝇的大脑只有10万个神经元;它大概重1毫克,要消耗1毫瓦的能量,”我边说边
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 771-772. Kindle Edition

发挥,“食物上这只苍蝇的大脑只有10万个神经元;它大概重1毫克,要消耗1毫瓦的能量,”我边说边驱赶苍蝇,“苍蝇能看,能飞,可以自己确定飞行方向,还能觅食。但最不可思议的是,它可以通过繁殖来进行自我复制。MIT拥有一台价值1亿美元的超级计算机:它消耗的能量是兆瓦级的,并需要一台巨型空调进行冷却。但是,超级计算机的最大成本是要消耗大量人力,也就是说程序员要满足它对程序的巨大需求。这台超级计算机不能看,不能飞,虽然它能与其他计算机交流,但它不能交配或自我复制。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 771-776. Kindle Edition

食物上这只苍蝇的大脑只有10万个神经元;它大概重1毫克,要消耗1毫瓦的能量,”我边说边驱赶苍蝇,“苍蝇能看,能飞,可以自己确定飞行方向,还能觅食。但最不可思议的是,它可以通过繁殖来进行自我复制。MIT拥有一台价值1亿美元的超级计算机:它消耗的能量是兆瓦级的,并需要一台巨型空调进行冷却。但是,超级计算机的最大成本是要消耗大量人力,也就是说程序员要满足它对程序的巨大需求。这台超级计算机不能看,不能飞,虽然它能与其他计算机交流,但它不能交配或自我复制。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 771-776. Kindle Edition

大概重1毫克,要消耗1毫瓦的能量,”我边说边驱赶苍蝇,“苍蝇能看,能飞,可以自己确定飞行方向,还能觅食。但最不可思议的是,它可以通过繁殖来进行自我复制。MIT拥有一台价值1亿美元的超级计算机:它消耗的能量是兆瓦级的,并需要一台巨型空调进行冷却。但是,超级计算机的最大成本是要消耗大量人力,也就是说程序员要满足它对程序的巨大需求。这台超级计算机不能看,不能飞,虽然它能与其他计算机交流,但它不能交配或自我复制。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 772-776. Kindle Edition

我们的大脑充满了数百亿个小小的神经元,每时每刻都在互相传递信息。这表明,要解决人工智能中的难题,我们应该研究具有大规模并行体系结构的计算机,而不是那些具有冯·诺依曼数字体系结构,每次只能获取和执行一个数据或指令的计算机。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 869-872. Kindle Edition

杰弗里坚信,将由简单处理单元构成的网络、并行工作和从样本中学习相结合,是理解认知的更好的方式。当时PDP实验室正在探索如何以分布在网络中的大量节点活动的形式来理解文字和语言,而杰弗里是其中的核心人物。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 1068-1070. Kindle Edition

追求一种自下而上的策略,从视网膜开始入手(在那里光被转换成电信号),并探求视网膜中的信号如何编码对象的特征,以及视觉皮层如何表示物体的表面和边界。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 1114-1116. Kindle Edition

在普林斯顿大学物理系攻读研究生时,我曾通过写下非线性神经元交互网络的方程式并分析它们来解决如何理解大脑的问题,[11]就像物理学家几个世纪以来使用数学来理解重力、光、电、磁和核能的本质一样。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 1144-1146. Kindle Edition

特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 1163. Kindle Edition

Te-Won Lee和Tzyy-Ping Jung曾经是我实验室的博士后研究员,他们后来创立了一家名为“SoftMax”的公司,在带有两个麦克风的蓝牙耳机中应用ICA来消除背景噪声。这样的设计能够让戴耳机的人在嘈杂的餐厅或体育赛事中听到别人说话。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 1692-1694. Kindle Edition

特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2128. Kindle Edition

HNC Software有限公司使用神经网络学习算法,以远高于人类的准确度检测信用卡欺诈行为,每年为信用卡公司节省了数十亿美元。2002年,HNC被美国个人消费信用评估公司(Fair Isaac and Company,FICO)以 10亿美元的价格收购,后者以发布信用评分而闻名。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2238-2240. Kindle Edition

目前的深层网络模型有数百万个单元和数十亿的权重。统计学家在传统上只用少量参数分析简单模型,这样就可以用较小的数据集来证明定理。而拥有数十亿个维度的空间对他们来说简直就是一场噩梦。他们向我们保证,有这么多的参数,对数据的过度拟合绝对是不可避免的:我们的网络只会简单地记住训练数据,但无法泛化以适应新的测试输入。但是,使用正则化(regularization)手段,比如在已有权重对学习没有任何贡献时,可以通过强迫它们进行衰减来缓解过度拟合的现象。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2260-2264. Kindle Edition

人工智能是未来,不仅对俄罗斯来说是这样,对全人类也是一样。它带来了巨大的机会,但也会带来难以预测的威胁。无论谁成为这个领域的领导者,都将统治全世界。[31]
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2363-2365. Kindle Edition

都有一个很好的解释,并且有强烈的动机来得到这种解释。第一台蒸汽发动机是由工程师根据他们的直觉建造的;解释发动机如何工作的热力学理论随后出现,并且帮助提升了发动机的效率。物理学家和数学家对深度学习网络的分析也正在顺利进行着。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2570-2573. Kindle Edition

关于技术的一个奇妙之处在于,技术背后通常都有一个很好的解释,并且有强烈的动机来得到这种解释。第一台蒸汽发动机是由工程师根据他们的直觉建造的;解释发动机如何工作的热力学理论随后出现,并且帮助提升了发动机的效率。物理学家和数学家对深度学习网络的分析也正在顺利进行着。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2570-2573. Kindle Edition

长短期记忆和深度学习的结合在许多依赖输入输出序列的领域都取得了令人瞩目的成功,例如电影、音乐、动作和语言。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2591-2592. Kindle Edition

人工智能中的大多数算法缩放性很差,从未跳出解决玩具级别问题的范畴。我们现在知道,神经网络学习的缩放性很好,随着网络规模和层数的不断增加,其性能也在不断增强。特别是反向传播技术,它的缩放性非常好。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2652-2654. Kindle Edition

特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2800. Kindle Edition

10-3 2006年在加拿大埃德蒙顿阿尔伯塔大学的理查德·萨顿。他教会了我们获取未来奖励的学习方法。理查德是一位癌症幸存者,他在强化学习方面一直是领军人物,并在持续不断地开发创新型的算法。他总是很慷慨地和别人交流,分享自己的见解,同领域的每个人对此都非常赞赏。他和安德鲁·巴托合著的书《强化学习导论》(Reinforcement Learning: An Introduction)是该领域的经典著作之一。此书的第二版在互联网上可以免费获取。图片来源:理查德·萨顿。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2800-2804. Kindle Edition

TD-Gammon的核心是时间差分学习算法,它受到了动物学习实验的启发。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 2858-2858. Kindle Edition

在成为加州大学圣迭戈分校神经计算研究所的一名教师后,玛丽安接着又开发了计算机表情识别工具箱(Computer Expression Recognition Toolbox,以下简称CERT)。[
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3387-3388. Kindle Edition

Emotient于2016年1月被苹果公司收购,玛丽安和哈维尔现在均在苹果公司任职。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3396-3397. Kindle Edition

芭芭拉受到了学生们的热烈欢迎,很明显她是一位颇有天赋的老师。她的方法和实用性见解源于我们对大脑的了解,所以我们联手为Coursera开发了一门慕课,名为“学会如何学习:帮助你掌握复杂学科的强大智力工具”(见图12–8;https://www.coursera.org/learn/learning-how-to-learn/),于2014年8月推出。它目前是世界上最受欢迎的慕课,在头四年里注册的学习者超过
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3471-3474. Kindle Edition

芭芭拉受到了学生们的热烈欢迎,很明显她是一位颇有天赋的老师。她的方法和实用性见解源于我们对大脑的了解,所以我们联手为Coursera开发了一门慕课,名为“学会如何学习:帮助你掌握复杂学科的强大智力工具”(见图12–8;https://www.coursera.org/learn/learning-how-to-learn/),于2014年8月推出。它目前是世界上最受欢迎的慕课,在头四年里注册的学习者超过300万,并且每天还会吸引1000个来自200多个国家的新学员。“学会如何学习”根据我们对大脑学习方式的了解,为你提供了成为更好学习者所需的工具。我们学习者的反馈非常积极,于是我们又开发了第二个名为“思维转换”(Mindshift)的慕课,以帮助那些想要转业或改变生活方式的人。这两门慕课课程的资料都可以在网络上免费获取。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3471-3478. Kindle Edition

亨利·庞加莱(Henri Poincaré)是19世纪一位杰出的数学家,他曾经描述自己如何最终解决了一个数学难题。当时他已经紧张地工作了好几个星期,但仍然一无所获。于是他度假去了。当他在法国南部踏上一辆公共汽车时,问题的解决方案突然就出现在了他的脑海中,他的大脑中有一部分区域在他享受假期的时候仍然在处理这个问题。他知道自己找到了证明问题的正确方法,并在返回巴黎时完成了它。他之前对这个问题的深入研究已经使他的大脑做好了充分的准备,这样他的潜意识就可以在他放松的时候继续处理这个问题。这两个阶段对创造力而言同等重要。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3483-3489. Kindle Edition

令人惊讶的是,即使在睡觉的时候,你的大脑也会在你毫不知情的情况下解决问题。但是,只有在你入睡之前仍专注于解决问题的前提下,大脑才能做到这一点。于是你早上醒来的时候,一种新的见解就会从脑海中跳出来,帮助你解决问题(尽管这种情况不会经常发生)。在休假或入睡前的高强度思考,对激活你的大脑非常重要;否则,它就有可能去处理其他问题了。这种方式并不限于数学或科学问题,如果你最近在思考一个社交问题,你的大脑就会像解决数学和科学问题一样努力解决它。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3489-3493. Kindle Edition

这些赞助公司派遣招聘人员参加NIPS大会,渴望聘用市场上缺乏的优秀研究人员。我的许多同事已经加入了谷歌、微软、亚马逊、苹果、Facebook、百度和其他许多初创公司。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3569-3570. Kindle Edition

2013年,谷歌收购了杰弗里·辛顿的公司DNNresearch,当时这家公司由他和他在多伦多大学的两名研究生在运营着。杰弗里·辛顿于是成了谷歌的员工。他现在可以获得比他曾在多伦多憧憬过的更庞大的计算能力,但更重要的是谷歌所拥有的海量数据。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3572-3575. Kindle Edition

美国在人工智能方面正在失去领先地位,在你阅读这本书的时候,其他国家可能已经超越了我们。多伦多矢量研究所(The Vector Institute in Toronto)于 2017年3月启动,加拿大政府和安大略省政府,多伦多大学以及私营企业对其提供了1.75亿加元的资金支持。[43]矢量研究所的目标是成为世界领先的人工智能研究中心,培养最多的机器学习领域的博士和硕士毕业生,并成为推动多伦多市,安大略省乃至整个加拿大经济发展的AI超级集群的引擎。但加拿大将面临来自中国的激烈竞争,中国正在培训数千名机器学习领域的工程师,神经形态计算是其“大脑项目”的两翼之一。受2017年AlphaGo击败柯洁事件的影响——类似1957年苏联制造的人造卫星对美国的影响,中国已经启动了一项新的价值数十亿美元的人工智能计划,包括雄心勃勃的项目、初创企业和学术研究,目的是到2030年在世界范围内占据重要地位。[44]由于其拥有大量的医疗和个人数据,而且普通民众对隐私的关注相比西方民主国家要少得多,中国可以超越其他那些将私人数据保留在私有孤岛中的国家。中国还将农业和制造业作为数据收集的对象。谁拥有最多的数据,谁就是赢家,中国在数据上的资本实力相当雄厚。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3583-3593. Kindle Edition

深度学习网络拥有数百万个单元和数十亿个权重。这比人类大脑皮层中的神经元和突触的数量还要少1万倍——人类1立方毫米的皮层组织就包含了10亿个突触。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3610-3611. Kindle Edition

如果世界上的所有传感器都连接到互联网,并通过深度学习网络相互连接,那么有一天,互联网可能会醒来并主动说出: “Hello,world!”(你好,世界!)[49]
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3611-3613. Kindle Edition

W. 布赖恩·阿瑟(W. Brian Arthur)是一个对技术很感兴趣的经济学家,[2]他指出,在过去,技术是由物理定律驱动的:20世纪,我们试图用微分方程和连续变量的数学原理去理解物理世界,这些变量在时间和空间上平滑地变化。相比之下,今天的技术是由算法驱动的:在21世纪,我们试图通过离散数学和算法来理解计算机科学和生物学复杂的本质。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3751-3754. Kindle Edition

20世纪,我们试图用微分方程和连续变量的数学原理去理解
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3752-3753. Kindle Edition

冯·诺依曼认为,冗余(redundancy)可能是大脑能够稳定运转的原因,因为每一个操作都有许多神经元参与。冗余在传统上是基于备份的,以防主系统出现故障。但我们现在知道,大脑的冗余是基于多样性,而不是重复。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3829-3831. Kindle Edition

人类大脑中有大约1000亿个神经元,每个神经元都与其他数千个神经元相连接,总计达1000万亿个(1015)突触连接。大脑运转所需的功耗大约是20瓦,占整个身体运转所需功率的20%,尽管大脑仅占身体质量的3%。相比之下,一台远不如大脑强大的千万亿次级超级计算机,功耗却为5兆瓦,是大脑功耗的25万倍。大自然是怎么创造出这一高效奇迹的呢?首先,神经元接收和发送信号的部分被微缩至分子水平。另外,神经元是在三维空间上连接的(微芯片表面的晶体管仅在二维平面上相互连接),这样就可以使所需空间最小化。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 3953-3958. Kindle Edition

正如混合动力汽车将电动机的效率与汽油发动机的续航结合起来一样,混合数字和神经形态设计正在兴起,能够将神经形态芯片的计算低功耗与通信数字芯片的高带宽相结合。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 4109-4111. Kindle Edition

深空探测器被发送到太阳系的远端,但返回的信号微弱且嘈杂。移位寄存器序列和纠错码大大改善了与空间探测器通信的效果,相同的数学原理更是为现代数字通信奠定了基础。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 4185-4187. Kindle Edition

BRAIN计划”正在将工程师、数学家和物理学家引入神经科学领域,以改进探测大脑的工具。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 4241-4241. Kindle Edition

特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 4243. Kindle Edition

神经网络中的软件和硬件之间也没有区别。学习是通过修改硬件来进行的。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 4275-4276. Kindle Edition

由基础科学研究发展出来的科技,通常需要50年才能实现商业化。20世纪初,由相对论和量子理论带来的重大发现,到20世纪的后半期才推动了CD播放器、GPS以及电子计算机的诞生。20世纪50年代发现的DNA以及基因序列影响了当今医药和综合农业领域的应用,这些应用到今天仍在影响经济的发展。“
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 4317-4319. Kindle Edition

由基础科学研究发展出来的科技,通常需要50年才能实现商业化。20世纪初,由相对论和量子理论带来的重大发现,到20世纪的后半期才推动了CD播放器、GPS以及电子计算机的诞生。20世纪50年代发现的DNA以及基因序列影响了当今医药和综合农业领域的应用,这些应用到今天仍在影响经济的发展。“BRAIN计划”以及世界上其他大脑研究项目带来的发现,会启发50年后的应用,这些应用现在看上去还如科幻小说一般遥不可及。[13]我们可以期待,到2050年,人工智能会拥有能和我们大脑相媲美的操作系统。哪些公司、哪些国家会掌握这种科技,取决于它们现在所做的投资和所下的赌注。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 4317-4322. Kindle Edition

深度学习可以从非常大的数据集中提取特征,而不是让领域专家为每个应用程序手动创建这些特征。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 4759-4760. Kindle Edition

纽约大学的哲学家托马斯·内格尔(Thomas Nagel)在1974年写了一篇题为 《成为一只蝙蝠是什么感觉?》(What Is It Like to Be a Bat?)的文章,并得出结论,如果没有回声定位的直接经验,我们就无法想象蝙蝠世界是什么样的。[9]但缺乏这种经验并没有妨碍我们发明雷达和声呐技术(这些技术使我们能够积极探索看不到的世界),也不会阻止盲人通过适应声音的反射来摸索周边的环境。我们也许不知道成为一只蝙蝠是什么感觉,但我们可以发展类蝙蝠的智能,协助自动驾驶汽车使用雷达和激光雷达行进。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 4916-4921. Kindle Edition

深度学习取决于对一个成本函数的优化。自然界的成本函数是什么呢?进化成本的倒数被称为适应度,但这是一个概念,只在具体的约束条件下才有意义,无论约束条件是来自环境,还是来自要被优化的系统。
特伦斯·谢诺夫斯基, 深度学习:智能时代的核心驱动力量(人工智能大牛作者,文科生都能读懂的人工智能), loc. 4966-4968. Kindle Edition