70年来，人们在AI领域“一直连续犯着同样的错误”
70年来， 人们在AI领域“一直连续犯着同样的错误”。
这是“强化学习之父”理查德·萨顿（Richard S. Sutton）为同行后辈们敲响的警钟。
他在博客上发表最新文章《苦涩的教训》(The Bitter Lesson)，总结了AI发展史上的怪圈：
人类不断试图把自己的知识和思维方式植入到AI之中，比如用人类的思路教AI下棋、将让AI按照人类总结的思路来识别图像等等。这些做法，能带来暂时的性能提升，长期来看却会阻碍研究的持续进步。
真正的突破，总是来自完全相反的方向。摒弃人类在特定领域的知识、利用大规模算力的方法，总会获得最终胜利。
靠自我对弈磨炼围棋技艺的AlphaGo，基于统计方法、深度学习来识别语音、图像的算法，一次次击败先前那些浓缩了人类知识的AI，甚至人类自己。
搜索、学习，充分利用大规模算力才是王道。用人类在特定领域的知识来提升AI智能体的能力，都是在走弯路。
萨顿说：“将AI建立在我们对自身思维方式的认知上，是行不通的。”
OpenAI首席科学家Ilya Sutskever精辟地总结了萨顿的核心观点：算力常胜。
文章一发出，就引发了热烈的讨论，OpenAI CTO Greg Brockman、特斯拉AI总监Andrej Karpathy等人都在转发附议。
DeepMind机器学习团队主管&牛津大学教授Nando de Freitas甚至称之为“周末必读”。
然而，也有反对的声音。
牛津大学计算机系教授希蒙·怀特森（Shimon Whiteson）连发13条Twitter反驳萨顿的观点，表示“坚决不同意”，同样获得了大量支持。
怀特森认为，构建AI当然需要融入人类知识，问题只在于该何时、如何、融入哪些知识。
AI的历史进程是一场融入人类知识的胜利。科学家们广泛尝试，抛弃失败的99%，留下有用的1%。而这1%，对现代人工智能算法成功的重要性不亚于萨顿推崇的大量计算资源。
一场隔空论战，就这样展开了。
我们先读完“本周末必读”的萨顿博文，看看正方的观点。
苦涩的教训
回溯70年的AI研究，从中得出的最大经验是，利用计算力的通用方法最终总是最有效的，而且遥遥领先。
出现这种情况的终极原因是摩尔定律，或者宽泛一点来说，是单位算力成本的持续指数级下降。
大多数AI研究都以智能体可用算力恒定为前提进行，在这种情况下，利用人类知识可能是提升性能的唯一方法。但是，将目光投向比一个典型研究项目更长远的时间段，就会发现必然有更多可用的算力出现。
为了寻求短期可见的提升，研究人员会利用该领域的人类知识，但从长远来看，利用算力才是唯一重要的事。
虽然但这两者看似没有必要相互对立，但实际上它们往往是对立的。
在一个方向上花费的时间，就必然不能花在另一个方向。对于某一种方法的投入也会带来心理上的承诺。
同时，用人类知识来提升AI会倾向于使方法复杂化，让运用算力的通用计算方法变得不太适用。
很多AI研究人员后知后觉地领悟了这种“苦涩的教训”。回顾其中最重要的一些颇有启发。
在国际象棋领域，1997年击败国际象棋冠军卡斯帕罗夫的深蓝，就是基于大规模深度搜索。
当时，大多数计算机国际象棋研究者都以沮丧的眼光看待它，他们追求用人类对国际象棋特殊结构的理解制胜。
当一种更简单的、有特殊硬件和软件加持的基于搜索的方法被证明更有效，这些基于人类知识下国际象棋的研究者输得一点都“不体面”。他们说，这种“用蛮力”的搜索可能这次能赢，但这终究不是通用策略，无论如何这也不是人类下棋的方式。
他们希望基于人类输入的方法获胜，却事与愿违，只剩失望。
计算机围棋领域，研究进展也遵循着同样的模式，只是比国际象棋迟了20年。这一领域最初的众多努力，都是利用人类知识或游戏的特殊特性避免搜索，然而，搜索一被大规模高效应用，这些努力都变得无关紧要，甚至更糟。
利用自我对弈来学习一种价值函数同样重要（在许多其他游戏、甚至在国际象棋中也一样，虽然在1997年的深蓝项目中没有发挥很大作用）。通过自我对弈来学习，以及学习本身，其实都和搜索一样，让大规模计算有了用武之地。
搜索和学习是AI研究中应用大规模计算力的两类最重要技术。
在计算机围棋和国际象棋项目中，研究人员最初努力的方向是如何去利用人类的理解（这样就不需要太多的搜索），很久以后，才通过拥抱搜索和学习取得了更大的成功。
在语音识别领域，很早之前曾有一场竞赛，1970年由DARPA主办。
在这场比赛中，一部分参赛者运用那些需要人类知识（单词知识、音素知识、人类声道知识等等）的特殊方法。也有一部分人基于隐马尔可夫模型(HMMs)完成比赛。这种新方法本质上更具统计性质，也需要更大的计算量。
不出所料，最终统计方法战胜了基于人类知识的方法。
这场比赛为所有自然语言处理任务都带来了巨大的改变，在过去的几十年里，统计和算力逐渐占据主导地位。
语音识别中兴起没多久的深度学习，也是朝着这一方向迈出的最新一步。深度学习方法对人类知识的依赖甚至更少，用到了更多的算力。通过在大型训练集上的学习，能得到更好的语音识别系统。
就像在棋类游戏中一样，研究人员总是试图让系统按照他们心目中的人类的思维方式工作，试图把这些知识放进计算机的系统里。但最终，当摩尔定律带来大规模算力，其他人也找到了一种充分利用它的方法时，会发现原来的做法适得其反，是对研究人员时间的巨大浪费。
在计算机视觉领域，也有类似的模式。早期的方法，将视觉设想为搜索边缘、广义圆柱体，或者SIFT算法捕捉的特征。但现在，所有这些方法都被抛弃了。现代的深度学习神经网络，只使用卷积和某些不变性的概念，而效果要好得多。
这些教训告诉我们，（AI）这个领域，我们仍然没有完全了解，我们连续犯着同样的错误。
为了认清状况，有效防止犯错，我们必须理解这些错误有什么吸引力。
我们必须从这”苦涩的教训”中学习：长远来看，将AI建立在我们对自身思维方式的认知上是行不通的。
而突破性进展最终会来自完全相反的方法：基于搜索和学习进行规模计算。
最终的成功总是带来些许怨恨，通常也不被完全理解，因为它超越了当前受欢迎的、以人为中心的方法。
从历史的教训中，我们能学到两点。
第一，通用型方法有强大的力量。即使可用的算力变得非常大，这些方法仍然可以继续扩展，运用增加的算力。似乎可以按照这种方式任意扩展的方法有两种：搜索和学习。
第二，思维的实际内容复杂到非常可怕无可救药。我们不该再试图寻找简单的方法来思考其内容，比如，用简单的方式去思考空间、物体、多智能体或者对称性。
所有这些，都是随意、本质上非常复杂的外部世界的一部分。它们不应该内置在任何一个AI智能体中，因为它们复杂得没有尽头。相反，我们应该只构建能发现和捕获这种任意复杂性的元方法，
这种方法的本质是能够很好地找到近似值。不过，寻找的工作应该交给我们的方法，而不是我们自己。
我们需要的是能像我们一样进行发现的AI智能体，而不是包含我们已经发现的东西在内的AI。
在我们发现的基础上建立AI，只会让它更难看到发现的过程是如何进行的。
原文链接：
http://www.incompleteideas.net/IncIdeas/BitterLesson.html
“甜蜜的一课”
坚决不同意萨顿观点的怀特森老师认为，构建AI当然需要融入人类知识，问题只在于该何时、如何、融入哪些知识。AI历史上有“甜蜜的一课”（The Sweet Lesson），我们在尝试寻找正确先验知识的过程中，推动了AI的进步。
他将萨顿的观点总结为：“AI的历史告诉我们，利用算力最终总是战胜利用人类知识。”
以下是怀特森Twitter内容的翻译整理：
我认为这是对历史的一种特殊解释。的确，很多把人类知识融入AI的努力都已经被抛弃，随着其他资源（不仅仅是计算力，还包括存储、能源、数据）的丰富，还会抛弃更多。
但是，由此产生的方法的成功，不能仅仅归功于这些丰富的资源，其中那些没有被抛弃的人类知识也功不可没。
要是想脱离卷积、LSTM、ReLU、批归一化（batchnorm）等等做深度学习，祝你好运。要是抛开“围棋是静态、零和、完全可观察的”这一先验知识，就像搞定这个游戏，也祝你好运。
所以，AI的历史故事并非融入人类知识一直失败。恰恰相反，这是融入人类知识的胜利，实现的路径也正是一种完全符合惯例的研究策略：尝试很多方法，抛弃失败的99%。
剩下的1%对现代人工智能的成功至关重要，就和AI所以来的大量计算资源一样关键。
萨顿说，世界固有的复杂性表明，我们不该把先验知识融入到系统中。但是我的观点恰恰相反：正是这种复杂性，导致他推崇的搜索和学习方法极度复杂难解。
只有借助正确的先验知识，正确的归纳偏见（inductive biases），我们才能掌握这种复杂性。
他说，“现代的深度学习神经网络，只使用卷积和某些不变性的概念，而效果要好得多。”一个“只”字就凸显了这种断言的武断性。
如果没有这些卷积和不变性，深度学习就不会成功，但它们却被视作微小、通用到可以接受。
就是这样，“苦涩的教训”避开了主要问题，这根本不是要不要引入人类知识的问题（因为答案显然是肯定的），而是该问这些知识是什么，该在何时、如何使用它。
萨顿说，“我们需要的是能像我们一样进行发现的AI智能体，而不是包含我们已经发现的东西在内的AI。”当然。但是我们善于发现正是因为我们天生带有正确的归纳偏见。
AI历史上的“甜蜜一课”是这样的：虽然找到正确的归纳偏见很难，但寻找的过程为原本难解的问题带来了巨大的进展。
-
摩尔定律
+关注
关注
4文章
634浏览量
78993 -
深度学习
+关注
关注
73文章
5500浏览量
121109 -
强化学习
+关注
关注
4文章
266浏览量
11245
原文标题：只有大规模算力才能救AI？强化学习之父 vs 牛津教授掀起隔空论战
文章出处：【微信号：worldofai，微信公众号：worldofai】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
ADS5402的SYNCOUTP/N信号是在上电配置相关寄存器及0x01的D2后，就一直连续有输出吗？
AD1299在连续读取模式下DRDY一直处于高电平，为什么？
ADS8634写寄存器的流程图中想要选择自动扫描模式，SCLK信号是会中断的还是一直连续 的？
RISC-V在AI领域的发展前景怎么样？
AI for Science：人工智能驱动科学创新》第4章-AI与生命科学读后感
苹果承认使用谷歌芯片来训练AI
自己设计的ESP32S3电路，WiFi一直连不上，为什么？
配置smartconfig时，esp8266一直连不上路由器是怎么回事？
亚马逊云科技引领生成式AI创新，连续五年荣膺Gartner魔力象限领导者
esp8684 i2c连续写17字节或以上字节就返回超时错误怎么解决？
AI视频年大爆发！2023年AI视频生成领域的现状全盘点
工商网监
评论