AAAI前主席 Thomas Dietterich
为什么机器学习如此重要？
周志华：为什么机器学习有用？
Dietterich：机器学习为创造高性能的软件提供了新的方法。在传统的软件工程中，我们需要与用户沟通，制定用户需求，然后为这些需求设计、实现和测试算法。通过机器学习，我们虽然仍需要制定软件系统总体的目标，但不是设计自己的算法，而是收集训练示例（通常是人工标注的数据点），然后应用机器学习算法去自动学习所需的功能。
这种新的方法使我们能够为许多问题创建软件，这些问题是使用以前的软件工程方法无法解决的。具体来说，以前的方法实现的视觉对象检测和识别，语音识别和语言翻译的性能都不够好，不足以说是可以使用的。但是随着机器学习的最新进展，我们现在有了能够很好地执行这些任务的系统，性能甚至可以与人类相媲美。
因此，机器学习提供了一种关键的技术，让自动驾驶车辆，实时驾驶指令，跨语言用户界面和支持语音的用户界面等应用得以实现。机器学习对互联网搜索引擎，推荐系统和个性化广告也很有价值。许多人认为机器学习方法将导致医疗领域的革命，特别是在医学影像的自动化收集和分析方面。机器学习也是许多现代化公司在运营方面的有前途的工具。比如说，机器学习可以帮助预测客户需求并优化供应链。它也是训练机器人灵活地执行制造任务的关键技术。
周志华：为什么机器学习对科学界和社会都很重要？
Dietterich：机器学习方法有助于数据收集和分析。例如，机器学习方法被应用于分析大型强子对撞机收集的大量数据，而且机器学习技术对分析天文学数据至关重要。机器学习技术通过设计实验来帮助科学家决定要收集哪些数据点，然后，机器人系统可以在实验室或现实世界中自动地执行这些实验。例如，有一个由罗斯·金（Ross King）开发的机器人科学家，能够自己设计，实施并分析自己的实验。还有由AI系统控制的远洋滑翔机器人。机器学习技术也开始应用于控制在生态系统以及在城市中收集数据的无人机。
我自己的研究重点是应用机器学习来改善我们对地球生态系统的管理。例如，在俄勒冈州，经常因雷电造成森林火灾。这些火灾可能摧毁濒危物种的栖息地，烧毁可能用于建造房屋的树木。这些大火的一个原因是，美国长年来不允许任何烧火。这是非常昂贵的，它让燃料堆积在森林里，当有新的火灾时，燃烧是非常猛烈的，更具破坏性。我们正在运用机器学习（强化学习）方法，找到好的规则来决定应该禁止哪些火，哪些火应该被允许燃烧。这些规则能够节省金钱，并且能帮助保护濒危物种。
机器学习方法也可以用于绘制例如熊猫等濒危物种的位置和数量。在美国，我们开发了新的机器学习方法来预测和理解鸟类的迁徙。类似的问题例如新疾病的传播，空气污染和交通流量等。
在商业和金融方面，机器学习方法可以帮助识别欺诈和盗窃。我的小组一直在研究用于异常检测的算法，可以识别出异常的交易，并将它们呈现给人类分析师进行法律处理。
机器学习方法也有助于“智慧城市”的发展。我前面提到交通管理和污染的测绘。不仅如此，机器学习技术也可以应用来确定在哪个地方需要新的基础设施（例如供水设施，电力，互联网）。在美国，机器学习已被应用于绘制20世纪时的旧建筑物中使用的含铅涂料的分布。
关于深度学习
周志华：您能评论一下深度学习的强项和不足吗？
Dietterich：最近的发展中最激动人心的莫过于深度学习方法的研究热潮。大多数机器学习方法要求数据科学家定义一组“特征”来描述每个输入。例如，为了识别图像中的对象，数据科学家首先需要从图像中提取诸如边缘，点和纹理区域等特征。然后这些特征被作为输入馈送给机器学习算法来识别对象。深度学习允许我们将原始图像（像素）提供给学习算法，而无需事先定义和提取特征。我们已经发现，深度学习能够学习正确的特征，并且比我们人工给这些特征编码更好。因此，在输入（例如图像，语音信号等）和输出（例如对象，句子等）之间存在较大差异的问题中，深度学习能够比以前的机器学习方法好得多。
但是，也有许多问题，其特征是很容易获得的。例如，在欺诈检测中，我们可能会检查信用卡交易的次数，交易的时间地点，等等。这些已经在高水平的特征中表现出来，而在这样的应用中，深度学习并没有提供太大的好处。深度学习算法也难以训练，需要大量的计算时间，因此在大多数问题中，它们不是首选方法。
深度学习是机器学习的一种特殊方法。它的使用相当困难，因此在有可用的特征的问题中，使用诸如随机森林或boosted tree之类的方法通常更好。这些方法容易使用，不需要很多的经验。这些方法也比深度学习方法快许多个数量级，因此可以在笔记本或智能手机上运行，而不需要GPU超级计算机。机器学习研究的一个重要目标是使机器学习技术可以让很少或没有正式培训过的人员使用。
将深度学习与一般的AI技术相结合也是很有趣的方法。最好的例子是AlphaGo，它结合了深度学习（分析围棋棋盘上的棋子模式）和蒙特卡罗树搜索（搜索未来的游戏来决定落子的后果）。同样，自动驾驶车辆将顶级的软件（用于安全，控制和用户界面）与计算机视觉和动作识别的深度学习方法相结合。
机器学习研究的挑战
周志华：请谈谈机器学习研究的挑战。
Dietterich：机器学习的研究有许多重要的挑战。第一个挑战是改进无监督学习和强化学习的方法。最近的几乎所有进展都是“监督学习”的，其中“教师”会告诉计算机每个示例训练的正确答案。但是，我们要解决的问题太多而教师太少，但我们拥有大量的数据。举个例子，比如说我们要检测异常或欺诈交易。在开发“异常检测”算法时，可以让算法从大量的数据学习，而无需教师。有许多类别的“无监督”学习算法可以在不需要教师的情况下学习。
另一个具有挑战性的领域是强化学习。强化学习涉及通过给予奖励或惩罚教计算机学习复杂任务。在许多问题中，计算机可以自己计算奖励，这样就可以让计算机通过反复试验而不是教师的示范来学习。强化学习在控制问题（例如自动驾驶，机器人和前面提到的火灾管理等问题）方面特别有价值。强化学习的方法目前仍然很慢，难以适用，所以加速其过程是一个挑战。此外，现有的强化学习算法只在单一时间尺度上运行，这使得这些方法难以在包含非常不同的时间尺度的问题中工作。例如，将车辆保持在行车道内来驾驶汽车的强化学习算法不能学习为从一个位置到另一个位置规划路线，因为这些决策是在非常不同的时间尺度上发生的。分层强化学习（hierarchical reinforcement learning）的研究正在试图解决这个问题。
机器学习的第二个主要的研究问题是检查，验证和信任。传统的软件系统通常包含bug，但由于软件工程师可以读懂程序代码，因此可以设计好的测试来检查软件是否正常工作。但机器学习的结果是一个“黑盒子”系统，它接受输入然后产生输出，但是很难验证。因此，机器学习研究中非常活跃的课题是开发使机器学习系统更加可解释的方法（例如，通过提供解释或将其结果转化为易于理解的形式），以及对黑盒系统进行检查和验证的自动化方法的研究。最有趣的新方向之一是创建自动化的“敌人”（adversaries），试图去破坏机器学习系统。这些方法经常可以发现导致学习程序失败的输入。
一个相关的研究领域是“稳健的机器学习”（robust machine learning）。我们寻找即使它们的假设被违反也能很好地工作的机器学习算法。机器学习中最大的一个假设是，训练数据被假定是独立分布的，并且是对将来的输入的有代表性的示例。有研究人员正在探索如何使机器学习系统对这种假设的失败更加稳健。
机器学习的第三个主要的挑战是有关偏见的问题。收集数据的方式常常是有偏见的。例如，关于新药有效性的实验可能只对男性进行。机器学习系统可能会得出结论说新药只能对35岁以上的老年人生效。但对女性来说，药物的效果可能会完全不同。在一家公司，数据可以从现有的客户那里收集，但是这些数据对于预测新客户的行为方式可能并不适用，因为新客户可能会在一些重要的特征（年龄，互联网知识等）上有差异。目前的研究正在开发用于检测这种偏见并创建可以从这些偏见中恢复的学习算法。
关于高级AI的威胁
周志华：随着机器学习快速发展，人类的工作会受到机器的威胁吗？你可以谈一下“奇点论”和高级AI的威胁的观点吗？
Dietterich：像所有新技术一样，机器学习肯定会改变就业市场。简单的重复性的工作——无论是重复的体力劳动（例如工厂工人和卡车司机）还是重复的脑力劳动（例如法律、会计和医疗方面的许多工作）——可能至少部分会被软件和机器人取代。与工业革命一样，伴随着这些新技术的发展，经济可能会出现大的中断。一个重要的问题是机器学习和AI是否也能创造新的工作。工业革命创造了新的工作，我认为这会在AI革命中再次发生。我们很难预测这些新的工作是什么。
我们可以回顾一下互联网发展的过程。20世纪80年代初，网络协议（Internet Protocols）被开发出来以及部署时，我还是一名研究生。网络协议使文件可以从一台计算机移动到另一台计算机，或者从本地计算机登录到远程计算机。我们那时对万维网，搜索引擎，电子商务以及社交网络这些概念一无所知！也就是说，我们当时也没有预测到新的工作（网页设计师，用户体验工程师，数字广告从业者，推荐系统设计师，网络安全工程师等等）。
我认为我们今天预测未来的工作也是非常困难的。一定会出现的工作，例如创造AI系统的工作，教它们、定制和修补它们的工作。我认为将现在的工作完全自动化不具有成本效益。但是，每样工作都可能80%被自动化，然后需要人类去做剩下的20％。因此，人类的价值将会更高，得到的报酬也会更高。
我认为人类工作很难完全自动化的一个方面是同理心（empathy）。机器人和AI系统的体验与人类完全不同。它们不会“将心比心”，不能理解或同情别人。反之，他们需要被教导，就像外星人或《星际迷航》中的Data指挥官那样，利用预测来理解人类的情感。相比之下，人类自然就能做这些事情，因为我们都知道“人之为人的感觉”。因此，涉及同理心的工作（例如咨询，辅导，管理，客户服务等）最不可能完全自动化，只要人类客户认为“真实的人际交互”有价值，而不是接受与机器人或自动化系统交互。
如果大多数工业和农业生产变得自动化了（假设由此产生的财富在社会中平均分配），那么人类很可能会发现他们富余的时间可以做其他事情。去旅行了解其他国家和其他文化，可能会比今天更受欢迎。体育，游戏，音乐和艺术也可能变得更受欢迎。试想，100年前，人类还很难有机会去按摩或修脚。现在这些几乎随处可见。谁知道100年后人类想要做什么，想要拥有什么经验呢？
对于“奇点”（singularity），有两种不同的流行观点。让我们分别谈谈。第一个观点来自Ray Kurzweil的著作，提出由于许多技术指数级的进步，我们很难看到未来的发展。这就是“技术奇点”的观点，认为技术发展将会在很短的时间内发生极大而接近于无限的进步。但这是不可能的，因为所有的技术都有极限（尽管我们不知道这些极限是什么）。Herbert Stein有一个著名的经济学法则：“如果一样东西不能永以为继，它就将消停。”摩尔定律也是如此，所有的AI技术都是如此。然而，即使真正的数学奇点不可能存在，我们目前的AI系统的能力仍在呈指数级地增长，所以它们未来的能力将与目前的能力非常不同。所以我相信Kurzweil是正确的，我们无法对变化无常的未来看得很远。
“奇点”的第二个观点是指所谓的超级智能的出现。该观点首先由 I.J.Good 在 1965 年的一篇文章中提出，说在某种程度上，人工智能技术将会跨越一个临界点，它将能够递归地自我提升，然后将非常迅速地提高，并且变得比人类聪明许多倍。这将是人类的“最后一项发明”。通常，这个临界点被认为是“人类水平的AI”（human-level AI），即 AI 系统与人类的智能一致。我不赞同这个论点，原因有下面几个。首先，机器学习的整体目标是创建可以自主学习的计算机系统。这是一种自我改进的形式（通常被用于改进学习系统本身，因此是一种递归的自我改进）。但是，这样的系统的自我提高从来没能超出一次迭代，也就是说，它们可以提升自己，但是提升后的系统不能自我提高了。我认为原因是我们将问题表示为一个函数优化的问题，一旦找到该函数的最优值，就无法进一步优化了。为了保持指数级的提升，每种技术都需要有反复的突破。例如，摩尔定律不是一个单一的过程，它实际上是一个阶梯式的改进，每登一级“阶梯”都包含不同的突破。我认为这让我们回到了 Kurzweil 式的技术奇点论，而不是超级智能。
其次，有关超级智能的观点设定了一个人类智慧的临界点，这是非常令人质疑的。这给我的感觉就像哥白尼和达尔文受到的攻击一样。对于计算机可以获得的智能来说，人类可能不是特别的。人类智慧的限制是由许多因素决定的，包括人的脑容量和计算能力，人的生命长度，以及我们每个人都必须自我学习（而不是并行和分布式计算）的事实。计算机已经能在许多任务上比人类更加智能，包括车间作业调度，路线规划，飞机控制，复杂系统（如大气）模拟，网络搜索，记忆，数学计算，某些形式的定理证明等。但是，这些超过人类的能力并没有导致 I.J.Good 所描述的超级智慧。
第三，我们在人类中观察到，智能往往涉及广度而不是深度。像史蒂芬·霍金这样伟大的物理学家比我更了解宇宙学，但我比他在机器学习方面的知识更多。此外，实验表明，一个领域的专家在其他领域并不比平均水平高。这表明，作为递归自我提升论证的基础，将智能比喻为“梯级”是不准确的。相反，我们应该考虑“液体洒在桌子表面”或“生物多样性”的比喻，即每个知识分支都是人类智慧的雨林里的一个生态位。这个比喻并不是说存在一些“临界点”，一旦超越，就会导致超级智能。
我赞同 Kurzweil 对奇点的观点，但这并不意味着 AI 技术本质上是安全的，我们没有什么可担心的。相反，随着计算机变得更加智能，我们把驾驶车辆，管理电网或打击战争（自主武器系统）等高风险的决策交给了计算机。如上所述，今天的机器学习技术还不够可靠，也不够强大，不足以被交付这样危险的决策。我非常担心，只要机器学习组件中存在一点错误，AI技术的过早部署都可能导致重大的生命损失。像《2001，太空漫游》电影的 HAL 9000 那样，计算机可能“接管世界”，因为我们给了他们重要的系统的控制权，却出现编程错误或机器学习故障。我不相信计算机会自发地“决定”接管世界，那只是科幻小说里的故事。我也不相信计算机会“想变得像人类一样”，这是另外的故事。
人们在做决策时可能不如计算机那么准确或快速，但是我们对世界的无法预测的方面更加在行，从而能够更好地识别和应对计算机系统的故障。因此，我认为人类应该参与所有这些有关高风险决策的应用。
机器学习人才流失的影响
周志华：在美国，有很多机器学习学术界的教授选择去大公司。你能评论一下吗？
Dietterich：是的，机器学习教授去企业已经造成了大量的“人才流失”。我可以谈一下它的原因和影响。有几个原因：首先，许多公司正在开发新的AI产品，他们向教授提供非常高的薪资。第二，由于许多机器学习技术（特别是深度学习）需要大量的数据，而大公司能够收集大量的数据，所以利用大公司的“大数据”进行深度学习研究比在大学里搞研究要容易得多。第三，企业还有能力购买或开发深度学习的专用计算机，例如如GPU计算机或Google的张量处理器（TPU）。这也是很难在大学做的事情。
这会造成什么样的影响呢？主要的影响是大学可能不再像过去那样可以教出同样多的AI和机器学习学生，因为他们缺乏教授和研究导师。大学也缺乏大型数据集和专用计算机。工业界和政府可以通过提供资金收集数据以及购买专门的计算机来解决这些问题。我不知道政府如何解决人才流失问题，但他们可以解决数据量和计算力的问题。
除了大数据和深度学习的工作外，所有其他形式的机器学习（以及上面列出的所有挑战）都容易在大学实验室里进行。例如，我们在俄勒冈州立大学的实验室正在研究异常检测，强化学习和稳健的机器学习。
周志华：你能评论一下在这个领域里来自中国的贡献和影响吗？你认为中国的研究人员要创造更大的影响力有什么障碍吗？
Dietterich：中国的科学家（不管是在国内还是国外工作）为机器学习和AI技术的发展做出了巨大贡献。中国在语言识别和自然语言翻译的深度学习方面是领先的，我期待中国研究人员有更多的贡献。我认为最大的障碍是沟通。大多数计算机科学研究都是用英文出版的，而且由于英语对于中国学习者来说很难，这使得中国科学家更难撰写论文或提出具有重大影响的研究发现。中国现在是AI研究的主要阵营（我想至少占25％）。西方不懂中文的人也慢慢了解到中国的进步。我希望语言翻译的持续改进有助于降低语言障碍。
给中国年轻研究者的建议
周志华：请您给想要进入这一领域的年轻的研究人员提一些建议。
Dietterich：我的第一个建议是，学生要尽可能地学好数学。数学是机器学习的核心，数学也很难自学。所以我建议所有大学生都应该学数学。我的第二个建议是尽可能多地阅读文献。不要只读深度学习论文，而是要学习机器学习，AI和算法的理论。新的学习算法源于对数学和优化问题的结构的深刻理解。也不要忘记其他知识分支（例如统计学，运筹学，信息理论，经济学，博弈理论，科学哲学，神经科学，心理学等等），这些学科的思想对机器学习和人工智能的发展也非常重要。获取团队合作经验会很有价值。
今天的大多数研究是合作的，所以你应该在团队中工作，并学习如何解决冲突。最后，锻炼编程和沟通技巧很重要。要学习编程，掌握最新的软件工程工具。还要学好写作和口语，这不只是说学好英语语法和词汇，你还要学习如何令人信服地讲述你的研究，并提炼出关键想法。
