扫码关注
机器学习研究人员在设计新模型时要做很多决定。他们决定在神经网络中包含多少层，以及在每个节点上给予输入的权重。德国弗莱堡大学(University of Freiburg)机器学习实验室主任弗兰克•赫特(Frank Hutter)表示，所有这些人类决策的结果是，复杂的模型最终是“凭直觉设计的”，而不是系统地设计的。
一个名为自动化机器学习(autoML)的新兴领域旨在消除猜测。这个想法是让算法取代研究人员目前在设计模型时必须做出的决定。最终，这些技术可以让机器学习变得更容易。
尽管自动机器学习已经出现近十年了，研究人员仍在努力完善它。上周，在巴尔的摩举行的一场新会议——组织者称这是关于该主题的第一次国际会议——展示了改进autoML准确性和简化其性能的努力。
autoML简化机器学习的潜力引起了人们的浓厚兴趣。像亚马逊和谷歌这样的公司已经提供了利用autoML技术的低代码机器学习工具。如果这些技术变得更高效，它可以加速研究，让更多人使用机器学习。
这个想法是为了让人们可以选择他们想问的问题，将 autoML 工具指向它，并接收他们正在寻找的结果。
这一愿景是“计算机科学的圣杯” ，怀俄明大学的会议组织者兼计算机科学助理教授Lars Kotthoff说。“你指定问题，计算机找出解决方法——这就是你所做的一切。”
但首先，研究人员必须弄清楚如何使这些技术更省时、更节能。
什么是 autoML ？
乍一看，autoML 的概念似乎是多余的——毕竟，机器学习已经是关于自动化从数据中获取洞察力的过程。但由于 autoML 算法在底层机器学习模型之上的抽象级别上运行，仅依赖这些模型的输出作为指导，因此它们可以节省时间和计算量。研究人员可以将 autoML 技术应用于预先训练的模型以获得新的见解，而不会浪费计算能力来重复现有的研究。
例如，美国富士通研究中心的研究科学家 Mehdi Bahrami 和他的合著者展示了最近关于如何使用具有不同预训练模型的 BERT 排序算法来适应新目的的工作。BERT-sort 是一种算法，可以在对数据集进行训练时找出所谓的“语义顺序”——例如，给定电影评论数据，它知道“优秀”电影的排名高于“好”和“坏”电影.
借助 autoML 技术，学习到的语义顺序也可以外推到对癌症诊断甚至韩语文本进行分类，从而减少时间和计算量。
“BERT 需要数月的计算，而且非常昂贵——比如要花费 100 万美元来生成该模型并重复这些过程，”Bahrami 说。“因此，如果每个人都想做同样的事情，那就很昂贵——它不节能，对世界不利。”
尽管该领域显示出希望，但研究人员仍在寻找使 autoML 技术的计算效率更高的方法。例如，像神经架构搜索这样的方法目前构建和测试许多不同的模型以找到最合适的模型，完成所有这些迭代所需的能量可能很大。
AutoML 技术还可以应用于不涉及神经网络的机器学习算法，例如创建随机决策森林或支持向量机来对数据进行分类。这些领域的研究更进一步，已经有许多编码库可供想要将 autoML 技术整合到他们的项目中的人们使用。
会议组织者 Hutter 表示，下一步是使用 autoML 量化不确定性并解决算法中的可信度和公平性问题。在这个愿景中，关于可信赖性和公平性的标准将类似于任何其他机器学习约束，例如准确性。autoML 可以在这些算法发布之前捕获并自动纠正这些算法中发现的偏差。
但是对于像深度学习这样的东西，autoML 还有很长的路要走。用于训练深度学习模型的数据，如图像、文档和录制的语音，通常是密集且复杂的。它需要巨大的计算能力来处理。除了在财力雄厚的私营公司工作的研究人员之外，训练这些模型的成本和时间可能会让任何人望而却步。
会议的一项竞赛要求参与者开发用于神经架构搜索的节能替代算法。这是一个相当大的挑战，因为这种技术具有臭名昭著的计算需求。它会自动循环遍历无数的深度学习模型，以帮助研究人员为他们的应用选择合适的模型，但该过程可能需要数月时间，成本超过一百万美元。
这些替代算法（称为零成本神经架构搜索代理）的目标是通过显着减少其对计算的需求，使神经架构搜索更易于访问和环境友好。结果只需几秒钟即可运行，而不是几个月。这些技术仍处于开发的早期阶段并且通常不可靠，但机器学习研究人员预测它们有可能使模型选择过程更加高效。
此文内容来自echnologyreview.com，如涉及作品内容、版权和其它问题，请于联系工作人员，我们将在第一时间和您对接删除处理!
