成都人工智能培训班讲解人工智能的发展超出我们的想象

成都达内科技

　　成都人工智能培训班讲解人工智能的发展超出我们的想象

　　自2012年以来，最大规模的人工智能训练运行所使用的计算量呈指数增长，增长了3.5个月(相比之下，摩尔定律有18个月的翻倍时间)。自2012年以来，该指标增长了30多万倍(18个月的翻番时间仅增加12倍)。计算方面的改进一直是人工智能进展的一个关键组成部分，所以只要这种趋势继续下去，就值得为远远超出当今能力的系统的影响做准备。

　　对数刻度线性刻度

　　该图表显示了以petaflop / s-days为单位的计算总量，用于训练相对熟知的选定结果，使用大量时间计算，并提供足够的信息来估计所用的计算。每秒petaflop / p-day(pfs-day)包括每天执行10-15次神经网络操作，或者总共大约10 20次操作。计算时产品用作心理便利，类似于能源的千瓦时。我们不测量硬件的峰值理论FLOPS，而是尝试估计执行的实际操作的数量。我们将加法和乘法计算为单独的操作，我们将任何加法或乘法计算为单个操作，而不考虑数值精度(使“FLOP”略微用词不当)，并忽略合奏模型。本附录提供了进入该图表的示例计算。加倍显示时间为3.43个月。

　　概观

　　推动人工智能发展的因素有三个：算法创新，数据(可以是监督数据或交互式环境)，以及可用于培训的计算量。算法创新和数据很难追踪，但计算量是非常可量化的，提供了衡量AI进展的一个输入的机会。当然，使用大规模计算有时会暴露我们当前算法的缺点。但至少在许多现有领域中，更多的计算似乎会导致更好的性能，并且往往是对算法进步的补充。

　　对于这种分析，我们认为相关数字不是单个GPU的速度，也不是最大数据中心的容量，而是用于训练单个模型的计算量-这是最有可能与如何关联的数量强大的我们最好的模型是。每个模型的计算与总体计算有很大不同，因为并行性的限制(硬件和算法)限制了模型的大小，或者可以有多少有用的训练。当然，重要的突破仍然是通过适量的计算来实现的-这一分析仅涵盖计算能力。

　　这一趋势每年大约增加10倍。一部分是由定制硬件驱动的，它允许在给定的价格(GPU和TPU)下每秒执行更多的操作，但主要是由研究人员一再推动寻找并行使用更多芯片并愿意支付经济成本的方法这样做。

　　今朝

　　我们大致可以看到四个不同的时代：

　　2012年之前：对于ML使用GPU并不常见，因此很难实现图形中的任何结果。

　　2012年到2014年：在许多GPU上进行培训的基础架构并不常见，因此大多数结果使用1-8个GPU，额定功率为1-2 TFLOPS，总共为0.001-0.1 pfs-days。

　　2014年至2016年：大规模的结果使用了10-100 GPU，额定功率为5-10 TFLOPS，导致0.1-10 pfs天。数据并行性收益递减意味着更大规模的培训运行价值有限。

　　2016年至2017年：允许更大算法并行性的方法(如大批量，体系结构搜索和专家级迭代)以及专用硬件(如TPU和更快的互连)大大增加了这些限制，至少对于某些应用程序而言。

　　AlphaGoZero / AlphaZero是大规模算法并行性中最明显的公共示例，但此规模的许多其他应用程序现在在算法上可行，并且可能已经在生产环境中发生了。

　　期待

　　我们看到多种原因认为图表中的趋势可能会继续。许多硬件初创公司正在开发AI专用芯片，其中一些宣称他们将在未来1 - 2年内大幅增加FLOPS / Watt(与FLOPS / $相关)。简单地重新配置硬件以减少经济成本来完成相同数量的操作也可能会有收益。在并行性方面，上述许多最近的算法创新原则上可以乘法组合-例如体系结构搜索和大规模并行SGD。

　　另一方面，成本最终将限制趋势的平行度，物理学将限制芯片的效率。我们认为，今天最大规模的培训采用硬件，单位数百万美元的购买成本(尽管摊销成本要低得多)。但目前大多数神经网络计算仍然用于推理(部署)，而不是训练，这意味着公司可以重新调整用途或购买更多的芯片进行培训。因此，如果有足够的经济激励措施，我们可以看到更多的大规模平行培训，从而使这一趋势持续数年。全球硬件总预算为1万亿美元一年，所以绝对的限制还很遥远。总的来说，考虑到上述数据，计算指数趋势的先例，ML特定硬件的工作以及经济激励，我们认为确信这种趋势在短期内不会持续存在是错误的。

　　过去的趋势不足以预测这种趋势将持续多久，或者继续下去会发生什么。但即使是能力的迅速增长的合理潜力，意味着现在就开始解决安全和恶意使用人工智能至关重要。预见对负责任的决策和负责任的技术发展至关重要，我们必须走在这些趋势之前，而不是对它们作出迟来的反应。