您所在的位置:蒙特卡罗网上娱乐>新闻中心>七星彩网投是庄家吗_AI计算量每年增长10倍,摩尔定律也顶不住 | OpenAI最新报告

七星彩网投是庄家吗_AI计算量每年增长10倍,摩尔定律也顶不住 | OpenAI最新报告

作者:匿名 时间:2020-01-09 16:04:33

七星彩网投是庄家吗_AI计算量每年增长10倍,摩尔定律也顶不住 | OpenAI最新报告

七星彩网投是庄家吗,晓查 发自 凹非寺 量子位 编译 | 公众号 qbitai

今天openai更新了ai计算量报告,分析了自2012年以来ai算法消耗算力的情况。

根据对实际数据的拟合,openai得出结论:ai计算量每年增长10倍。从alexnet到alphago zero,最先进ai模型对计算量的需求已经增长了30万倍。

英伟达的黄仁勋一直在强调摩尔定律已死,就是没死也顶不住如此爆炸式的算力需求啊。

至于为何发布ai计算量报告?openai说,是为了用计算量这种可以简单量化的指标来衡量ai的发展进程,另外两个因素算法创新和数据难以估计。

每年增长10倍

openai根据这些年的实际数据进行拟合,发现最先进ai模型的计算量每3.4个月翻一番,也就是每年增长10倍,比摩尔定律2年增长一倍快得多。

上图中的纵坐标单位是petaflops×天(以下简写为pfs-day),一个pfs-day是以每秒执行1015次浮点运算的速度计算一天,或者说总共执行大约1020次浮点运算。

需要注意的是,上图使用的是对数坐标,因此alphagozero比alexnet的运算量多了5个数量级。

从2012年至今,按照摩尔定律,芯片算力只增长了7倍,而在这7年间ai对算力的需求增长了30万倍。硬件厂商是否感觉压力山大?

openai还分析了更早期的数据,从第一个神经网络感知器(perceptron)诞生到2012年ai技术爆发前夕的状况。

在之前的几十年中,ai计算量的增长速度基本和摩尔定律是同步的,2012年成为ai两个时期的分水岭。

(注:openai原报告引用18个月作为摩尔定律的翻倍时间,之后修正为2年。)

ai硬件的4个时代

对算力的爆炸式需求也催生了专门用于ai运算的硬件,从1959年至今,ai硬件经历了4个不同的时期。

未来还会高速增长吗?

openai认为,我们有很多理由相信,ai计算量快速增长的需求还会继续保持下去。但是我们不必太过担心算力不够。

首先,越来越多的公司开发ai专用芯片,这些芯片会在一两年内大幅提高单位功率或单位价格的算力(flops/w或flops/$)。另一方面并行计算也会成为主流,没有太强的芯片还可以堆数量。

其次,并行计算也是解决大规模运算的一个有效方法,未来也会有并行算法创新,比如体系结构搜索和大规模并行sgd等。

但是,物理规律限制芯片效率,成本将限制并行计算。

如今训练一个最大模型需要的硬件购置成本高达几百万美元,不是每个企业都可以像英伟达那样,用512个v100花费10天训练一个模型的。

报告地址:https://openai.com/blog/ai-and-compute/

— 完 —

量子位 qbitai · 头条号签约

关注我们,第一时间获知前沿科技动态

热门推荐 Related Posts

Copyright 2018-2019 mirgorodsky.com 蒙特卡罗网上娱乐 Inc. All Rights Reserved.