英伟达帝国的一道裂缝

2012年，AI圈爆发了两件大事，按年光依次，第一件是谷歌组团已久的Google Brain揭橥“出道作”——一个也许识别猫的深度研习汇集“谷歌猫”，74.8%的识别精确率，比出名识别图像大赛ImageNet前一年获胜算法的74%还要突出0.8%。

但谷歌的高光岁月只接续了几个月。2012年12月，最新一届ImageNet的获胜者出炉，深度研习大神Hinton及其高足带着卷积神经汇集AlexNet，将识别确切率一举进步到了84%，由此开启了之后十年的AI革命，谷歌猫则被埋进了史册的尘土之中。

让业内恐惧的不光是ImageNet模子自身。这个必要1400万张图片、一共262万万亿次浮点运算演练的神经汇集，一个礼拜的演练进程中仅用了四颗英伟达Geforce GTX 580。行动参考，谷歌猫用了1000万张图片、16000颗CPU、1000台打算机[1]。

传言Google正在这一年也隐私插足了竞争，其受到的震动直接呈现正在接下来的步履上：Google一边豪掷了4400万美元收购了Hinton团队，一边赶疾向英伟达下单豪爽GPU用来人工智能演练，并且同时“扫货”的尚有微软、Facebook等一众巨头。

但帝邦的上空，慢慢聚拢了两朵乌云。当年向英伟达扫货的Google，正在三年后携AlphaGo惊艳亮相，并正在2017年击败了人类冠军柯洁。灵敏的人察觉，驱动AlphaGo的芯片不再是英伟达的GPU，而是Google自研的TPU芯片。

再过三年，似乎剧情重演。已经被黄仁勋一度视为标杆客户的特斯拉也离别英伟达GPU，先是推出了以NPU为重点的FSD车载芯片，然后又拿出了用来搭修AI演练集群的D1芯片——这意味着英伟达接连落空了AI时期里两个最首要的客户。

到了2022年，环球IT周期进入下行阶段，云打算大厂纷纷裁减数据核心的GPU采购预算，区块链挖矿大潮也慢慢冷却，加上美邦对华芯片禁令导致无法向邦内出售A100/H100等高端显卡，英伟达库存暴增，股价从最高点一度跌去了2/3。

2022年闭ChatGPT横空诞生，GPU行动大模子“炼丹”的燃料再次遭到哄抢，英伟达获取喘气，但第三朵乌云随之而来：2023年4月18号，出名科技媒体The Information爆料：本轮AI海潮的倡导者微软，正正在隐私研发自身的AI芯片[2]。

这款名叫Athena的芯片由台积电代工，采用5nm进步制程，微软研发团队人数仍旧靠近300人。很显著，这款芯片对象便是取代腾贵的A100/H100，给OpenAI供应算力引擎，并最终必定会通过微软的Azure云供职来劫夺英伟达的蛋糕。

微软目前是英伟达H100最大的采购方，以至一度传出要“包圆”H100整年的产能。来自微软的分袂信号无疑是一道好天轰隆，要大白，假使正在Intel最灰暗的期间，其客户也没有一家“勇于”自制CPU芯片（除了苹果，但苹果并错误外发卖）。

假使英伟达目前依靠GPU+NVlink+CUDA垄断了AI算力90%的市集，但帝邦仍旧闪现了第一道缝隙。

1999年10月英伟达揭橥了GeForce 256，这是一款基于台积电220纳米工艺、集成了2300万个晶体管的图形解决芯片。英伟达把Graphics Processing Unit的首字母「GPU」提炼出来，把GeForce 256冠以“宇宙上第一块GPU”称呼，奥妙地界说了GPU这个新品类，侵夺没这个词的用户心智直到这日。

而此时人工智能仍旧重静众年，特别是深度神经汇集周围，Geoffery Hinton和Yann LeCun等他日的图灵奖获取者们还正在学术的冷板凳上坐着，他们千万不会念到自身的职业生活，会被一块素来为逛戏玩家拓荒的GPU所彻底转变。

GPU为谁所生？图像。更精确地说，是为CPU从图像显示的苦力活中解放出来而生。图像显示的基础道理是将每一帧的图像分裂成一颗颗像素，再对其实行极点解决，图元解决，栅格化、片断解决、像素操作等众个陪衬解决，最终得以显示正在屏幕上。

假定屏幕上有30万颗像素，以60fps帧率打算，每秒必要告终1800万次陪衬，每次包括上述五个办法，对应五条指令，也便是说，CPU每秒要告终9000万条指令材干告终一秒的画面显现，行动参考，当时英特尔职能最高的CPU每秒算力才6000万次。

不怪CPU弱，而是其本就以线程改变睹长，为此将更众的空间让与给了独揽单位和存储单位，用于打算的打算单位只吞没20%的空间。GPU则相反，80%以上空间是打算单位，带来了超强并行打算才气，更适合图片显示这种办法固定、反复刻板的办事。

直到几年后，少许人工智能学者才认识到，具备如许特征的GPU也实用于深度研习的演练。良众经典的深度神经汇集架构早正在20世纪下半叶就仍旧被提出，但由于缺乏演练它们的打算硬件，良众查究只可“空言无补”，进展持久窒息。

1999年10月的一声炮响，给人工智能送来了GPU。深度研习的演练进程是对每个输入值遵照神经汇集每层的函数和参数实行分层运算，最终获得一个输出值，跟图形陪衬雷同都必要豪爽的矩阵运算——这可巧便是GPU最擅长的东西。

只是图像显示固然数据解决量重大，但大一面办法是固定的，而深度神经汇集一朝行使至决定周围，会涉及到分支组织等繁杂境况，每层的参数又必要基于海量数据正负反应演练来持续改正。这些分歧为日后GPU看待AI的符合性埋下了隐患。

此刻的亚马逊AI/ML总司理Kumar Chellapilla是最早吃到GPU螃蟹的学者。2006年他行使英伟达的GeForce 7800显卡第一次告终了卷积神经汇集（CNN），察觉比行使CPU要疾4倍。这是已知最早将GPU用于深度研习的测验[3]。

Kumar的办事并未惹起广博的防卫，很首要的由来是基于GPU编写步调的繁杂度很高。但恰正在此时，英伟达于2007年推出了CUDA平台，拓荒者操纵GPU来演练深度神经汇集的难度大幅度消重，这让深度研习教徒们看到了更众生气。

随后便是2009年，斯坦福的吴恩达等人发布了冲破性的一篇论文[6]，GPU依靠凌驾CPU 70倍的算力将AI演练年光从几周缩短到了几小时。这篇论文为人工智能的硬件告终指领会倾向。GPU大大加快了AI从论文走向实际的进程。

值得一提的是，吴恩达于2011年到场Google Brain，是开篇提到的谷歌猫项目诱导者之一。Google Brain最终没能用上GPU的由来，外人不得而知，但之后吴恩达脱节谷歌到场百度前后，便平昔有外传称是由于谷歌对GPU的立场不明。

通过众数人的搜求，接力棒究竟交到了深度研习行家Hinton的手上，此常常间仍旧指向了2012年。

这颗正在深度研习的进展史册中至闭首要的GPU，便是出名的“核弹显卡”GTX 580。行动英伟达最新Fermi架构的旗舰产物，GTX 580被塞入512颗CUDA重点（上一代为108颗），算力奔腾的同时，妄诞的功耗和发烧题目也让英伟达被赐名“核弹工场”。

甲之砒霜，乙之蜜糖。跟用GPU演练神经汇集时的“顺滑”比拟，散热题目险些不足挂齿。Hinton团队用英伟达的CUDA平台亨通地告终了编程，正在两张GTX 580显卡的声援下，1400万张图片的演练只花了一个周，AlexNet亨通夺冠。

因为ImageNet竞争和Hinton自己的影响力，全盘人工智能学者都正在一霎时认识到了GPU的首要性。

两年后，谷歌携GoogLeNet模子插足ImageNet，以93%的精确率夺冠，采用的恰是英伟达GPU，这一年全盘参赛团队GPU的行使数目飙升到了110块。正在竞争之外，GPU仍旧成为深度研习的“必选消费”，给黄仁勋送起源源持续的订单。

这让英伟达解脱了搬动端市集惨败的暗影——2007年iPhone揭橥后，智老手机芯片的蛋糕赶疾膨胀，英伟达也试图从三星、高通、联发科等碗里分一杯羹，但推出的Tegra解决器由于散热题目铩羽而归。最终反而是被GPU救援的人工智能周围，反哺给了英伟达一条第二拉长弧线。

比如，固然GPU跟CPU区别明显，但两者根子上都效力冯·诺伊曼组织，存储和运算是星散的。这种星散带来的效能瓶颈，图像解决终究办法相对固定，能够通过更众的并行运算来办理，但正在分支组织浩繁的神经汇集中很是要命。

神经汇集每减少一层或一个分支，就要减少一次内存的探访，存储数据以供回溯，花费正在这上面的年光弗成避免。特别正在大模子时期，模子越大必要实行的内存探访操作就越众——最终打发正在内存探访上的能耗要远比运算要高良众倍。

容易比喻便是，GPU是一个肌肉兴旺（打算单位浩繁）的猛男，但看待收到的每条指令，都得回过头去翻引导手册（内存），最终跟着模子巨细和繁杂度的晋升，猛男真正干活的年光很有限，反而被频仍地翻手册累到口吐白沫。

内存题目只是GPU正在深度神经汇集运用中的诸众“不适”之一。英伟达从一发轫就认识到这些题目，赶疾入手“魔改”GPU，让其更符合人工智能运用场景；而了如指掌的AI玩家们也正在暗渡陈仓，试取利用GPU的缺陷来撬开黄仁勋帝邦的墙角。

第一套，便是沿着“算力老仙，法力宏壮”的门道，无间暴力堆砌算力。正在AI算力需求每隔3.5个月就翻倍的时期，算力便是吊正在人工智能公司当前的那根胡萝卜，让他们一边大骂黄仁勋的刀法精深，一边像舔狗雷同抢光英伟达全盘的产能。

第二套，则是通过“刷新式更始”，来渐渐办理GPU跟人工智能场景的不立室题目。这些题目包罗但不限于功耗、内存墙、带宽瓶颈、低精度打算、高速连绵、特定模子优化……从2012年发轫，英伟达猛然加疾了架构更新的速率。

英伟达揭橥CUDA后，用联合的架构来维持Graphics和Computing这两大场景。2007年第一代架构登场，取名Tesla，这并非是黄仁勋念示好马斯克，而是致敬物理学家尼古拉·特斯拉（最早尚有一代是居里架构）。

之后，英伟达每一代GPU架构都以出名科学家来定名，如下图所示。正在每一次的架构迭代中，英伟达一边无间堆算力，一边正在不“伤筋动骨”的条件下刷新。

比方2011年的第二代Fermi架构，谬误是散热拉胯，而2012年的第三代架构Kepler就把满堂安排思绪从high-perfermance转向power-efficient，改进散热题目；而为了然决前文提到的“肌肉傻瓜”的题目，2014年的第四代Maxwell架构又正在内部减少更众的逻辑独揽电道，便于精准独揽。

为了符合AI场景，英伟达“魔改”后的GPU某种水准上越来越像CPU——正如CPU出色的改变才气是以亡故算力为价格雷同，英伟达不得不正在打算重点的堆叠上压制起来。但身背通用性包袱的GPU再怎样改，正在AI场景下也难敌专用芯片。

2014年依靠GoogLeNet秀完肌肉后，Google就不再公然插足机械识别大赛，并暗害研发AI专用芯片。2016年Google依靠AlphaGo先声夺人，赢下李世石后旋即推出自研的AI芯片TPU，以“为AI而生”的全新架构打了英伟达一个措手不足。

TPU是Tensor Processing Unit的首字母缩写，中文名叫做“张量解决单位”。假如说英伟达对GPU的“魔改”是拆了东墙补西墙，那么TPU便是通过从基本上大幅消重存储和连绵的需求，将芯片空间最大水准让与给了打算，全体来说两大技术：

第一是量化身手。今世打算机运算平日行使高精度数据，占用内存较众，但到底上正在神经汇集打算群众不必要精度抵达32位或16位浮点打算，量化身手的性质基础上是将32位/16位数字近似到8位整数，连结妥当的精确度，消重对存储的需求。

第二是脉动阵列，即矩阵乘法阵列，这也是TPU与GPU最症结的区别之一。容易来说，神经汇集运算必要实行豪爽矩阵运算，GPU只可按部就班将矩阵打算拆解成众个向量的打算，每告终一组都需探访内存，保管这一层的结果，直到告终全盘向量打算，再将每层结果组合获得输出值。

而正在TPU中，成千上万个打算单位被直接连绵起来酿成矩阵乘法阵列，行动打算重点，能够直接实行矩阵打算，除了最发轫从加载数据和函数外无需再探访存储单位，大大消重了探访频率，使得TPU的打算速率大大加疾，能耗和物理空间占用也大大消重。

Google搞TPU速率特别疾，从安排、验证、量产到最终安顿进自家数据核心只花了15个月的年光。通过测试，TPU正在CNN、LSTM、MLP等AI场景下的职能和功耗大大胜过了英伟达同期的GPU。压力便一会儿所有给到了英伟达。

Google推出TPU的5个月后，英伟达也祭出了16nm工艺的Pascal架构。新架构一方面引入了出名的NVLink高速双向互联身手，大幅晋升连绵带宽；一方面模拟TPU的量化身手，通过消重数据精度来晋升神经汇集的打算效能。

2017年，英伟达又推出了首个专为深度研习安排的架构Volta，内里第一次引入了TensorCore，特意用于矩阵运算的——固然4×4的乘法阵列跟TPU 256×256的脉动阵列比拟略显寒酸，但也是正在连结精巧和通用性的根源上作出的妥协。

Google也争分夺秒，2016年自此TPU正在五年内更新了3代，2017年推出了TPUv2、2018年推出了TPUv3、2021年推出了TPUv4，并把数据怼到英伟达的脸上[4]：TPU v4比英伟达的A100打算速率疾1.2～1.7倍，同时功耗消重1.3～1.9倍。

Google并错误外出售TPU芯片，同时无间多量量采购英伟达的GPU，这让两者的AI芯片竞赛停滞正在“冷战”而非“明争”上。但终究Google把TPU其安顿到自家的云供职编制中，对外供应AI算力供职，这无疑压缩了英伟达的潜正在市集。

正在两者“冷战”的同时，人工智能周围的转机也正在日新月异。2017年Google提出了革命性的Transformer模子，OpenAI随即基于Transformer拓荒了GPT-1，大模子的军备竞赛产生，AI算力需求自2012年AlexNet闪现之后，迎来了第二次加快。

察觉到新的风向之后，英伟达正在2022年推出Hopper架构，初次正在硬件层面引入了Transformer加快引擎，扬言能够将基于Transformer的大讲话模子的演练年光晋升9倍。基于Hopper架构，英伟达推出了“地外最强GPU”——H100。

H100是英伟达的终极“缝合怪”，一方面引入了百般AI优化身手，如量化、矩阵打算（Tensor Core 4.0）和Transformer加快引擎；另一方面则堆满了英伟达守旧强项，如7296个CUDA核、80GB的HBM2显存以及高达900GB/s的NVLink 4.0连绵身手。

Google和英伟达的漆黑拉锯，同样也是是一种互相成效：英伟达从Google舶来了不少更始身手，Google的人工智能前沿查究也富裕受益于英伟达GPU的除旧布新，两者联手把AI算力消重到大讲话模子“踮着脚”能用的起的秤谌。风头正劲者如OpenAI，也是站正在这两位的肩膀之上。

但情怀归情怀，生意归生意。盘绕GPU的攻防大战，让业界越发确定了一件事务：GPU不是AI的最优解，定制化专用芯片（ASIC）有破解英伟达垄断身分的能够性。缝隙已开，循味而来的自然不会只要Google一家。

本轮AI高潮除了OpenAI外，尚有两家出圈的公司，一家是AI画图公司Midjourney，其对百般画风的控制才气让众数碳基美工闻风丧胆；别的一家是Authropic，创始人来自OpenAI，其对话机械人Claude跟ChatGPT打的有来有回。

为了应接AI算力的产生，Google用4096块TPU搭修了一套超算（TPU v4 Pod），芯片之间用自研的光电道开闭 (OCS) 互连，不光能够用来演练自家的LaMDA、MUM和PaLM等大讲话模子，还能给AI草创公司供应价廉物美的供职。

自身DIY超算的尚有特斯拉。正在推出车载FSD芯片之后，特斯拉正在2021年8月向外界浮现了用3000块自家D1芯片搭修的超算Dojo ExaPOD。个中D1芯片由台积电代工，采用7nm工艺，3000块D1芯片直接让Dojo成为环球第五大算力周围的打算机。

微软是英伟达最大的客户之一，其自家的Azure云供职起码进货了数万张A100和H100高端GPU，他日不光要维持ChatGPT天量的对话打发，还要需要Bing、Microsoft 365、Teams、Github、SwiftKey等一系列要行使AI的产物中去。

留神算下来，微软要缴纳的“Nvidia税”是一个天文数字，自研芯片简直是肯定。就像阿里当年算了一下淘宝天猫他日对云打算、数据库、存储的需求，察觉也是一个天文数字，于是武断发轫扶助阿里云，内部打开大张旗饱的“去IOE”运动。

节流本钱是一方面，笔直整合打制区别化是另一方面。正在手机时期，三星手机的CPU(AP)、内存和屏幕都是自产自销，为三星做到环球安卓霸主立下汗马收获。Google和微软制芯，也是针对自家云供职来实行芯片级优化，打制区别性。

以是，跟苹果三星错误外出售芯片分歧，Google和微软的AI芯片固然也不会对外出售，但会通过“AI算力云供职”来消化掉英伟达一一面潜正在客户，Midjourney和Authropic便是例子，他日会有更众的小公司（特别是AI运用层）遴选云供职。

环球云打算市集的聚会度很高，前五大厂商（亚马逊AWS、微软Azure、Google Cloud、阿里云和IBM）占比超60%，都正在做自身的AI芯片，个中Google的进度最疾、IBM的储存最强、微软的膺惩最大、亚马逊的保密做的最好、阿里做的繁难最众。

邦内大厂自研芯片，Oppo哲库的终局会给每个入场的玩家投上暗影。但海外大厂做自研，人才身手供应链都能够用资金来构修出来，比方特斯拉当年搞FSD，挖来了硅谷大神Jim Keller，而Google研发TPU，直接请到了图灵奖获取者、RISC架构创造人David Patterson教化。

除了大厂外，少许中小公司也正在试图分走英伟达的蛋糕，如估值一度抵达28亿美金的Graphcore，邦内的寒武纪也属于此列。下外罗列了目前环球边界内较为出名的草创AI芯片安排公司。

AI芯片草创公司的繁难正在于：没有大厂雄厚的财力接续进入，也不行像Google那样自产自销，除非身手门道独辟门道或者上风格外强横，不然正在跟英伟达短兵连续时基础毫无胜算，后者的本钱和生态上风简直能够抹平客户一共疑虑。

当然，大厂现正在还离不开英伟达。比方假使Google的TPU仍旧更新到了第4代，但如故必要多量量采购GPU来跟TPU协同供应算力；特斯拉假使有了职能吹上天的Dojo超算，马斯克正在筹修AI新公司时如故遴选向英伟达采购10000张GPU。

只是看待大厂的塑料交情，黄仁勋早就正在马斯克身上贯通过。2018年马斯克公然扬言要自研车载芯片（当时用的是英伟达的DRIVE PX），黄仁勋正在电话聚会上被领悟师马上质问，一度下不来台。过后马斯克发布了一番“澄清”，但一年之后特斯拉如故头也不回地离英伟达而去[5]。

大厂正在省本钱这方面，一向不会留情。PC机时期Intel的芯片固然卖给B端，但消费者具有剧烈的遴选自决性，厂商必要标榜“Intel Inside”；但正在算力云化时期，巨头能够屏障掉一共底层硬件新闻，他日同样进货100TFlops算力，消费者能分得清哪一面来自TPU，哪一面来自GPU吗？

于是，英伟达最终如故要直面阿谁题目：GPU确实不是为AI而生，但GPU会不会是AI的最优解？

17年来，黄仁勋把GPU从简单的逛戏何图像解决场景中剥离出来，使其成为一种通用算力东西，矿潮来了抓矿潮，元宇宙火了跟元宇宙、AI来了抱AI，针对一个个新场景持续“魔改”GPU，试图正在“通用性”和“专用性”之间找到一个平均点。

复盘英伟达过去二十年，其推出了数不清的转变业界的新身手：CUDA平台、TensorCore、RT Core（光彩追踪）、NVLink、cuLitho平台（打算光刻）、夹杂精度、Omniverse、Transformer引擎……这些身手助助英伟达从一个二线芯片公司酿成了全行业市值的南波腕，弗成谓不励志。

但一代时期该当有一个时期的打算架构，人工智能的进展日新月异，身手冲破疾到以小时来计，假如念让AI对人类生计的渗出像PC机/智老手机普实时那样大幅晋升，那么算力本钱能够必要低重99%，GPU确实能够不是独一的谜底。