內情的消息人士透露，百度、字節(jié)跳動、騰訊和阿里巴巴已向英偉達共訂購了價值10億美元的A800處理器，將于今年交付，還購買了價值40億美元的GPU，將于2024年交付。

·“我被告知，對于需要100或1000塊（英偉達GPU）H100的公司來說，Azure（微軟云服務）和GCP（谷歌云服務）實際上已經沒有容量了，亞馬遜也接近沒有容量了。”

隨著生成式人工智能爆火，英偉達的GPU因為能為開發(fā)大型語言模型提供算力，已成為全球科技行業(yè)最熱門的商品。

硬件短缺真的會拖累人工智能革命嗎？在OpenAI首席執(zhí)行官山姆·奧特曼和特斯拉首席執(zhí)行官埃隆·馬斯克抱怨GPU（圖形處理器）不夠用之后，這個事實越來越明顯。

中國多家互聯網巨頭正在搶購對構建生成式人工智能系統至關重要的高性能英偉達（Nvidia）芯片，訂單價值總計約50億美元。

知名科技博客GPU Utils最近對GPU短缺問題進行了一項深入調查，證實了科技巨頭的擔憂。通過與國外各大云服務和GPU提供商高管的對話，博客主克雷·帕斯卡爾（Clay Pascal）寫道：“我被告知，對于需要100或1000塊（英偉達GPU）H100的公司來說，Azure（微軟云服務）和GCP（谷歌云服務）實際上已經沒有容量了，亞馬遜也接近沒有容量了。”

將于今年或明年交付

據《金融時報》8月10日報道，多位熟知內情的消息人士透露，百度、字節(jié)跳動、騰訊和阿里巴巴已向英偉達共訂購價值10億美元的A800處理器，將于今年交付。兩位與英偉達關系密切的人士說，這些中國企業(yè)還購買了價值40億美元的GPU，將于2024年交付。

隨著生成式人工智能爆火，英偉達的GPU因為能為開發(fā)大型語言模型提供算力，已成為全球科技行業(yè)最熱門的商品。一位英偉達經銷商此前表示，經銷商們手中的A800價格上漲了50%以上。

A800是英偉達用于數據中心的尖端A100 GPU的弱化版本。由于美國去年實施的出口限制，中國的科技公司只能購買數據傳輸速率低于A100的A800。

據兩位接近字節(jié)跳動的人士透露，字節(jié)跳動有許多小團隊正在開發(fā)各種生成式人工智能產品，其中包括一個代號為Grace的人工智能聊天機器人，目前正在進行內部測試。

今年早些時候，字節(jié)跳動為其社交媒體應用TikTok測試了一個生成式人工智能功能，名為TikTok Tako，授權使用OpenAI的ChatGPT。

兩位直接了解情況的員工表示，字節(jié)跳動已經儲備了至少1萬塊英偉達GPU，還訂購了近7萬塊A800芯片，將于明年交付，價值約7億美元。

目前，字節(jié)跳動利用儲備的英偉達A800和A100提供云計算設備。6月，該公司發(fā)布大模型服務平臺“火山方舟”，供企業(yè)試用不同的大語言模型服務。

騰訊云在4月發(fā)布了專為大模型訓練設計的新一代HCC高性能計算集群，供他人租用計算能力，采用了英偉達H800 GPU，這是英偉達最新的H100型號在中國的改良版，可以為大型語言模型訓練、自動駕駛和科學計算提供動力。

據兩位接近阿里巴巴的人士透露，阿里巴巴云也從英偉達收到了數千塊H800芯片，許多客戶已經聯系該公司，尋求由這些芯片驅動的云服務。

針對《金融時報》的這一報道，英偉達、百度、字節(jié)跳動、騰訊和阿里巴巴拒絕發(fā)表評論。

稀缺性加劇稀缺性？

在國外，大多數人工智能開發(fā)者都通過亞馬遜和微軟等科技公司的云服務獲得頂級處理器。但根據GPU Utils的深度調查，現在情況發(fā)生了變化，一位匿名員工告訴帕斯卡爾，現在的情況“就像20世紀70年代的大學主機一樣”供應緊張。人工智能公司甚至用GPU作為抵押來擔保他們的債務。

調查稱，目前最被需要的GPU是英偉達的H100，因為它對于大模型的推理和訓練來說都是速度最快的，通常也是推理方面性價比最高的。匿名人士稱：“我的分析是，（H100）做同樣的工作也更便宜。如果你能找到V100，那它就很劃算了，但你卻找不到。”

對于大模型訓練來說，內存帶寬、浮點運算次數、緩存和緩存延遲、互連速度等是重要的因素。H100比A100更受青睞，部分原因是緩存延遲較低和具有FP8計算功能等。

A100和H100的性能對比。圖片來源：GPU Utils

除了英偉達，芯片巨頭AMD也在生產GPU，但一位私有云公司的高管表示：“理論上，一家公司可以購買一堆AMD的GPU，但要讓一切正常運轉需要時間。開發(fā)時間（即使只有兩個月）可能意味著比競爭對手更晚進入市場。所以CUDA現在是英偉達的護城河。”CUDA是英偉達推出的只能用于自家GPU的并行計算框架。

調查稱，目前谷歌云擁有大約2.5萬塊H100，微軟云服務Azure可能有1萬-4萬塊H100，甲骨文的情況應該類似。Azure的大部分容量都將流向OpenAI。對于H100的需求，OpenAI可能需要5萬塊，Meta可能需要2.5萬塊，大型云廠商可能每家都需要3萬塊，加上其他一些初創(chuàng)企業(yè)，可能總共需要大約43.2萬塊H100。以每塊約3.5萬美元計算，所需GPU的價值約為150億美元。這還不包括像字節(jié)跳動（TikTok）、百度和騰訊這樣需要大量H800的中國公司。

“因此，供應短缺可能需要一段時間才能消失。但我的所有估計都可能被嚴重夸大了，其中許多公司今天不會立即購買H100，他們會隨著時間的推移進行升級。此外，英偉達正在積極提高產能。”帕斯卡爾寫道。

但帕斯卡爾也指出，芯片巨頭臺積電還無法生產足夠多的高端GPU。目前，臺積電是H100的唯一生產商。英偉達未來也可能和芯片制造商英特爾與三星合作，但在短期內不會解決供應緊張。

英偉達GPU的供應路徑。圖片來源：GPU Utils

一位退休的半導體行業(yè)專業(yè)人士認為，臺積電的瓶頸不是晶圓開工，而是CoWoS（3D堆疊）封裝。

此外，影響內存帶寬的HBM（高帶寬內存）也是生產難點，HBM主要由韓國廠商生產。當地時間8月8日，英偉達宣布推出世界上第一個配備HBM3e內存的GPU芯片——下一代版本的GH200 Grace Hopper超級芯片，將于2024年二季度上市。HBM3e內存比當前一代GH200中的HBM3技術快50%。

英偉達表示今年下半年將會有更多供應，但除此之外沒有透露更多信息，也沒有提供任何定量信息。與此同時，一位私有云公司的高管認為，稀缺性導致GPU容量被視為護城河，從而導致更多的GPU囤積，又加劇稀缺性。

這份調查報告預計，至少到2023年底，H100的部署將出現大量短缺。屆時情況將會更加清晰，但目前看來，短缺情況可能還會持續(xù)到2024年的部分時間。