大模型熱到芯片暴漲 阿里百度成了英偉達(dá)的打工仔
文|《中國(guó)企業(yè)家》記者閆俊文中國(guó)科技公司和創(chuàng)業(yè)者競(jìng)相追逐大模型,引發(fā)GPU芯片需求量的暴增,以及價(jià)格的
文|《中國(guó)企業(yè)家》記者 閆俊文
中國(guó)科技公司和創(chuàng)業(yè)者競(jìng)相追逐大模型,引發(fā)GPU芯片需求量的暴增,以及價(jià)格的瘋狂上漲。
(資料圖片僅供參考)
GPU是ChatGPT訓(xùn)練和部署的關(guān)鍵部件,這是強(qiáng)大算力的基礎(chǔ)設(shè)施。根據(jù)公開(kāi)消息,微軟的Azure云服務(wù)為ChatGPT構(gòu)建了超過(guò)1萬(wàn)枚英偉達(dá)A100 GPU芯片的AI計(jì)算集群。
千芯科技董事長(zhǎng)陳巍告訴《中國(guó)企業(yè)家》,以A100芯片為例,從去年年底到現(xiàn)在,其單價(jià)漲了超過(guò)50%,從之前約5萬(wàn)元漲到了近10萬(wàn)元。由于A100已經(jīng)被美國(guó)禁止售往中國(guó)內(nèi)地,國(guó)內(nèi)同行預(yù)估僅有3萬(wàn)枚存量。英偉達(dá)推出的A100替代版A800,國(guó)內(nèi)廠商也是排隊(duì)拿貨,并且常常無(wú)貨。
國(guó)內(nèi)某大型服務(wù)器廠商的員工王石也感受到了這股浪潮。他告訴《中國(guó)企業(yè)家》,近期供應(yīng)的壓力比較大,包括英偉達(dá)等供應(yīng)商的壓力也比較大,但這并不代表錯(cuò)過(guò)了這一波就沒(méi)有機(jī)會(huì)了,“相信今年年內(nèi)供需回歸到相對(duì)理性的水平”。
“我要給大家降溫。這是一個(gè)突發(fā)的需求,大家不要著急,不是說(shuō)我錯(cuò)過(guò)了這兩個(gè)月或者三個(gè)月,我就失敗了,遠(yuǎn)遠(yuǎn)沒(méi)有到那個(gè)時(shí)候。”王石強(qiáng)調(diào)。
據(jù)《中國(guó)企業(yè)家》統(tǒng)計(jì),除了阿里巴巴、百度等互聯(lián)網(wǎng)巨頭之外,商湯科技、昆侖萬(wàn)維、毫末智行、360等公司也官宣了自己的大模型,如果再加上王小川、王慧文、李開(kāi)復(fù)等創(chuàng)業(yè)者,中國(guó)年內(nèi)推出的大模型數(shù)量已經(jīng)超過(guò)了10個(gè)。
一些行業(yè)人士預(yù)測(cè),國(guó)內(nèi)需要有8至20個(gè)大模型,比如生物醫(yī)藥計(jì)算、材料計(jì)算、化學(xué)計(jì)算、自動(dòng)駕駛、氣象等大模型,甚至未來(lái)四五十個(gè)也說(shuō)不定。
算力、算法和數(shù)據(jù)構(gòu)成了AI時(shí)代的三要素,而算力又是電力般的基礎(chǔ)設(shè)施,有多少枚GPU,有多少算力,成為外界評(píng)估大模型研發(fā)和創(chuàng)業(yè)成敗的關(guān)鍵。
在這一輪由ChatGPT掀起的大模型創(chuàng)業(yè)潮里,黃仁勛和英偉達(dá)成為了大贏家。
據(jù)統(tǒng)計(jì),2020年,全世界跑AI的云計(jì)算與數(shù)據(jù)中心,80.6%都在用英偉達(dá)的GPU驅(qū)動(dòng)。截至發(fā)稿,英偉達(dá)股價(jià)為270美元,比2022年9月時(shí)的低點(diǎn)119美元翻了一番,總市值為6669億美元,成為美國(guó)第五大上市公司,比德州儀器、超威半導(dǎo)體(AMD)、高通、英特爾等芯片企業(yè)市值相加還要多。
五分之二的預(yù)算買(mǎi)算力
英偉達(dá)已經(jīng)供不上貨了。
近期,馬斯克為推進(jìn)推特內(nèi)部的新AIGC項(xiàng)目,購(gòu)買(mǎi)了大約1萬(wàn)枚GPU。從2022年末,微軟就實(shí)行了GPU資源配額供給,但今年1月以來(lái)審批時(shí)間越來(lái)越長(zhǎng),如今部分申請(qǐng)需要等待幾天甚至幾周才能獲批。同時(shí),微軟向英偉達(dá)預(yù)訂的數(shù)萬(wàn)枚GPU芯片,交貨無(wú)期。
2月份,出門(mén)問(wèn)問(wèn)CEO李志飛和美團(tuán)聯(lián)合創(chuàng)始人王慧文,討論了大模型創(chuàng)業(yè)要花多少錢(qián)、入門(mén)門(mén)檻什么樣。李志飛認(rèn)為,門(mén)檻至少需要5000萬(wàn)美元,其中的2000萬(wàn)美元就是用來(lái)購(gòu)買(mǎi)算力的。王慧文和李志飛不久前相繼宣布在大模型領(lǐng)域創(chuàng)業(yè)。
根據(jù)陳巍測(cè)算,國(guó)內(nèi)如果想要直接訓(xùn)練出一個(gè)ChatGPT3級(jí)別的大模型,常規(guī)最少需要1000枚A100級(jí)別的GPU芯片,而如果想要實(shí)際部署,不考慮冗余和響應(yīng)速度,對(duì)于搜索引擎級(jí)別的服務(wù),至少需要6000枚A100級(jí)別的GPU芯片。僅僅芯片一項(xiàng),最小投入就到了近10億元人民幣。
一份流傳的《阿里AI專(zhuān)家交流紀(jì)要》顯示,百度年初緊急下單3000臺(tái)8張芯片的A800服務(wù)器,這意味著需要2.4萬(wàn)枚A800,而預(yù)計(jì)全年百度會(huì)有A800和H800共5萬(wàn)枚的需求。阿里云預(yù)計(jì)在今年需要1萬(wàn)枚左右,其中6000枚是H800。此外,阿里云也會(huì)用到平頭哥這種自研的芯片,每年采購(gòu)大概3000枚。
2022年9月,英偉達(dá)發(fā)布H100型號(hào)GPU,但被美國(guó)禁止出口至中國(guó),但英偉達(dá)怎會(huì)忍心錯(cuò)過(guò)中國(guó)的大模型熱,為了出口,英偉達(dá)犧牲了部分性能,在今年推出了H800版本。
對(duì)照百度發(fā)布的文心一言,陳巍測(cè)算,按照國(guó)內(nèi)成本估算單次應(yīng)答成本5分錢(qián),如果日訪(fǎng)問(wèn)量10億人次,以月租價(jià)格評(píng)估,每天云計(jì)算成本約5000萬(wàn)元人民幣,一個(gè)月將增加成本15億元,一年增加成本180億元,遠(yuǎn)遠(yuǎn)高于訓(xùn)練成本。此前媒體估算,ChatGPT光3月份的電費(fèi)就得交近200萬(wàn)美元,這差不多跟27.5萬(wàn)中國(guó)居民一個(gè)月用電量相當(dāng)。
《中國(guó)企業(yè)家》了解到,對(duì)于不缺錢(qián)的巨頭來(lái)說(shuō),A100存儲(chǔ)量也不多,未來(lái)采購(gòu)以A800和H800為主,但仍需要V100等老式芯片補(bǔ)充。V100性?xún)r(jià)比高一些,在云上跑的成本是A100的三分之二左右,但運(yùn)行速度較慢,如果是ChatGPT4級(jí)別大模型就不夠用了。
也就是說(shuō),要想大模型算得更快、更準(zhǔn),必須適配最先進(jìn)的GPU芯片。雖然拿不到最先進(jìn)的GPU,但大模型玩家依然在積極囤貨。按照上述數(shù)字估算,國(guó)內(nèi)對(duì)A800以及H800的需求已經(jīng)到了數(shù)十萬(wàn)級(jí)別。
王石說(shuō),目前來(lái)看,對(duì)于算力的需求可以說(shuō)是上不封頂,有多少算力,都希望能夠投身進(jìn)來(lái),“只能這么說(shuō),越多越好”。
僅僅靠資本似乎已經(jīng)玩不轉(zhuǎn)了,大模型之戰(zhàn),最后結(jié)局可能還是巨頭之間的游戲。
一位頭部投資機(jī)構(gòu)的負(fù)責(zé)人告訴《中國(guó)企業(yè)家》:“創(chuàng)投界這點(diǎn)資本是不值一提的,資本它對(duì)整個(gè)行業(yè)的格局不造成影響,本來(lái)就這點(diǎn)錢(qián)也投不起,中國(guó)這幾個(gè)VC加上PE,今年不在ChatGPT上投下10億、20億美元,水漂都打不起來(lái),做不了幾個(gè)訓(xùn)練級(jí),但是百度和華為如果愿意在上面努力去做的話(huà),我覺(jué)得投得起?!?/p>
瘸腿奔跑的中國(guó)大模型
不管是阿里巴巴、騰訊、百度等巨頭,還是王慧文、王小川等創(chuàng)業(yè)者,他們不得不戴著枷鎖跳舞:一方面,迫于美國(guó)的芯片禁令,他們得不到最先進(jìn)的芯片源源不斷的支持;另一方面,他們還要追趕國(guó)外已經(jīng)到了ChatGPT4水準(zhǔn)的技術(shù)。
陳巍感慨中國(guó)AI企業(yè)的不易。如果得不到國(guó)外先進(jìn)的芯片,中國(guó)企業(yè)只能使用比較老舊或者工藝成熟但不那么先進(jìn)的芯片,綜合性能可能只有A100的60%,數(shù)量需要更多,跑得卻更慢,綜合成本要高出20%至30%,對(duì)于企業(yè)來(lái)說(shuō),這很有可能是賺錢(qián)和不賺錢(qián)的分水嶺,活下去和活不下去的分水嶺。
處處受限,起步又晚,但大模型也得干下去。
王小川在接受媒體采訪(fǎng)時(shí)說(shuō),晚了也得干。美國(guó)人之前把核彈造出來(lái),中國(guó)就不造了嗎?這跟創(chuàng)業(yè)公司本身沒(méi)關(guān)系,是中國(guó)要不要做的問(wèn)題。
王石認(rèn)為,中國(guó)企業(yè)沒(méi)必要“芯片焦慮”。他提到了前幾年“挖幣”造成的硬盤(pán)泡沫,結(jié)果造成了SSD(硬盤(pán))的一地雞毛,整個(gè)硬盤(pán)廠商在2022年整年可能都在消耗庫(kù)存。
GPU只是大模型創(chuàng)業(yè)鏈條中的一環(huán),機(jī)房環(huán)境、算法、人才等等也必須配套跟上。
IT設(shè)備特別是計(jì)算設(shè)備的迭代和更新太快,如果在沒(méi)有準(zhǔn)備好的時(shí)候,放在庫(kù)房里沒(méi)有用,放一年,價(jià)值就浪費(fèi)了?!艾F(xiàn)在都在用A800,今年下半年就有H800,性能提升很快,這個(gè)時(shí)候搶到了A800,但如果還沒(méi)有用起來(lái),是沒(méi)有價(jià)值的,永遠(yuǎn)會(huì)有新產(chǎn)品出來(lái)?!蓖跏硎?。
王石還補(bǔ)充說(shuō),現(xiàn)階段,算力的供應(yīng)無(wú)論如何是不夠的。這有兩個(gè)策略,一個(gè)是把后臺(tái)的產(chǎn)能跟上,另一個(gè)則是優(yōu)化效率,通過(guò)算法等技術(shù)手段提升可用算力的效率。
英偉達(dá)成最大贏家
阿里和騰訊近期在算力市場(chǎng)都有重大動(dòng)作。
阿里云在4月11日峰會(huì)上說(shuō),阿里云進(jìn)行有史以來(lái)最大幅度的一次降價(jià),通用計(jì)算將大幅降低,對(duì)比上一代主售產(chǎn)品最高可下降40%,還發(fā)布了“飛天免費(fèi)試用計(jì)劃”,開(kāi)放計(jì)算存儲(chǔ)、數(shù)據(jù)庫(kù)、機(jī)器學(xué)習(xí)等核心產(chǎn)品免費(fèi)試用。
騰訊則發(fā)布了新一代高性能計(jì)算集群HCC,采用了國(guó)內(nèi)首發(fā)的英偉達(dá)H800 GPU。有數(shù)據(jù)稱(chēng),騰訊云新一代集群的算力性能較前代提升高達(dá)3倍,是國(guó)內(nèi)性能最強(qiáng)的大模型計(jì)算集群。
但不管哪家,他們都擺脫不了一個(gè)名叫英偉達(dá)的廠商,其創(chuàng)始人黃仁勛,江湖人稱(chēng)“黃教主”,他多次為此次ChatGPT浪潮鼓風(fēng)。
“我們正處于AI的iPhone時(shí)刻。”黃仁勛在3月2023年GTC大會(huì)上說(shuō),“初創(chuàng)公司正在競(jìng)相打造顛覆性產(chǎn)品和商業(yè)模式,科技巨頭也在尋求突破?!?/p>
在此次大會(huì)上,黃仁勛發(fā)布了ChatGPT專(zhuān)門(mén)使用的芯片H100,而且他宣布,將會(huì)把由八塊旗艦版A100或H100芯片集成的超級(jí)AI計(jì)算系統(tǒng)通過(guò)租賃的方式開(kāi)放給企業(yè)。每月租金為37000美元,以加速推動(dòng)這輪大語(yǔ)言模型引領(lǐng)的AI繁榮。
外媒一份數(shù)據(jù)顯示,英偉達(dá)占據(jù)了95%圖形處理器的市場(chǎng)份額。IDC數(shù)據(jù)顯示,國(guó)內(nèi)GPU服務(wù)器在2021年占國(guó)內(nèi)服務(wù)器市場(chǎng)規(guī)模的比例超過(guò)88.4%,英偉達(dá)的產(chǎn)品占比超80%。
聯(lián)想集團(tuán)CTO芮勇說(shuō),目前來(lái)看,還是英偉達(dá)的天下,但未來(lái)不確定,因?yàn)榇蠹覍?duì)算力的需求只會(huì)越來(lái)越大。
行業(yè)人士說(shuō),未來(lái)GPU和算力的需求一定是多元的,或者說(shuō)異構(gòu)的。到了現(xiàn)在算力需求大爆發(fā)的時(shí)候,帶來(lái)的第一個(gè)變化就是在這個(gè)領(lǐng)域多元化的蓬勃發(fā)展。
水大魚(yú)大,但蝦米和浮游生物等也會(huì)有存活機(jī)會(huì)。多元帶來(lái)了更多的機(jī)會(huì),但是最后誰(shuí)能勝出,就看誰(shuí)的戰(zhàn)略定力,能持續(xù)地投入。
(應(yīng)采訪(fǎng)對(duì)象要求,文內(nèi)王石為化名)