以O(shè)penAI ChatGPT為代表的通用人工智能的快速發(fā)展，預(yù)示著全球新一輪科技革命和產(chǎn)業(yè)變革已經(jīng)到來。ChatGPT除了有上萬塊GPGPU（通用圖形處理器）提供強(qiáng)大算力，還有大模型算法、大數(shù)據(jù)的支撐。

作為數(shù)字經(jīng)濟(jì)時代的全新生產(chǎn)力，數(shù)據(jù)、算力和算法成為新時代的關(guān)鍵資源。大模型的開發(fā)、訓(xùn)練、微調(diào)及推理各個環(huán)節(jié)均離不開算力，且算力成本占據(jù)整體開銷的大頭。可以說，算力成為支撐大模型發(fā)展的關(guān)鍵因素，也是科技競爭的戰(zhàn)略高地。

在大規(guī)模的前端產(chǎn)品落地后，算力建設(shè)能否及時跟上，成為AI大模型向各領(lǐng)域進(jìn)一步滲透的關(guān)鍵因素。為此，本刊專訪了長期從事超級計算和算力經(jīng)濟(jì)研究的十四屆全國政協(xié)委員、中國科學(xué)院計算技術(shù)研究所研究員張云泉，探討AI大模型發(fā)展如何打破算力瓶頸。

暴露核心問題

《瞭望東方周刊》：在大模型發(fā)展熱潮下，哪些問題成為制約國產(chǎn)大模型發(fā)展的重要因素？

張云泉：成本高昂、供應(yīng)不穩(wěn)，需求激增，這三點(diǎn)勾勒出了中國AI算力面臨的整體挑戰(zhàn)。

首先，大模型訓(xùn)練用國產(chǎn)高端AI芯片供應(yīng)不足，國產(chǎn)AI芯片公司尚未形成合力。目前，國內(nèi)雖然已形成了以華為、寒武紀(jì)等為代表的優(yōu)秀AI芯片廠商方陣，但由于缺乏算力芯片的國家或行業(yè)標(biāo)準(zhǔn)，各廠家形成了自己的生態(tài)體系且互不兼容，造成用戶學(xué)習(xí)和運(yùn)營成本上升。目前，國內(nèi)尚未有一家AI芯片公司的產(chǎn)品能夠支持萬卡并行大模型訓(xùn)練，更不用說未來的十萬卡、百萬卡甚至千萬卡并行的挑戰(zhàn)。

其次，大模型落地所需要的配套軟件、服務(wù)生態(tài)及市場缺乏投資、引導(dǎo)與建設(shè)，所需要的低功耗芯片和算子庫的開發(fā)與應(yīng)用、配套技術(shù)等不足。大模型產(chǎn)品形式單一，運(yùn)營成本高，提高了傳統(tǒng)企業(yè)應(yīng)用大模型的門檻、增加了研發(fā)費(fèi)用和成本。

第三，目前，很多高校由于資源限制和師資力量不足，缺乏足夠的實(shí)驗(yàn)設(shè)備和實(shí)踐機(jī)會，導(dǎo)致具有科技創(chuàng)新能力又能熟練應(yīng)用AI新技術(shù)的人才十分緊缺。

6月22日，觀眾在天津2024世界智能產(chǎn)業(yè)博覽會上的天士力展臺了解數(shù)智本草大模型（李然/攝）

把握時間窗口

《瞭望東方周刊》：針對當(dāng)前問題，國產(chǎn)大模型發(fā)展如何打破算力瓶頸？

張云泉：過去的15年，我國超算的研制水平已經(jīng)達(dá)到世界領(lǐng)先水平，形成了神威、天河和曙光三大世界級超算研制團(tuán)隊，奪得了11次世界冠軍和兩次超算應(yīng)用最高獎戈登貝爾獎，神威新一代超算證明可以支撐萬億規(guī)模參數(shù)的大模型訓(xùn)練過程。

因此，可以考慮設(shè)立能夠支持萬億級參數(shù)多模態(tài)大模型訓(xùn)練的專用超算攻關(guān)專項，盡快緩解國產(chǎn)主權(quán)基礎(chǔ)大模型訓(xùn)練的算力瓶頸。

國內(nèi)一些企業(yè)往往傾向于使用國外的開源大模型，容易出現(xiàn)低水平重復(fù)與內(nèi)卷，導(dǎo)致算力資源分散。時間窗口有限，我們不能錯失良機(jī)。

通過專用超算攻關(guān)專項計劃的支持，可充分利用超算領(lǐng)域多年積累的人才和技術(shù)優(yōu)勢，快速形成突破，為研制更先進(jìn)適用的大模型專用訓(xùn)練芯片和系統(tǒng)贏得時間。可以考慮集中全國AI芯片研制力量，組建由業(yè)內(nèi)權(quán)威專家和各主要AI芯片廠家參加的智能算力發(fā)展專項組，通過多輪競爭，確定訓(xùn)練芯片研發(fā)技術(shù)路線和國家標(biāo)準(zhǔn)，集中投入，整合芯片產(chǎn)能，盡快研制出能夠滿足十萬卡、百萬卡甚至千萬卡并行算力需求的AI芯片和系統(tǒng)。

同時，要大力發(fā)展經(jīng)濟(jì)實(shí)用大模型推理產(chǎn)業(yè)鏈。通過投資引導(dǎo)低功耗推理芯片和算子庫技術(shù)攻關(guān)，鼓勵大模型壓縮、適配和性能調(diào)優(yōu)等技術(shù)研發(fā)，通過規(guī)模效應(yīng)實(shí)現(xiàn)成本共擔(dān)，降低模型推理算力成本，形成經(jīng)濟(jì)適用國產(chǎn)大模型推理產(chǎn)業(yè)鏈。此外，可為大模型企業(yè)和愿意通過大模型手段智能化轉(zhuǎn)型的傳統(tǒng)企業(yè)提供必要支持和配套服務(wù)，快速形成新質(zhì)智能生產(chǎn)力，助力國產(chǎn)大模型平臺企業(yè)生態(tài)建設(shè)和占領(lǐng)市場。

《瞭望東方周刊》：針對人工智能人才培養(yǎng)的問題，您有哪些建議？

張云泉：針對教育資源分配不均，可以通過探索設(shè)立“生成式人工智能教學(xué)資源共享平臺”，以鼓勵學(xué)校間共享教學(xué)內(nèi)容資源和教學(xué)計算資源。

課程內(nèi)容更新方面，建議設(shè)立“生成式人工智能國際協(xié)同創(chuàng)新計劃”，以鼓勵國內(nèi)外學(xué)校（或企業(yè)）合作創(chuàng)新課程內(nèi)容和教學(xué)方法。

產(chǎn)教融合方面，學(xué)校和產(chǎn)業(yè)界應(yīng)加強(qiáng)合作，可設(shè)立“生成式人工智能創(chuàng)新實(shí)踐基地”，以鼓勵有智能化需求的行業(yè)企業(yè)提供實(shí)習(xí)機(jī)會和人工智能應(yīng)用場景。

師資力量方面，可加快推進(jìn)在生成式人工智能領(lǐng)域企業(yè)導(dǎo)師的引進(jìn)速度，通過企業(yè)導(dǎo)師幫助校內(nèi)教師提升在生成式人工智能領(lǐng)域的知識和教學(xué)能力。

2023年5月23日，工作人員在貴州大學(xué)省部共建公共大數(shù)據(jù)國家重點(diǎn)實(shí)驗(yàn)室的智能就業(yè)服務(wù)平臺上工作。該實(shí)驗(yàn)室建成了一流科研平臺與超算中心，人工智能算力達(dá)120petaflops（劉續(xù)/攝）

“主權(quán)級”大模型

《瞭望東方周刊》：目前，國內(nèi)企業(yè)之間山頭林立，從智能應(yīng)用、開發(fā)框架、系統(tǒng)軟件、智能芯片，每層都有相關(guān)產(chǎn)品，但各層之間沒有深度適配，無法形成一個有競爭力的技術(shù)體系。這一問題應(yīng)如何解決？

張云泉：AI大模型已成為各國科技競爭的戰(zhàn)略高地。要正面解決AI和算力領(lǐng)域發(fā)展面臨的各項困難和挑戰(zhàn)，找到一條發(fā)展主權(quán)級大模型的道路，非常重要。

從國際情況來看，2023年，英國創(chuàng)立“基礎(chǔ)模型工作組”，希望能擁有自己國家的“主權(quán)”人工智能技術(shù)，其公共服務(wù)也能夠從這種人工智能的轉(zhuǎn)型影響中受益。英偉達(dá)直接提出“主權(quán)AI”的概念，并將其定義為“一個國家利用自己的基礎(chǔ)設(shè)施、數(shù)據(jù)、勞動力和商業(yè)網(wǎng)絡(luò)生產(chǎn)AI的能力”。

“主權(quán)AI ”涵蓋物理和數(shù)據(jù)基礎(chǔ)設(shè)施，后者就包括“主權(quán)級基礎(chǔ)大模型”——由當(dāng)?shù)貓F(tuán)隊開發(fā)，并在當(dāng)?shù)財?shù)據(jù)集上進(jìn)行訓(xùn)練，以促進(jìn)對特定語言、文化和習(xí)俗的包容性。

“主權(quán)級基礎(chǔ)大模型”其實(shí)是一個動態(tài)概念，指的是某一時期內(nèi)最高水平的大模型。這一大模型算力要求最高、智能水平最高，是一個國家AI水平的最高點(diǎn)、基礎(chǔ)大模型的基礎(chǔ)，也可以被稱為“根模型”。

對中國來說，要立足國產(chǎn)算力平臺和智能芯片，推動實(shí)現(xiàn)利用自己的基礎(chǔ)設(shè)施、數(shù)據(jù)、勞動力和商業(yè)網(wǎng)絡(luò)發(fā)展AI的能力；要將發(fā)展“主權(quán)級大模型”和算力實(shí)體產(chǎn)業(yè)培育發(fā)展新質(zhì)生產(chǎn)力相結(jié)合，正面解決中國AI和算力領(lǐng)域發(fā)展面臨的關(guān)鍵問題。