一項針對全球數(shù)十家學術(shù)機構(gòu)的學者開展的調(diào)查顯示，許多大學的科學家對人工智能（AI）研究可用的算力資源感到沮喪。

相關(guān)研究論文已于近日發(fā)布在預印本服務器arXiv上，指出學者難以接觸到最先進的計算系統(tǒng)，這可能阻礙他們開發(fā)大型語言模型（LLM）和其他AI研究的進展。

（圖片來源：nature）

具體而言，學術(shù)研究者往往沒有資源獲取足夠強大的圖形處理器（GPU）——這些電腦芯片常用于訓練AI模型，且價格昂貴，可達數(shù)千美元。相比之下，大型科技公司的研究者預算更高，可以在GPU上投入更多資金。“每增加一塊GPU，就能提升更多算力。”美國布朗大學計算機科學家、該研究的合著者Apoorv Khandelwal表示，“雖然行業(yè)巨頭可能擁有數(shù)千塊GPU，但學者可能只有幾塊。”

“學術(shù)界與行業(yè)界的模型差距巨大，但本可以小得多。”美國華盛頓特區(qū)非營利AI研究機構(gòu)EleutherAI的執(zhí)行董事Stella Biderman說。她表示，對這一差距的研究“至關(guān)重要”。

為了評估學者可用的計算資源，研究團隊對35家機構(gòu)的50名科學家進行了調(diào)查。受訪者中，66％對自己的算力滿意度打了3分及以下（滿分5分）。“他們根本不滿意。”Khandelwal說。

各大學在GPU訪問設置上有所不同。有些學校設有供各部門和學生共享的中央計算集群，研究人員可申請GPU使用時間。另一些機構(gòu)可能為實驗室成員直接購買機器。

柱狀圖揭示了調(diào)查的結(jié)果：學者通常只能有限地訪問圖形處理器，這進而限制了他們訓練機器學習模型的能力。

一些科學家表示，他們不得不等待數(shù)天才能使用GPU，并指出在項目截止日期前后等待時間特別長。調(diào)查結(jié)果還凸顯了全球算力訪問的差異。例如，有受訪者提到在中東地區(qū)難以找到GPU。僅有10％的受訪者表示，他們可以使用英偉達的H100GPU，這是專為AI研究設計的高端芯片。

這一障礙極大地加劇了預訓練過程的難度，即向大型語言模型（LLM）輸入海量數(shù)據(jù)集的過程變得尤為困難。“由于成本高昂，大多數(shù)學者甚至不敢涉足預訓練領(lǐng)域的研究。”Khandelwal指出。他和同事堅信，學者在人工智能研究中帶來了獨一無二的視角，而算力的匱乏可能會嚴重制約這一領(lǐng)域的未來發(fā)展。

“為了長期的增長和技術(shù)發(fā)展，擁有一個健康、有競爭力的學術(shù)研究環(huán)境至關(guān)重要。”美國布朗大學計算機科學和語言學學者、該研究的合著者Ellie Pavlick說，“相比之下，在行業(yè)研究中往往存在顯著的商業(yè)壓力，這有時會促使研究人員急于求成，減少了對未知領(lǐng)域的探索。”

研究人員還深入探究了學者如何在算力資源有限的情況下更高效地進行利用。他們測算了在使用1至8塊GPU的低資源硬件環(huán)境下，預訓練多個大型語言模型（LLM）所需的時間。盡管面臨資源限制，學者仍成功訓練出多個模型，但這一過程耗時更長，并要求他們必須采用更為高效的方法。

“我們實際上可以延長現(xiàn)有GPU的使用時間，從而在一定程度上彌補與行業(yè)界的差距。”Khandelwal說。

“在有限的計算資源上竟然也能訓練出比許多人預期中更大的模型，這確實令人驚嘆。”德國薩爾布呂肯薩爾蘭大學神經(jīng)顯式模型研究者Ji-Ung Lee表示。他進一步指出，未來的研究可以聚焦小公司行業(yè)研究者的經(jīng)歷，因為他們同樣在計算資源獲取上面臨困境。“并非所有有能力獲取無限算力的人都能夠如愿以償。”他補充道。

關(guān)鍵詞：