“我們今天只是剛剛打開(kāi)生成式AI的一扇門，未來(lái)有多遠(yuǎn)，風(fēng)景有多優(yōu)美，目前都還未知。但大家基本上認(rèn)可這個(gè)大門已經(jīng)打開(kāi)了，未來(lái)還有足夠大的創(chuàng)新空間，因此我認(rèn)為還沒(méi)有到定義中國(guó)大模型意義的階段?！苯?，在浪潮信息大模型智算軟件棧的發(fā)布會(huì)上，浪潮信息高級(jí)副總裁劉軍如是表示。

圖丨浪潮信息高級(jí)副總裁劉軍

隨著AIGC技術(shù)的不斷演進(jìn)，人工智能正在朝著通用性的方向發(fā)展和更新。和狹義上所說(shuō)的人工智能不同，通用人工智能的核心在于，擁有像人類一樣的邏輯理解能力和工具使用能力，從而實(shí)現(xiàn)跨領(lǐng)域、跨任務(wù)和跨模態(tài)工作的目標(biāo)。

(相關(guān)資料圖)

如今，以ChatGPT為代表的大語(yǔ)言模型，為通用人工智能的發(fā)展帶來(lái)了技術(shù)源動(dòng)力。其能基于巨量的數(shù)據(jù)和復(fù)雜的訓(xùn)練方式進(jìn)行訓(xùn)練，并以此提高自身的學(xué)習(xí)能力和泛化能力，進(jìn)而實(shí)現(xiàn)在邏輯推理能力和涌現(xiàn)能力等方面的爆發(fā)，這是跨時(shí)代的意義。

因此，要想進(jìn)一步推動(dòng)通用人工智能的發(fā)展，必須在功能強(qiáng)大的大模型的基礎(chǔ)之上，提升其邏輯推理能力。與此同時(shí)，由于充沛的算力是發(fā)展大模型的前提，所以如何高效地利用算力、釋放算力價(jià)值，便成為了助推大模型發(fā)展的關(guān)鍵。

發(fā)布大模型智算軟件棧，為大模型開(kāi)發(fā)和落地打造高效生產(chǎn)力

在浪潮信息看來(lái)，“開(kāi)發(fā)大模型是一項(xiàng)復(fù)雜的系統(tǒng)工程，既要授之以魚(yú)，也要授之以漁”。尤其是對(duì)于那些深入布局大模型、重視打造自身核心競(jìng)爭(zhēng)力的企業(yè)來(lái)說(shuō)，更是需要綜合考量一系列問(wèn)題，包括對(duì)算力系統(tǒng)的部署和優(yōu)化，采集、清洗和處理數(shù)據(jù)，以及訓(xùn)練、推理、遷移模型等。

基于此，本著幫助企業(yè)在更省時(shí)省力的條件下，訓(xùn)練出更快、更穩(wěn)、更智能的大模型的初心，浪潮信息在本次會(huì)上正式發(fā)布大模型智算軟件棧OGAI（Open GenAI Infra）“元腦生智”。

圖丨浪潮信息大模型智算軟件棧發(fā)布

據(jù)介紹，OGAI能為大模型業(yè)務(wù)提供AI算力系統(tǒng)環(huán)境部署、算力調(diào)度及開(kāi)發(fā)管理能力的全棧全流程的智算軟件棧，旨在為大模型開(kāi)發(fā)和應(yīng)用打造高效的生產(chǎn)力，以加速生成式AI產(chǎn)業(yè)創(chuàng)新步伐。

客觀來(lái)看，在云計(jì)算時(shí)代，購(gòu)買云計(jì)算服務(wù)與直接購(gòu)買設(shè)備，就客戶而言，只是財(cái)務(wù)投資模型不一樣，但路徑都是相通的。但大模型時(shí)代的算力需求則不同，目前大模型研發(fā)已經(jīng)進(jìn)入萬(wàn)卡時(shí)代，人工智能算力資源已經(jīng)成為大模型行業(yè)巨大的進(jìn)入門檻。

就如浪潮信息人工智能與高性能應(yīng)用軟件部AI架構(gòu)師Owen ZHU在會(huì)后的訪談中表示：“訓(xùn)練大模型的算力平臺(tái)并不是算力的簡(jiǎn)單堆積，隨著模型的規(guī)模越來(lái)越大，單卡算力與模型總算力需求之間存在著巨大的差異。因此我們希望在提供硬件的基礎(chǔ)上，進(jìn)一步幫助客戶解決大模型生產(chǎn)可能會(huì)遇到的問(wèn)題。 OGAI正是如此應(yīng)運(yùn)而生：讓煉大模型省時(shí)、省力，讓大模型更快、更穩(wěn)、更智能，助力百模真正實(shí)現(xiàn)“競(jìng)速AIGC”。

圖丨大模型智算軟件棧

詳細(xì)來(lái)說(shuō)，該產(chǎn)品包含以下幾層：

第一，L0基礎(chǔ)設(shè)施層，也即智算中心OS。它能提供多租戶、裸金屬的AI算力運(yùn)營(yíng)運(yùn)維支撐平臺(tái)。其中，高效的裸金屬服務(wù)支持分鐘級(jí)部署上千規(guī)模裸金屬節(jié)點(diǎn)并按需進(jìn)行彈性擴(kuò)展，實(shí)現(xiàn)異構(gòu)計(jì)算芯片、IB、RoCE高速網(wǎng)絡(luò)、高性能存儲(chǔ)等環(huán)境一鍵獲取，并實(shí)現(xiàn)計(jì)算、網(wǎng)絡(luò)、數(shù)據(jù)隔離以保障業(yè)務(wù)安全。

第二，L1系統(tǒng)環(huán)境層，也即PODsys。它能提供開(kāi)源、高效、兼容、易用的智算集群系統(tǒng)環(huán)境部署方案，實(shí)現(xiàn)自動(dòng)化部署和彈性擴(kuò)展，并提高系統(tǒng)的可用性和擴(kuò)展性，幫助用戶在該環(huán)境下搭建大模型。

第三，L2調(diào)度平臺(tái)層，也即AIStation。作為面向大模型開(kāi)發(fā)的商業(yè)化人工智能算力調(diào)度平臺(tái)，針對(duì)大模型訓(xùn)練中常見(jiàn)的訓(xùn)練中斷難題，可實(shí)現(xiàn)訓(xùn)練異常快速定位，斷點(diǎn)自動(dòng)續(xù)訓(xùn)。通俗地說(shuō)，這一層能夠幫助用戶在動(dòng)輒數(shù)周至數(shù)月的訓(xùn)練時(shí)長(zhǎng)下，避免因硬件設(shè)備失效而帶來(lái)的效率損失問(wèn)題，進(jìn)而大幅提高模型訓(xùn)練的生產(chǎn)力。

第四，L3模型工具層，也即YLink。它能提供經(jīng)過(guò)驗(yàn)證的數(shù)據(jù)治理、大模型預(yù)訓(xùn)練和微調(diào)開(kāi)發(fā)工具鏈，助力用戶降低模型開(kāi)發(fā)和落地的門檻。

第五，L4多模納管層，也即MModel。它能作為多模型管理與服務(wù)平臺(tái)，能夠幫助用戶更好地管理和評(píng)估模型，加速模型的部署和應(yīng)用。

當(dāng)下，不管是自己開(kāi)發(fā)大模型，還是用戶采用第三方模型適配私有數(shù)據(jù)都會(huì)遇到一個(gè)問(wèn)題，那就是不存在只用一家模型的情況，會(huì)在驗(yàn)證多家模型的過(guò)程中，找到最適合的求解。而L4層便能夠幫助用戶解決這一問(wèn)題。

Owen ZHU說(shuō)：“總的來(lái)說(shuō)，我們針對(duì)每一層提煉了在這樣一個(gè)作業(yè)環(huán)境下看到的關(guān)鍵問(wèn)題，并通過(guò)自身在大模型方面的實(shí)踐與服務(wù)客戶的專業(yè)經(jīng)驗(yàn)，來(lái)開(kāi)發(fā)一些軟件和對(duì)應(yīng)的方案，幫助用戶實(shí)現(xiàn)效率提升?！?/p>

圖丨浪潮信息人工智能與高性能應(yīng)用軟件部AI架構(gòu)師Owen ZHU

“希望大模型不再是陽(yáng)春白雪的技術(shù)”

自2022年年底大模型熱潮掀起以來(lái)，該領(lǐng)域的從業(yè)者便一直在孜孜不倦地推動(dòng)大模型通用能力的提升。在此基礎(chǔ)上，其也在積極探索大模型的場(chǎng)景應(yīng)用落地。

但在布局上，目前還存在一定的局限性。這是因?yàn)椋菏紫龋竽Ｐ偷挠?xùn)練數(shù)據(jù)主要源于公開(kāi)數(shù)據(jù)集或網(wǎng)絡(luò)數(shù)據(jù)，特定行業(yè)的專業(yè)數(shù)據(jù)較為有限；其次，大模型的訓(xùn)練需要大量計(jì)算資源，并經(jīng)歷較長(zhǎng)的訓(xùn)練周期，對(duì)于大模型開(kāi)發(fā)者和企業(yè)用戶來(lái)說(shuō)耗時(shí)耗力。

為了破解應(yīng)用落地過(guò)程中的痛點(diǎn)需求，未來(lái)，浪潮信息也將依托元腦生態(tài)，聚合產(chǎn)業(yè)左手伙伴（大模型公司和AI科技公司），提供了一站式行業(yè)/領(lǐng)域大模型解決方案，包括模型預(yù)訓(xùn)練和微調(diào)等，以助力右手服務(wù)型伙伴（系統(tǒng)集成商和軟件開(kāi)發(fā)商）提升大模型行業(yè)解決方案交付服務(wù)能力，進(jìn)而幫助企業(yè)客戶快速打造專屬大模型。此外，也可以滿足客戶基于自身業(yè)務(wù)場(chǎng)景需求，按需定制不同規(guī)模和場(chǎng)景的模型服務(wù)。

Owen ZHU在會(huì)后表示：“從浪潮信息的立場(chǎng)來(lái)說(shuō)，我們的愿景是希望大模型不再是陽(yáng)春白雪的技術(shù)，不再只有少數(shù)科技公司和企業(yè)才能夠玩得起、用得起。通過(guò)OGAI,我們希望其能成為一種更普適化的技術(shù)，讓我們的客戶或所有客戶都能使用大模型，并且用好大模型?！?/p>

“助百模，智千行。 基于元腦生態(tài)，左右手伙伴可以彼此攜手，實(shí)現(xiàn)一個(gè)N×M的效應(yīng)，進(jìn)而使得模型伙伴領(lǐng)先的能力得到快速落地?！眲④娺M(jìn)一步解釋了業(yè)內(nèi)關(guān)心的OGAI未來(lái)助力AIGC產(chǎn)業(yè)化落地的路徑。

事實(shí)上，在大模型領(lǐng)域，浪潮信息早已開(kāi)始布局。作為業(yè)界率先推出大模型的企業(yè)之一，其于2021年發(fā)布了參數(shù)規(guī)模高達(dá)2457億的中文AI巨量模型“源1.0”。

在算力效率層面，源1.0采用張量并行、流水線并行和數(shù)據(jù)并行的三維并行策略，提出面向效率和精度優(yōu)化的大模型結(jié)構(gòu)協(xié)調(diào)設(shè)計(jì)方案，將算力效率提到45%的水平。在數(shù)據(jù)訓(xùn)練方面，建立端到端數(shù)據(jù)工作流程，通過(guò)對(duì)866TB海量數(shù)據(jù)的清洗，獲得5TB高質(zhì)量中文數(shù)據(jù)集。

據(jù)了解，該模型在語(yǔ)言智能方面表現(xiàn)優(yōu)異，曾獲得中文語(yǔ)言理解評(píng)測(cè)基準(zhǔn)CLUE榜單的零樣本學(xué)習(xí)和小樣本學(xué)習(xí)兩類總榜冠軍。

目前，基于“源”大模型的能力，以及深度融合復(fù)雜的服務(wù)場(chǎng)景，浪潮信息已在多個(gè)領(lǐng)域?qū)崿F(xiàn)引領(lǐng)大模型的行業(yè)應(yīng)用，比如，智能客服、智慧政務(wù)、智能文創(chuàng)等領(lǐng)域。

在智能客服領(lǐng)域，浪潮信息開(kāi)發(fā)了智能客服大腦“源曉服”，能通過(guò)對(duì)知識(shí)庫(kù)的自主學(xué)習(xí)，達(dá)到覆蓋終端用戶92%的咨詢問(wèn)題，并將復(fù)雜技術(shù)咨詢的業(yè)務(wù)處理時(shí)長(zhǎng)降低65%，從而實(shí)現(xiàn)高達(dá)160%的整體服務(wù)效率。

在智慧政務(wù)領(lǐng)域，浪潮信息打造了AI社區(qū)助理“臨小助”，為基層社區(qū)工作者提供一對(duì)一群眾工作能力培訓(xùn)。據(jù)悉，目前，該產(chǎn)品已投入使用，并在某高頻場(chǎng)景下，幫助社區(qū)工作者的學(xué)習(xí)效率實(shí)現(xiàn)5倍的提升。

另外，浪潮信息還推出了“源1.0”開(kāi)源開(kāi)放計(jì)劃，為開(kāi)發(fā)者快速孵化出更多創(chuàng)新應(yīng)用提供助力。據(jù)介紹，目前其已開(kāi)放模型API、工具鏈、數(shù)據(jù)集，構(gòu)建了開(kāi)發(fā)者社區(qū)生態(tài)，并匯集將近萬(wàn)名的開(kāi)發(fā)者。

為未來(lái)大模型更高效、更良性的發(fā)展尋找最優(yōu)解。正是基于這樣的出發(fā)點(diǎn)，浪潮信息具備工程經(jīng)驗(yàn)，也擁有從算力、軟件棧等各個(gè)層面推動(dòng)大模型高效發(fā)展的能力。從這個(gè)角度看，OGAI的推出正是最好的回答。