2024年6月14日，第六屆“北京智源大會(huì)”在中關(guān)村展示中心開(kāi)幕。
北京智源大會(huì)是智源研究院主辦的“AI內(nèi)行頂級(jí)盛會(huì)”，以“全球視野、思想碰撞、前沿引領(lǐng)”為特色，匯聚海內(nèi)外研究者分享研究成果、探尋前沿知識(shí)、交流實(shí)踐經(jīng)驗(yàn)。2024北京智源大會(huì)邀請(qǐng)到了圖靈獎(jiǎng)得主姚期智，OpenAI、Meta、DeepMind、斯坦福、UC Berkeley等國(guó)際明星機(jī)構(gòu)與技術(shù)團(tuán)隊(duì)代表，以及百度、零一萬(wàn)物、百川智能、智譜AI、面壁智能等國(guó)內(nèi)主流大模型公司CEO與CTO，匯聚了200余位人工智能頂尖學(xué)者和產(chǎn)業(yè)專(zhuān)家，圍繞人工智能關(guān)鍵技術(shù)路徑和應(yīng)用場(chǎng)景展開(kāi)精彩演講和尖峰對(duì)話(huà)。
開(kāi)幕式由智源研究院理事長(zhǎng)黃鐵軍主持。
智源研究院院長(zhǎng)王仲遠(yuǎn)做2024智源研究院進(jìn)展報(bào)告，匯報(bào)智源研究院在語(yǔ)言、多模態(tài)、具身、生物計(jì)算大模型的前沿探索和研究進(jìn)展以及大模型全棧開(kāi)源技術(shù)基座的迭代升級(jí)與版圖布局。
王仲遠(yuǎn)表示，現(xiàn)階段語(yǔ)言大模型的發(fā)展已經(jīng)具備了通用人工智能非常核心的理解和推理能力，并且形成了一條以語(yǔ)言大模型為核心對(duì)齊和映射其他模態(tài)的技術(shù)路線(xiàn)，從而讓模型具備了初步的多模態(tài)理解和生成能力。但這并不是讓人工智能感知、理解物理世界的終極技術(shù)路線(xiàn)，而是應(yīng)該采取統(tǒng)一模型的范式，實(shí)現(xiàn)多模態(tài)的輸入和輸出，讓模型具備原生的多模態(tài)擴(kuò)展能力，向世界模型演進(jìn)。未來(lái)，大模型將以數(shù)字智能體的形態(tài)與智能硬件融合，以具身智能的形態(tài)從數(shù)字世界進(jìn)入物理世界，同時(shí)，大模型這一技術(shù)手段可為科學(xué)研究提供新的知識(shí)表達(dá)范式，加速人類(lèi)對(duì)微觀物理世界規(guī)律的探索與研究突破，不斷趨近通用人工智能的終極目標(biāo)。
智源語(yǔ)言大模型
全球首個(gè)低碳單體稠密萬(wàn)億語(yǔ)言模型Tele-FLM-1T
針對(duì)大模型訓(xùn)練算力消耗高的問(wèn)題，智源研究院和中國(guó)電信人工智能研究院（TeleAI）基于模型生長(zhǎng)和損失預(yù)測(cè)等關(guān)鍵技術(shù)，聯(lián)合研發(fā)并推出全球首個(gè)低碳單體稠密萬(wàn)億語(yǔ)言模型 Tele-FLM-1T。該模型與百億級(jí)的52B版本，千億級(jí)的102B版本共同構(gòu)成Tele-FLM系列模型。
Tele-FLM系列模型實(shí)現(xiàn)了低碳生長(zhǎng)，僅以業(yè)界普通訓(xùn)練方案9%的算力資源，基于112臺(tái)A800服務(wù)器，用4個(gè)月完成3個(gè)模型總計(jì)2.3Ttokens的訓(xùn)練，成功訓(xùn)練出萬(wàn)億稠密模型Tele-FLM-1T。模型訓(xùn)練全程做到了零調(diào)整零重試，算力能效高且模型收斂性和穩(wěn)定性好。目前，TeleFLM系列模型已經(jīng)全面開(kāi)源了52B版本，核心技術(shù)（生長(zhǎng)技術(shù)、最優(yōu)超參預(yù)測(cè)）、訓(xùn)練細(xì)節(jié)（loss曲線(xiàn)、最優(yōu)超參、數(shù)據(jù)配比和Grad Norm等）均開(kāi)源，期望技術(shù)開(kāi)源可以對(duì)大模型社區(qū)產(chǎn)生有益促進(jìn)。Tele-FLM-1T版本即將開(kāi)源，希望可以為社區(qū)訓(xùn)練萬(wàn)億稠密模型提供一個(gè)優(yōu)秀的初始參數(shù)，避免萬(wàn)億模型訓(xùn)練收斂難等問(wèn)題。
Tele-FLM-52B 版本開(kāi)源地址 https://huggingface.co/CofeAI/Tele-FLM
Tele-FLM-Chat 試用（純模型單輪對(duì)話(huà)版）地址https://modelscope.cn/studios/FLM/ChatFLM
在基礎(chǔ)模型的性能方面：BPB 顯示，英文能力上，Tele-FLM-52B接近Llama3-70B，優(yōu)于 Llama2-70B和Llama3-8B；中文能力上，Tele-FLM-52B 為開(kāi)源最強(qiáng)，優(yōu)于 Llama3-70B 和 Qwen1.5-72B。在對(duì)話(huà)模型性能方面：AlignBench評(píng)測(cè)顯示，Tele-FLM-Chat（52B）已經(jīng)達(dá)到GPT-4 中文語(yǔ)言能力的96%，總體能力達(dá)到GPT-4 的80%。
通用語(yǔ)言向量模型BGE系列
針對(duì)大模型幻覺(jué)等問(wèn)題，智源研究院自主研發(fā)了通用語(yǔ)義向量模型BGE（BAAI General Embedding）系列，基于檢索增強(qiáng)RAG技術(shù)，實(shí)現(xiàn)數(shù)據(jù)之間精準(zhǔn)的語(yǔ)義匹配，支持大模型調(diào)用外部知識(shí)的調(diào)用。自2023年8月起，BGE模型系列先后進(jìn)行了三次迭代，分別在中英文檢索、多語(yǔ)言檢索、精細(xì)化檢索三個(gè)任務(wù)中取得了業(yè)內(nèi)最佳的表現(xiàn)，綜合能力顯著優(yōu)于OpenAI、Google、Microsoft、Cohere等機(jī)構(gòu)的同類(lèi)模型。目前，BGE模型系列下載總量位列國(guó)產(chǎn)AI模型首位，并被HuggingFace、Langchain、Llama Index等國(guó)際主流AI開(kāi)發(fā)框架以及騰訊、華為、阿里、字節(jié)、微軟、亞馬遜等主要云服務(wù)提供商集成，對(duì)外提供商業(yè)化服務(wù)。
二、智源多模態(tài)大模型
原生多模態(tài)世界模型Emu 3
行業(yè)現(xiàn)有的多模態(tài)大模型多為對(duì)于不同任務(wù)而訓(xùn)練的專(zhuān)用模型，例如Stable Diffusion之于文生圖，Sora之于文生視頻，GPT-4V之于圖生文。每類(lèi)模型都有對(duì)應(yīng)的架構(gòu)和方法，例如對(duì)于視頻生成，行業(yè)普遍參照Sora選擇了DiT架構(gòu)。但是現(xiàn)有模型的能力多為單一分散的能力組合，而不是原生的統(tǒng)一能力，例如目前Sora還做不到圖像和視頻的理解。
為了實(shí)現(xiàn)多模態(tài)、統(tǒng)一、端到端的下一代大模型，智源研究院推出了Emu3原生多模態(tài)世界模型。Emu3采用智源自研的多模態(tài)自回歸技術(shù)路徑，在圖像、視頻、文字上聯(lián)合訓(xùn)練，使模型具備原生多模態(tài)能力，實(shí)現(xiàn)了圖像、視頻、文字的統(tǒng)一輸入和輸出。Emu3從模型訓(xùn)練開(kāi)始就是為統(tǒng)一的多模態(tài)生成和理解而設(shè)計(jì)的，目前具備生成高質(zhì)量圖片和視頻、續(xù)寫(xiě)視頻、理解物理世界等多模態(tài)能力。簡(jiǎn)單來(lái)說(shuō)，Emu3既統(tǒng)一了視頻、圖像、文字，也統(tǒng)一了生成和理解。值得注意的是，Emu3在持續(xù)訓(xùn)練中，經(jīng)過(guò)安全評(píng)估之后將逐步開(kāi)源。
輕量級(jí)圖文多模態(tài)模型系列Bunny-3B/4B/8B
為適應(yīng)智能端側(cè)的應(yīng)用，智源研究院推出了輕量級(jí)圖文多模態(tài)模型系列 Bunny-3B/4B/8B，該模型系列采用靈活架構(gòu)，可支持多種視覺(jué)編碼器和語(yǔ)言基座模型。多個(gè)榜單的綜合結(jié)果表明，Bunny-8B 的多模態(tài)能力可達(dá)到 GPT-4o 性能的 87%。目前，Bunny 模型參數(shù)、訓(xùn)練代碼、訓(xùn)練數(shù)據(jù)已全部開(kāi)源。
開(kāi)源地址：https://github.com/BAAI-DCAI/Bunny
三、智源具身大模型
智源研究院具身智能創(chuàng)新中心在機(jī)器人泛化動(dòng)作執(zhí)行和智能大小腦決策控制等方面取得了多項(xiàng)世界級(jí)突破性成果。
全球領(lǐng)先真機(jī)實(shí)驗(yàn)成功率突破95% 的泛化抓取技術(shù)ASGrasp
在具身智能通用抓取能力方面，針對(duì)跨任意形狀和材質(zhì)的泛化難題，智源率先突破95%的真機(jī)實(shí)驗(yàn)成功率，從而實(shí)現(xiàn)了全球領(lǐng)先的商業(yè)級(jí)動(dòng)作執(zhí)行水平。借助這項(xiàng)技術(shù)，即使在復(fù)雜光線(xiàn)透射、反射的情況下，我們的機(jī)器人依然能夠準(zhǔn)確感知包括透明、高反光物體的形狀和姿態(tài)，并預(yù)測(cè)出高成功率的抓取位姿。
分級(jí)具身大模型系統(tǒng)之能反思、可隨機(jī)應(yīng)變的鉸接物體操作大模型系統(tǒng)SAGE
在分級(jí)具身大模型系統(tǒng)方面，智源研發(fā)了能夠從失敗中重思考、再?lài)L試的鉸接物體操作大模型系統(tǒng)SAGE。該系統(tǒng)有效結(jié)合了三維視覺(jué)小模型對(duì)空間幾何的精確感知能力和通用圖文大模型的通用物體操作知識(shí)，使大模型驅(qū)動(dòng)的機(jī)器人能夠在任務(wù)執(zhí)行失敗時(shí)能夠重新思考并再次嘗試新的交互方式，實(shí)現(xiàn)了傳統(tǒng)機(jī)器人技術(shù)無(wú)法企及的智能性和魯棒性。
分級(jí)具身大模型系統(tǒng)之全球首個(gè)開(kāi)放指令六自由度拿取放置大模型系統(tǒng)Open6DOR
在分級(jí)具身大模型系統(tǒng)方面，智源還研發(fā)了全球首個(gè)能做到開(kāi)放指令控制六自由度物體拿取放置的大模型系統(tǒng)Open6DOR。該系統(tǒng)不僅像谷歌RT系列大模型一樣按照自然語(yǔ)言指令中的要求將物體放到指定位置，還能夠進(jìn)一步對(duì)物體的姿態(tài)進(jìn)行精細(xì)化控制。該項(xiàng)技術(shù)極大地提高了具身操作大模型的商業(yè)應(yīng)用范圍和價(jià)值。
全球首個(gè)端到端基于視頻的多模態(tài)具身導(dǎo)航大模型NaVid
在面向技術(shù)終局的端到端具身大模型層面，智源發(fā)布了全球首個(gè)端到端基于視頻的多模態(tài)具身導(dǎo)航大模型NaVid。該模型可直接將機(jī)器人視角的視頻和用戶(hù)的自然語(yǔ)言指令作為輸入，端到端輸出機(jī)器人的移動(dòng)控制信號(hào)。不同于以往的機(jī)器人導(dǎo)航技術(shù)，NaVid無(wú)需建圖，也不依賴(lài)于深度信息和里程計(jì)信息等其它傳感器信號(hào)，而是完全依靠機(jī)器人攝像頭采集的單視角RGB視頻流，并在只利用合成導(dǎo)航數(shù)據(jù)進(jìn)行訓(xùn)練的情況下，通過(guò)Sim2Real的方式，實(shí)現(xiàn)在真實(shí)世界室內(nèi)場(chǎng)景甚至是室外場(chǎng)景的zero-shot真機(jī)泛化，是一項(xiàng)勇敢而成功的前沿技術(shù)探索工作。
智能心臟超聲機(jī)器人
智源研究院聯(lián)合領(lǐng)視智遠(yuǎn)研發(fā)了全球首個(gè)智能心臟超聲機(jī)器人，實(shí)現(xiàn)了全球首例真人身上的自主心臟超聲掃查，可解決心臟B超醫(yī)生緊缺，診斷準(zhǔn)確率不高，標(biāo)準(zhǔn)化欠缺，效率低的難題�；诔曈跋窈蜋C(jī)械臂的受力信息，智能心臟超聲機(jī)器人可在高速動(dòng)態(tài)環(huán)境下，快速計(jì)算，提取心臟特征，實(shí)現(xiàn)了相當(dāng)于自動(dòng)駕駛L2、 L3 級(jí)的智能化水平。臨床驗(yàn)證結(jié)果顯示，準(zhǔn)確性上，智能心臟超聲機(jī)器人能和高年資醫(yī)生保持一致；穩(wěn)定性上，智能心臟超聲機(jī)器人更高；舒適性上，智能超聲機(jī)器人的力度可以控制在 4 牛以?xún)?nèi)，更舒適；效率上，智能超聲機(jī)器人實(shí)驗(yàn)機(jī)可與人類(lèi)醫(yī)生持平。
通用計(jì)算機(jī)控制框架Cradle
為實(shí)現(xiàn)通用計(jì)算機(jī)控制，智源研究院提出了通用計(jì)算機(jī)控制框架Cradle，讓智能體像人一樣看屏幕，通過(guò)鼠標(biāo)、鍵盤(pán)完成計(jì)算機(jī)上的所有任務(wù)。Cradle 由信息收集、自我反思、任務(wù)推斷、技能管理、行動(dòng)計(jì)劃以及記憶模塊等 6 個(gè)模塊組成，可進(jìn)行 “反思過(guò)去，總結(jié)現(xiàn)在，規(guī)劃未來(lái)”的強(qiáng)大決策推理。不同于業(yè)界其他方法，Cradle不依賴(lài)任何內(nèi)部API實(shí)現(xiàn)了通用性。目前，智源研究院與昆侖萬(wàn)維研究院等單位合作，在荒野大鏢客、星露谷物語(yǔ)、城市天際線(xiàn)、當(dāng)鋪人生4款游戲，以及Chrome、Outlook、飛書(shū)、美圖秀秀以及剪映5種軟件上，對(duì)Cradle進(jìn)行了驗(yàn)證。智能體不僅可以根據(jù)提示自主學(xué)習(xí)玩游戲，還能對(duì)圖片、視頻進(jìn)行有想象力的編輯。
未來(lái)，智源將依托多模態(tài)大模型技術(shù)優(yōu)勢(shì)資源，聯(lián)合北大、清華、中科院等高校院所，銀河通用、加速進(jìn)化等產(chǎn)業(yè)鏈上下游企業(yè)，建設(shè)具身智能創(chuàng)新平臺(tái)，重點(diǎn)開(kāi)展數(shù)據(jù)、模型、場(chǎng)景驗(yàn)證等研究，打造具身智能創(chuàng)新生態(tài)。
四、智源生物計(jì)算大模型
全原子生物分子模型OpenComplex 2
此外，智源研究院，還探索了生成式人工智能應(yīng)用于分子生物學(xué)中的應(yīng)用。智源研究院研發(fā)的全原子生物分子模型OpenComplex 2，是世界領(lǐng)先的大分子結(jié)構(gòu)預(yù)測(cè)模型，能有效預(yù)測(cè)蛋白質(zhì)、RNA、DNA、糖類(lèi)、小分子等復(fù)合物。在生物分子結(jié)構(gòu)預(yù)測(cè)領(lǐng)域國(guó)際競(jìng)賽CAMEO（Continous Automated Model EvaluatiOn）中，OpenComplex 連續(xù)2年穩(wěn)居賽道第一，并獲得了CASP（Critical Assessment of Techniques for Protein Structure Prediction）15的RNA自動(dòng)化賽道預(yù)測(cè)冠軍。
OpenComplex 2 是基于全原子建模的生命分子基礎(chǔ)模型，科研人員發(fā)現(xiàn)不僅可以預(yù)測(cè)大分子的穩(wěn)定結(jié)構(gòu)，還初步具備預(yù)測(cè)分子多構(gòu)型以及折疊過(guò)程的能力�；谶@樣的能力，生命科學(xué)家可以進(jìn)一步探索蛋白質(zhì)的生物學(xué)功能。目前，智源已和研究伙伴在多項(xiàng)重要疾病上展開(kāi)了研究，提供成藥性和分子機(jī)理研究。未來(lái)，基于OpenComplex的能力，我們有望能夠開(kāi)啟生命科學(xué)研究的新紀(jì)元，為進(jìn)一步揭示如HIV病毒、神經(jīng)元等復(fù)雜生命機(jī)理提供新的可能。
全球首個(gè)實(shí)時(shí)孿生心臟計(jì)算模型
智源研究院構(gòu)建了全球首個(gè)實(shí)時(shí)孿生心臟計(jì)算模型，可實(shí)現(xiàn)高精度的前提下生物時(shí)間/仿真時(shí)間比小于1，位于國(guó)際領(lǐng)先水平。
實(shí)時(shí)心臟計(jì)算模型是虛擬心臟科學(xué)研究的開(kāi)端，是孿生心臟走向臨床應(yīng)用的基礎(chǔ)�；谶@一模型，智源將創(chuàng)新性地采用物理-數(shù)據(jù)雙驅(qū)動(dòng)模型，融合第一性原理和人工智能方法，從亞細(xì)胞級(jí)、細(xì)胞級(jí)、器官級(jí)、軀干級(jí)仿真出一個(gè)“透明心臟”，且能根據(jù)患者的臨床數(shù)據(jù)，構(gòu)建出反映患者的個(gè)性化生理病理的孿生心臟，從而進(jìn)行藥物篩選、治療方案優(yōu)化、術(shù)前規(guī)劃等臨床應(yīng)用。
目前，智源與北醫(yī)一院共同成立了“北京大學(xué)第一醫(yī)院-北京智源人工智能研究院心臟AI 聯(lián)合研究中心”，正在開(kāi)展基于超聲影像的急性心肌梗死診斷、心衰的病理仿真、腎動(dòng)脈造影等課題，與安貞醫(yī)院合作進(jìn)行室速疾病的無(wú)創(chuàng)心外膜標(biāo)測(cè)技術(shù)的前沿研究，與斯高電生理研究院開(kāi)展藥物篩選平臺(tái)的開(kāi)發(fā)與應(yīng)用以及與清華長(zhǎng)庚醫(yī)院和朝陽(yáng)醫(yī)院合作開(kāi)展肥厚性心肌病課題。
智源研究院作為創(chuàng)新性研究機(jī)構(gòu)，引領(lǐng)人工智能前沿技術(shù)的發(fā)展，也發(fā)揮第三方中立、非營(yíng)利機(jī)構(gòu)的優(yōu)勢(shì)，搭建公共技術(shù)基座，解決當(dāng)前產(chǎn)業(yè)的痛點(diǎn)。
FlagOpen大模型開(kāi)源技術(shù)基座2.0，模型、數(shù)據(jù)、算法、評(píng)測(cè)、系統(tǒng)五大版圖布局升級(jí)
為幫助全球開(kāi)發(fā)者一站式啟動(dòng)大模型開(kāi)發(fā)和研究工作，智源研究院推出了面向異構(gòu)芯片、支持多種框架的大模型全棧開(kāi)源技術(shù)基座FlagOpen 2.0，在1.0的基礎(chǔ)上，進(jìn)一步完善了模型、數(shù)據(jù)、算法、評(píng)測(cè)、系統(tǒng)五大版圖布局，旨在打造大模型時(shí)代的 Linux。
FlagOpen 2.0可支持多種芯片和多種深度學(xué)習(xí)框架。目前，開(kāi)源模型全球總下載量超 4755 萬(wàn)次，累計(jì)開(kāi)源數(shù)據(jù)集 57 個(gè)，下載量近9萬(wàn)次，開(kāi)源項(xiàng)目代碼下載量超 51 萬(wàn)次。
開(kāi)源地址：https://github.com/FlagOpen
一、支持異構(gòu)算力集群的大模型“操作系統(tǒng)”FlagOS
為滿(mǎn)足不斷攀升的大模型訓(xùn)練和推理計(jì)算需求，應(yīng)對(duì)大規(guī)模AI系統(tǒng)和平臺(tái)面臨的集群內(nèi)或集群間異構(gòu)計(jì)算、高速互聯(lián)、彈性穩(wěn)定的技術(shù)挑戰(zhàn)，智源研究院推出了面向大模型、支持多種異構(gòu)算力的智算集群軟件棧 FlagOS。FlagOS融合了智源長(zhǎng)期深耕的面向多元AI芯片的關(guān)鍵技術(shù)，包括異構(gòu)算力智能調(diào)度管理平臺(tái)九鼎、支持多元AI異構(gòu)算力的并行訓(xùn)推框架FlagScale、支持多種AI芯片架構(gòu)的高性能算子庫(kù)FlagAttention和FlagGems，集群診斷工具FlagDiagnose和AI芯片評(píng)測(cè)工具FlagPerf。FlagOS如同“操作系統(tǒng)”一樣，集異構(gòu)算力管理、算力自動(dòng)遷移、并行訓(xùn)練優(yōu)化、高性能算子于一體。向上支撐大模型訓(xùn)練、推理、評(píng)測(cè)等重要任務(wù)，向下管理底層異構(gòu)算力、高速網(wǎng)絡(luò)、分布式存儲(chǔ)。目前，F(xiàn)lagOS已支持了超過(guò)50個(gè)團(tuán)隊(duì)的大模型研發(fā)，支持8種芯片，管理超過(guò)4600個(gè)AI加速卡，穩(wěn)定運(yùn)行20個(gè)月，SLA超過(guò)99.5%，幫助用戶(hù)實(shí)現(xiàn)高效穩(wěn)定的集群管理、資源優(yōu)化、大模型研發(fā)。FlagOS的推出將為中國(guó)新一代智算中心的建設(shè)提供助力，顯著提升智算集群的能力水平，加速大模型產(chǎn)業(yè)的發(fā)展。
二、首個(gè)千萬(wàn)級(jí)高質(zhì)量開(kāi)源指令微調(diào)數(shù)據(jù)集 InfinityInstruct
高質(zhì)量的指令數(shù)據(jù)是大模型性能的“養(yǎng)料”。智源研究院發(fā)布首個(gè)千萬(wàn)級(jí)高質(zhì)量開(kāi)源指令微調(diào)數(shù)據(jù)集開(kāi)源項(xiàng)目，首期發(fā)布經(jīng)過(guò)驗(yàn)證的300萬(wàn)條中英文指令數(shù)據(jù)，近期將完成千萬(wàn)條指令數(shù)據(jù)的開(kāi)源。智源對(duì)現(xiàn)有開(kāi)源數(shù)據(jù)進(jìn)行領(lǐng)域分析，確保合理類(lèi)型分布，對(duì)大規(guī)模數(shù)據(jù)進(jìn)行質(zhì)量篩選保留高價(jià)值數(shù)據(jù)，針對(duì)開(kāi)源數(shù)據(jù)缺乏的領(lǐng)域和任務(wù)，進(jìn)行數(shù)據(jù)增廣，并結(jié)合人工標(biāo)注對(duì)數(shù)據(jù)質(zhì)量進(jìn)行控制，避免合成數(shù)據(jù)分布偏差。當(dāng)前開(kāi)源的300萬(wàn)條指令數(shù)據(jù)集已經(jīng)顯示出超越Mistral、Openhermes等的SFT數(shù)據(jù)能力。我們期待在提升到千萬(wàn)級(jí)數(shù)據(jù)量級(jí)后，基座模型基于該指令微調(diào)數(shù)據(jù)集進(jìn)行訓(xùn)練，對(duì)話(huà)模型能力可達(dá)GPT-4 水平。
三、全球最大的開(kāi)源中英文多行業(yè)數(shù)據(jù)集IndustryCorpus
為加速推進(jìn)大模型技術(shù)的產(chǎn)業(yè)應(yīng)用進(jìn)程，智源研究院構(gòu)建并開(kāi)源了IndustryCorpus中英文多行業(yè)數(shù)據(jù)集，包含總計(jì)3.4TB預(yù)訓(xùn)練數(shù)據(jù)集，其中中文1TB，英文2.4TB，覆蓋18類(lèi)行業(yè)，分類(lèi)準(zhǔn)確率達(dá)到80%，未來(lái)計(jì)劃增加到30類(lèi)。
智源通過(guò)構(gòu)建多行業(yè)數(shù)據(jù)算子，訓(xùn)練行業(yè)分類(lèi)和質(zhì)量過(guò)濾模型，實(shí)現(xiàn)高效的高質(zhì)量預(yù)訓(xùn)練數(shù)據(jù)處理流程，并提出了一套提升精調(diào)數(shù)據(jù)集問(wèn)題復(fù)雜度、解答思維鏈和多輪問(wèn)答質(zhì)量篩選的方法，處理預(yù)訓(xùn)練、SFT和RLHF數(shù)據(jù)。
為驗(yàn)證行業(yè)數(shù)據(jù)集的性能表現(xiàn)，智源訓(xùn)練了醫(yī)療行業(yè)示范模型，對(duì)比繼續(xù)預(yù)訓(xùn)練前的模型，客觀性能總體提升了20%，而經(jīng)過(guò)我們制作的醫(yī)療SFT數(shù)據(jù)集和DPO數(shù)據(jù)集的精調(diào)訓(xùn)練，相對(duì)參考答案的主觀勝率達(dá)到82%，5分制多輪對(duì)話(huà)能力CMTMedQA評(píng)分達(dá)到4.45。
行業(yè)預(yù)訓(xùn)練數(shù)據(jù)集：https://data.baai.ac.cn/details/BAAI-IndustryCorpus
醫(yī)療示范模型地址：https://huggingface.co/BAAI/AquilaMed-RL
醫(yī)療示范模型SFT數(shù)據(jù)集地址：https://huggingface.co/datasets/BAAI/AquilaMed-Instruct
醫(yī)療示范模型DPO數(shù)據(jù)集地址：https://huggingface.co/datasets/BAAI/AquilaMed-RL
四、支持多元AI異構(gòu)算力的并行訓(xùn)練框架FlagScale實(shí)現(xiàn)首次突破
FlagScale首次在異構(gòu)集群上實(shí)現(xiàn)不同廠商跨節(jié)點(diǎn)RDMA直連和多種并行策略的高效混合訓(xùn)練，成為業(yè)界首個(gè)在多元異構(gòu)AI芯片上同時(shí)支持縱向和橫向擴(kuò)展兩階段增長(zhǎng)模式的訓(xùn)練框架。
FlagScale支持語(yǔ)言及多模態(tài)模型的稠密及稀疏訓(xùn)練，可實(shí)現(xiàn)1M長(zhǎng)序列大規(guī)模穩(wěn)定訓(xùn)練和推理；支持基于國(guó)產(chǎn)算力的8x16B千億參數(shù)MoE語(yǔ)言大模型1024卡40天以上的穩(wěn)定訓(xùn)練，實(shí)現(xiàn)端到端的訓(xùn)練、微調(diào)與推理部署；支持不同架構(gòu)的多種芯片合池訓(xùn)練，基于業(yè)界領(lǐng)先的異構(gòu)并行策略，可達(dá)到85%以上的混合訓(xùn)練性能上界，與同構(gòu)芯片的模型訓(xùn)練效果一致；適配8款國(guó)內(nèi)外不同芯片，可在不同集群進(jìn)行規(guī)模訓(xùn)練驗(yàn)證，實(shí)現(xiàn)Loss逐位與收斂曲線(xiàn)嚴(yán)格對(duì)齊。
五、面向大模型的開(kāi)源Triton算子庫(kù)
為更好地支持多元AI芯片統(tǒng)一生態(tài)發(fā)展，智源研究院推出了面向大模型的開(kāi)源Triton算子庫(kù)，包括首個(gè)通用算子庫(kù)FlagGems和大模型專(zhuān)用算子庫(kù)FlagAttention，可基于統(tǒng)一開(kāi)源編程語(yǔ)言，大幅提升算子開(kāi)發(fā)效率，同時(shí)，面向多元芯片共享算子庫(kù)。
目前主流語(yǔ)言和多模態(tài)模型需要的127個(gè)算子，通用算子庫(kù)FlagGems已覆蓋66個(gè)，預(yù)計(jì)2024年底實(shí)現(xiàn)全覆蓋。大模型專(zhuān)用算子庫(kù)FlagAttention，包含6種高頻使用的且緊跟算法前沿的最新Attention類(lèi)算子，為用戶(hù)提供編程范例，可自定義算子。
應(yīng)用了專(zhuān)為 pointwise 類(lèi)別的算子設(shè)計(jì)的自動(dòng)代碼生成技術(shù)，用戶(hù)只需通過(guò)簡(jiǎn)潔的計(jì)算邏輯描述，即可自動(dòng)生成高效的 Triton 代碼。該技術(shù)目前已經(jīng)應(yīng)用于31個(gè)pointwise類(lèi)算子，占算子庫(kù)整體的47%。同時(shí)，基于運(yùn)行時(shí)優(yōu)化技術(shù)，算子運(yùn)行速度提升70%，保障了算子高性能。
六、FlagEval大模型評(píng)估全面升級(jí)
打造丈量大模型能力高峰的“尺子”乃是充滿(mǎn)挑戰(zhàn)的科研難題。智源秉持科學(xué)、權(quán)威、公正、開(kāi)放原則，不斷推動(dòng)評(píng)估工具和方法的迭代優(yōu)化。FlagEval大模型評(píng)估自2023年發(fā)布以來(lái)，已從主要面向語(yǔ)言模型擴(kuò)展到視頻、語(yǔ)音、多模態(tài)模型，實(shí)現(xiàn)多領(lǐng)域全覆蓋，采用主觀客觀結(jié)合以及開(kāi)卷閉卷綜合的考察方式，首次聯(lián)合權(quán)威教育部門(mén)開(kāi)展大模型K12學(xué)科測(cè)驗(yàn)，與中國(guó)傳媒大學(xué)合作共建文生視頻模型主觀評(píng)價(jià)體系。智源研究院已與全國(guó)10余家高校和機(jī)構(gòu)合作共建評(píng)測(cè)方法與工具，探索基于AI的輔助評(píng)測(cè)模型 FlagJudge，打造面向大模型新能力的有挑戰(zhàn)的評(píng)測(cè)集，包括與北京大學(xué)共建的HalluDial幻覺(jué)評(píng)測(cè)集、與北師大共建的CMMU多模態(tài)評(píng)測(cè)集、多語(yǔ)言跨模態(tài)評(píng)測(cè)集MG18、復(fù)雜代碼評(píng)測(cè)集TACO以及長(zhǎng)視頻理解評(píng)測(cè)MLVU等，其中與北京大學(xué)共建的HalluDial是目前全球規(guī)模最大的對(duì)話(huà)場(chǎng)景下的幻覺(jué)評(píng)測(cè)集，有18000多個(gè)輪次對(duì)話(huà)，和14萬(wàn)多個(gè)回答。
智源研究院牽頭成立了IEEE大模型評(píng)測(cè)標(biāo)準(zhǔn)小組P3419，與hugging face社區(qū)合作發(fā)布多個(gè)榜單，并將先進(jìn)的評(píng)測(cè)數(shù)據(jù)以及裁判模型與新加坡IMDA合作，共同貢獻(xiàn)到AI Verify Foundation，以促進(jìn)在大模型評(píng)估方法和工具上的國(guó)際合作。
大模型先鋒集結(jié)共探AGI之路
2024北京智源大會(huì)開(kāi)幕式上，OpenAI Sora及DALL·E團(tuán)隊(duì)負(fù)責(zé)人Aditya Ramesh，紐約大學(xué)助理教授謝賽寧，就多模態(tài)模型的技術(shù)路徑以及未來(lái)演化方向進(jìn)行了觀點(diǎn)碰撞。
在智源研究院理事長(zhǎng)黃鐵軍主持的Fireside Chat中，零一萬(wàn)物CEO李開(kāi)復(fù)，中國(guó)工程院院士、清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）院長(zhǎng)張亞勤，分別分享了對(duì)通用人工智能技術(shù)發(fā)展的趨勢(shì)判斷。
百度CTO王海峰做“大模型為通用人工智能帶來(lái)曙光”的報(bào)告分享。
在通往AGI的尖峰對(duì)話(huà)中，智源研究院王仲遠(yuǎn)，百川智能CEO王小川，智譜AI CEO張鵬，月之暗面CEO楊植麟，面壁智能CEO李大海針對(duì)大模型的技術(shù)路徑依賴(lài)與突破、開(kāi)放生態(tài)與封閉研究、商業(yè)模式探索等熱點(diǎn)話(huà)題，展開(kāi)深度討論。
未來(lái)，智源研究院將繼續(xù)堅(jiān)持原始技術(shù)創(chuàng)新，做前沿方向的路線(xiàn)探索，廣泛鏈接學(xué)術(shù)生態(tài)，賦能產(chǎn)業(yè)發(fā)展。
