(資料圖)
7月7日,2023世界人工智能大會(huì)(WAIC)“大模型時(shí)代的通用人工智能產(chǎn)業(yè)發(fā)展機(jī)遇以及風(fēng)險(xiǎn)”主題論壇在上海西岸舉行。復(fù)旦大學(xué)MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬在題為“大型語(yǔ)言模型MOSS:技術(shù)、實(shí)現(xiàn)與展望”主題演講中表示,大語(yǔ)言模型在學(xué)術(shù)界已出現(xiàn)多年,今年正式走進(jìn)了公眾視野和人們的日常生活,給人工智能研究、從業(yè)者和人們的日常生活帶來(lái)了巨大的變革。但通用大模型依然在可信性、安全性、邏輯性等方面存在挑戰(zhàn)。
今年4月,復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室開(kāi)發(fā)的新版MOSS模型正式上線(xiàn),成為國(guó)內(nèi)首個(gè)插件增強(qiáng)的開(kāi)源對(duì)話(huà)語(yǔ)言模型,被行業(yè)稱(chēng)為中國(guó)版ChatGPT。邱錫鵬在會(huì)上說(shuō),作為一個(gè)大語(yǔ)言模型,MOSS可執(zhí)行對(duì)話(huà)生成、編程、事實(shí)問(wèn)答等系列任務(wù)。MOSS的開(kāi)發(fā)步驟包括了自然語(yǔ)言模型的基座訓(xùn)練、理解人類(lèi)意圖的對(duì)話(huà)能力訓(xùn)練兩個(gè)階段,和ChatGPT具有相近的通用語(yǔ)義理解能力,但在推理能力和事實(shí)類(lèi)知識(shí)方面仍有一定差距,目前MOSS系列在中文語(yǔ)義理解方面取得很大進(jìn)步,未來(lái)將通過(guò)擴(kuò)大模型規(guī)模和使用工具來(lái)進(jìn)一步縮小差距。
據(jù)介紹,上線(xiàn)以來(lái),MOSS系統(tǒng)正在日夜迭代優(yōu)化,目前MOSS團(tuán)隊(duì)正在通過(guò)參與大型語(yǔ)言模型生態(tài)建設(shè),并在未來(lái)實(shí)現(xiàn)對(duì)話(huà)模型、模型微調(diào)、AIGT檢測(cè)、模型對(duì)比和模型評(píng)測(cè)集一體的開(kāi)源開(kāi)放平臺(tái)。
邱錫鵬說(shuō),通用大模型不僅僅是工程問(wèn)題,除算力需求大外,目前依然在可信性、安全性、邏輯性等方面存在很多挑戰(zhàn),需要高校研究團(tuán)隊(duì)進(jìn)行重大科研攻關(guān),解決智能涌現(xiàn)、復(fù)雜推理、高效架構(gòu)、知識(shí)融合、學(xué)習(xí)策略等科學(xué)問(wèn)題,為通用大模型的落地提供理論和技術(shù)支撐。MOSS近期的研究重點(diǎn)是如何理解復(fù)雜任務(wù)并進(jìn)行任務(wù)分解后調(diào)用不同工具來(lái)完成任務(wù)。