大模型的快速發(fā)展突破了人工智能技術(shù)的邊界，也為眾多垂直領(lǐng)域帶來新的發(fā)展機(jī)遇和挑戰(zhàn)。在醫(yī)療領(lǐng)域，愈來愈多業(yè)內(nèi)人士共同關(guān)注同一個(gè)課題——如何通過人工智能大模型為醫(yī)生和研究人員提供新工具、新方法，以改善疾病診斷、治療和預(yù)防。
上海人工智能實(shí)驗(yàn)室智慧醫(yī)療研究中心主任張少霆表示，“‘OpenMEDLab浦醫(yī)’的問世，為人工智能大模型在醫(yī)療領(lǐng)域的快速發(fā)展、高效落地提供了堅(jiān)實(shí)的基礎(chǔ)，將帶動(dòng)醫(yī)療領(lǐng)域的一系列創(chuàng)新，如模型即服務(wù)（MaaS）等模式。隨著人工智能在醫(yī)療領(lǐng)域落地應(yīng)用范圍的擴(kuò)大，大模型將更好地賦能醫(yī)生、服務(wù)患者，助力‘健康中國2030’戰(zhàn)略目標(biāo)的實(shí)現(xiàn)?！?/span>
“OpenMEDLab浦醫(yī)”將于近期逐步開源，覆蓋醫(yī)學(xué)圖像、醫(yī)學(xué)文本、生物信息、蛋白質(zhì)工程等10余種醫(yī)療數(shù)據(jù)模態(tài)，促進(jìn)基于醫(yī)療基礎(chǔ)模型的跨領(lǐng)域、跨疾病、跨模態(tài)科研突破，同時(shí)助力解決醫(yī)療領(lǐng)域的長尾問題，推動(dòng)醫(yī)療大模型的產(chǎn)業(yè)落地。
聯(lián)合頂尖機(jī)構(gòu)，共建多模態(tài)醫(yī)療大模型
作為牽頭單位，上海AI實(shí)驗(yàn)室聯(lián)合了多個(gè)國內(nèi)外組織共同參與開源“OpenMEDLab浦醫(yī)”基礎(chǔ)模型群，包括廣州實(shí)驗(yàn)室、之江實(shí)驗(yàn)室等頂尖科研機(jī)構(gòu)，上海交通大學(xué)、復(fù)旦大學(xué)、電子科技大學(xué)、華東理工大學(xué)、北京郵電大學(xué)、美國羅格斯大學(xué)、英屬哥倫比亞大學(xué)、香港中文大學(xué)等高校，以及上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院、上海交通大學(xué)醫(yī)學(xué)院附屬新華醫(yī)院、四川大學(xué)華西醫(yī)院、鄭州大學(xué)第一附屬醫(yī)院等醫(yī)療機(jī)構(gòu)。
“OpenMEDLab浦醫(yī)”融合了全球頂尖的AI研發(fā)能力、海量醫(yī)學(xué)數(shù)據(jù)以及醫(yī)學(xué)專家知識(shí)，首批發(fā)布的基礎(chǔ)模型群中，包含基于醫(yī)學(xué)圖像、醫(yī)學(xué)文本、生物信息、蛋白質(zhì)工程等10余種數(shù)據(jù)模態(tài)訓(xùn)練而成的基礎(chǔ)模型。在語言模型方面，“OpenMEDLab浦醫(yī)”開源了由上海AI實(shí)驗(yàn)室與上海交通大學(xué)、華東理工大學(xué)合作開發(fā)的中文醫(yī)療語言大模型，基于海量醫(yī)學(xué)知識(shí)和真實(shí)醫(yī)患互動(dòng)對(duì)話數(shù)據(jù)，可提供導(dǎo)診、問診、健康咨詢、輔助決策等多場景多輪會(huì)話能力。聯(lián)合團(tuán)隊(duì)對(duì)多個(gè)語言大模型的醫(yī)療能力進(jìn)行了系統(tǒng)的對(duì)比評(píng)測，評(píng)測代碼及數(shù)據(jù)已公布。在圖像方面開源的一系列模型群，可針對(duì)放射影像、病理圖像、內(nèi)鏡、超聲等不同影像模態(tài)，實(shí)現(xiàn)高精度的檢測、分割、分類等前沿研究和臨床任務(wù)，高效賦能解決基于醫(yī)學(xué)影像的臨床任務(wù)，模型具有輕量級(jí)的特點(diǎn)，能滿足創(chuàng)新研究的臨床部署與便捷應(yīng)用。在生物醫(yī)藥方面，“OpenMEDLab浦醫(yī)”同樣大有可為。例如由上海AI實(shí)驗(yàn)室和上海交通大學(xué)共同研發(fā)的蛋白質(zhì)序列大模型，通過融合生物醫(yī)學(xué)專業(yè)知識(shí)，可助力設(shè)計(jì)合成高穩(wěn)定性高生物活性蛋白質(zhì)，解決蛋白類新藥研發(fā)過程中普遍存在的耗時(shí)長、耗費(fèi)高等難題。為了方便開發(fā)者使用，“OpenMEDLab浦醫(yī)”開源平臺(tái)在提供基礎(chǔ)模型下載的同時(shí)，還提供了下游任務(wù)應(yīng)用范例、測試數(shù)據(jù)、對(duì)應(yīng)標(biāo)注和評(píng)價(jià)指標(biāo)，幫助開發(fā)者全流程高效使用基模型開展研發(fā)工作。此外，為推動(dòng)產(chǎn)學(xué)研協(xié)作，深化醫(yī)學(xué)圖像分析基礎(chǔ)模型的可行性探索，上海AI實(shí)驗(yàn)室發(fā)起《〈Medical Image Analysis〉基礎(chǔ)模型特刊》與NeurIPS 2023醫(yī)學(xué)圖像分析基礎(chǔ)模型應(yīng)用挑戰(zhàn)賽，向全球人工智能及醫(yī)療領(lǐng)域的研究人員和機(jī)構(gòu)發(fā)出“英雄帖”，通過 “一刊一賽”，進(jìn)一步推動(dòng)醫(yī)療基礎(chǔ)模型的研究和應(yīng)用。突破小樣本、弱標(biāo)注瓶頸，解決醫(yī)療長尾問題
近年來，超大參數(shù)深度學(xué)習(xí)基模型在計(jì)算機(jī)視覺（CV）、自然語言處理（NLP）等領(lǐng)域獲得突破性進(jìn)展，能夠基于大模型的超強(qiáng)泛化能力應(yīng)用于許多下游任務(wù)的分析。然而醫(yī)學(xué)數(shù)據(jù)在數(shù)據(jù)模態(tài)、成像模式、圖像特征等方面種類繁多、差別較大，使得通用大模型難以在醫(yī)學(xué)圖像分析方面實(shí)現(xiàn)令人滿意的性能。在高度關(guān)注數(shù)據(jù)私密性的醫(yī)療機(jī)構(gòu)中，落地部署也存在較大困難，當(dāng)前，針對(duì)特定任務(wù)進(jìn)行單獨(dú)模型訓(xùn)練依然是該領(lǐng)域主流的解決方案。然而，醫(yī)療下游長尾任務(wù)的數(shù)據(jù)樣本少、標(biāo)注難度高，這也限制了人工智能在更多醫(yī)療場景的應(yīng)用。
如何將CV、NLP通用大模型“為我所用”，并發(fā)展出更適合醫(yī)療場景的基礎(chǔ)模型，上海AI實(shí)驗(yàn)室首創(chuàng)了多層級(jí)、多場景、高精度、可落地的醫(yī)療基礎(chǔ)模型群“OpenMEDLab浦醫(yī)”。首先，基于CV、NLP大模型對(duì)醫(yī)療圖像和文本通用特征的學(xué)習(xí)，上海AI實(shí)驗(yàn)室針對(duì)不同醫(yī)療數(shù)據(jù)模態(tài)開發(fā)了一系列基模型，例如CT、MRI、超聲、內(nèi)鏡、病理、醫(yī)學(xué)文本等，以充分學(xué)習(xí)和利用不同數(shù)據(jù)模態(tài)獨(dú)有的特征和模式。基于上述多層級(jí)、多場景的基礎(chǔ)模型群，“OpenMEDLab浦醫(yī)”可以將先前醫(yī)學(xué)數(shù)據(jù)訓(xùn)練中學(xué)習(xí)到的特征，高效應(yīng)用于海量醫(yī)療下游問題中，從而實(shí)現(xiàn)針對(duì)不同任務(wù)的小數(shù)據(jù)、弱標(biāo)注、高效率的訓(xùn)練。同時(shí)，模型群兼顧性能與落地的平衡，在醫(yī)療場景中的部署應(yīng)用更具便捷性，從而讓基礎(chǔ)模型在更多醫(yī)療長尾問題中得以落地應(yīng)用。例如，上海AI實(shí)驗(yàn)室聯(lián)合四川大學(xué)華西醫(yī)院和上海交通大學(xué)，分別應(yīng)用預(yù)訓(xùn)練得到的視覺和語言大模型，采用小樣本模型激活的算法，進(jìn)行醫(yī)療圖像中多種病灶的檢測和疾病分類，得到了相較傳統(tǒng)遷移學(xué)習(xí)精度更高的實(shí)驗(yàn)結(jié)果。這意味著，未來科研人員將能夠更好地應(yīng)對(duì)小數(shù)據(jù)甚至零數(shù)據(jù)樣本的醫(yī)療生物場景。在細(xì)分醫(yī)學(xué)圖像分析場景中需要應(yīng)用不同層級(jí)和任務(wù)導(dǎo)向的基礎(chǔ)模型 （圖片來源：S. Zhang and D. Metaxas. On the Challenges and Perspectives of Foundation Models for Medical Image Analysis. arXiv preprint arXiv:2306.05705.）
成果落地，開啟“醫(yī)療通用大模型時(shí)代”
醫(yī)療多模態(tài)基礎(chǔ)模型群的問世，為大模型賦能醫(yī)療場景帶來了更多可能。目前，“OpenMEDLab浦醫(yī)”研發(fā)團(tuán)隊(duì)已與全國多家頭部三甲醫(yī)院及醫(yī)藥企業(yè)開展合作，全方位賦能醫(yī)院診療及藥物研發(fā)工作。
在上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院，“醫(yī)學(xué)數(shù)字人”已應(yīng)用于全身多部位、多器官、多模態(tài)影像的智能輔助診療，覆蓋十余個(gè)臨床方向，全方位賦能患者診療愈全流程；在四川大學(xué)華西醫(yī)院，雙方合作打造基于自動(dòng)提示詞微調(diào)的視覺語言大模型，顯著提高了小樣本下的醫(yī)學(xué)圖像的檢測性能，為視覺語言大模型在醫(yī)療圖像領(lǐng)域提供了應(yīng)用范式；在鄭州大學(xué)第一附屬醫(yī)院，雙方正合作開發(fā)醫(yī)療語言大模型，將整合海量藥學(xué)知識(shí)和專家經(jīng)驗(yàn)，通過線上服務(wù)為患者提供更便捷、更全面的用藥咨詢。在生物制藥領(lǐng)域，與多家知名藥企合作，利用基礎(chǔ)模型賦能蛋白質(zhì)工程，助力藥品研發(fā)。
