在過去一年，國內(nèi)醫(yī)療大模型呈現(xiàn)爆發(fā)式增長，2025年前五個(gè)月新發(fā)布的模型數(shù)量就達(dá)到133個(gè)，遠(yuǎn)超2023年全年總量。
這些模型不再局限于單一文本或影像處理，而是朝著多模態(tài)融合方向發(fā)展，能夠同時(shí)處理文本、影像、視覺與語音等多種數(shù)據(jù)。
然而站在產(chǎn)業(yè)視角，我們必須冷靜思考：這些技術(shù)在實(shí)際醫(yī)院環(huán)境中表現(xiàn)如何？到底帶來了哪些價(jià)值？又面臨哪些局限？
多模態(tài)醫(yī)療大模型正在告別“單打一”模式，轉(zhuǎn)向綜合能力提升。聯(lián)影醫(yī)療發(fā)布的“元智”醫(yī)療大模型展現(xiàn)出多模態(tài)融合能力，實(shí)現(xiàn)了對(duì)醫(yī)療場景的高效適配。
相較于通用大模型，醫(yī)療垂類大模型在臨床場景中的準(zhǔn)確性、穩(wěn)定性和實(shí)用性更具優(yōu)勢(shì)。這種專業(yè)性使得大模型能夠更深入地理解醫(yī)療場景的復(fù)雜需求。
技術(shù)架構(gòu)上，領(lǐng)先的醫(yī)療大模型采用“大模型+小模型”的方式處理多模態(tài)信息。以中科院香港創(chuàng)新院的CARES Copilot為例，其將識(shí)別的圖片和視頻進(jìn)行語義提取，然后運(yùn)用語言大模型進(jìn)行高級(jí)理解。
這種架構(gòu)設(shè)計(jì)使得大模型在手術(shù)風(fēng)險(xiǎn)評(píng)估和手術(shù)階段理解等復(fù)雜任務(wù)上表現(xiàn)出色，最終形成面向臨床專家的手術(shù)報(bào)告生成和手術(shù)質(zhì)量評(píng)估等服務(wù)。
醫(yī)療大模型的應(yīng)用場景正在不斷擴(kuò)大。從288個(gè)醫(yī)療大模型的應(yīng)用場景統(tǒng)計(jì)來看，這些模型共涵蓋了56個(gè)細(xì)分領(lǐng)域，其中臨床專病輔助決策、預(yù)問診、病歷輔助生成和醫(yī)學(xué)影像輔助診斷成為提及最多的應(yīng)用方向。
多模態(tài)醫(yī)療大模型在專業(yè)性能上取得了顯著突破。中科院香港創(chuàng)新院AI中心發(fā)布的CARES Copilot 1.0在國際醫(yī)學(xué)大模型測評(píng)榜單中排名第一，對(duì)問題回答的準(zhǔn)確度能達(dá)到95%，遠(yuǎn)高于其他開源算法普遍達(dá)到的60%左右的正確率。
該大模型針對(duì)神經(jīng)外科領(lǐng)域，在研發(fā)階段使用了3000多本國內(nèi)外的神經(jīng)外科教材以及指南訓(xùn)練，每一個(gè)回答都能夠追溯到對(duì)應(yīng)的來源驗(yàn)證。這種設(shè)計(jì)理念大大提高了模型的可信性和可解釋性。
在影像診斷領(lǐng)域，聯(lián)影醫(yī)療的“元智”影像大模型訓(xùn)練于數(shù)千萬級(jí)醫(yī)學(xué)影像數(shù)據(jù)與數(shù)十萬級(jí)醫(yī)療標(biāo)注數(shù)據(jù)。
數(shù)據(jù)顯示，該影像大模型可在單次胸部CT掃描中，實(shí)現(xiàn)對(duì)37種胸部常見疾病的精準(zhǔn)檢出，綜合平均AUC值達(dá)0.92，較此前行業(yè)最優(yōu)模型（AUC約0.76）提升超過10%。
數(shù)坤科技的“數(shù)坤坤”多模態(tài)醫(yī)療健康大模型同樣表現(xiàn)出色，在全球最大的中文醫(yī)療評(píng)測榜CMB發(fā)布的榜單中取得SOTA（當(dāng)前最優(yōu)效果）排名第一。
經(jīng)歷30萬道歷年執(zhí)業(yè)醫(yī)師考試題目驗(yàn)證，其醫(yī)學(xué)知識(shí)掌握能力和臨床案例判斷能力遠(yuǎn)超OpenAI的GPT4。
在診療環(huán)節(jié)，AI大模型通過分析海量醫(yī)療數(shù)據(jù)輔助臨床診斷決策。例如，百度靈醫(yī)大模型利用其強(qiáng)大的數(shù)據(jù)處理能力，通過API或插件嵌入的方式，在200多家醫(yī)療機(jī)構(gòu)中展開應(yīng)用。
醫(yī)聯(lián)推出的MedGPT大模型基于Transformer架構(gòu)，其參數(shù)規(guī)模達(dá)到100B（千億級(jí)），預(yù)訓(xùn)練階段使用了超過20億的醫(yī)學(xué)文本數(shù)據(jù)，致力于實(shí)現(xiàn)疾病預(yù)防、診斷、治療到康復(fù)的全流程智能化診療。
在醫(yī)學(xué)影像分析領(lǐng)域，多模態(tài)大模型通過深度學(xué)習(xí)技術(shù)，自動(dòng)識(shí)別醫(yī)學(xué)影像中的病變區(qū)域。
首都醫(yī)科大學(xué)附屬北京天壇醫(yī)院聯(lián)合北京理工大學(xué)團(tuán)隊(duì)合作推出的“龍影”大模型（RadGPT），基于該模型研發(fā)的首個(gè)“中文數(shù)字放射科醫(yī)生”已經(jīng)實(shí)現(xiàn)通過分析MRI圖像描述快速生成超過百種疾病的診斷意見，平均生成一個(gè)病例的診斷意見僅需0.8秒。
多模態(tài)大模型在手術(shù)場景中也展現(xiàn)出強(qiáng)大潛力。聯(lián)影開發(fā)的外科智能體將視覺、語音、視頻數(shù)據(jù)集成到手術(shù)實(shí)時(shí)導(dǎo)航系統(tǒng)中，可實(shí)時(shí)呈現(xiàn)術(shù)區(qū)解剖結(jié)構(gòu)，提供精準(zhǔn)手術(shù)器械定位指導(dǎo)。
通過智能機(jī)械臂輔助器械傳遞，實(shí)現(xiàn)外科手術(shù)的高精準(zhǔn)性與實(shí)時(shí)性需求。中科院的CARES Copilot 1.0同樣能在手術(shù)中為醫(yī)生提供判斷參考，例如關(guān)鍵解剖結(jié)構(gòu)的識(shí)別以及手術(shù)中危險(xiǎn)區(qū)域的提示等。
在患者服務(wù)方面，AI大模型能夠?yàn)榛颊咛峁┲悄軐?dǎo)診、癥狀自查、就醫(yī)指導(dǎo)等服務(wù)，改善患者體驗(yàn)。
百度文心大模型與靈醫(yī)大模型合力支撐的 AI藥品說明書既支持患者閱讀藥品說明，也支持患者通過文字、語音的方式提問。大模型會(huì)根據(jù)患者的輸入內(nèi)容自動(dòng)生成結(jié)果，并借助藥師/醫(yī)生的虛擬形象進(jìn)行輔助回答。
盡管技術(shù)性能令人印象深刻，但醫(yī)療大模型在真實(shí)醫(yī)院環(huán)境中的表現(xiàn)并未完全達(dá)到預(yù)期。行業(yè)經(jīng)過“產(chǎn)品打造”階段后，亟待通過“性能驗(yàn)證”釋放商業(yè)價(jià)值。
目前對(duì)大多數(shù)醫(yī)療大模型依然缺乏明確的安全性、有效性的驗(yàn)證和監(jiān)管體系，成為大模型商業(yè)化推廣的限速因素。
實(shí)際應(yīng)用中，醫(yī)療大模型整體滲透率估計(jì)不足10%-20%，是一個(gè)極大的藍(lán)海市場待企業(yè)去開拓。即使在滲透率相對(duì)較高的放射類影像輔助診斷領(lǐng)域，估計(jì)滲透率也僅接近40%。
數(shù)據(jù)整合成為醫(yī)療大模型落地的首要障礙。由于國內(nèi)醫(yī)院信息化系統(tǒng)復(fù)雜，涉及眾多系統(tǒng)和廠商，整合患者全生命周期數(shù)據(jù)面臨巨大挑戰(zhàn)。
許多醫(yī)院為了保護(hù)隱私，選擇將大模型本地化部署在院內(nèi)服務(wù)器上，確保“數(shù)據(jù)不出院”。這一做法固然保障了隱私，但也帶來了挑戰(zhàn)：醫(yī)院必須自行解決數(shù)據(jù)對(duì)接與治理的問題，包括打通HIS系統(tǒng)、電子病歷、檢驗(yàn)檢查等多個(gè)數(shù)據(jù)庫。
數(shù)據(jù)治理不足會(huì)讓AI模型變成“瞎子”，再聰明的大模型，沒有吃飽吃對(duì)數(shù)據(jù)，同樣難有作為。
DeepSeek背后是上千億參數(shù)的“大塊頭”模型，要在醫(yī)院里高效運(yùn)行，對(duì)算力基礎(chǔ)設(shè)施是一個(gè)考驗(yàn)。部署之初，不少醫(yī)院信息科低估了所需的GPU服務(wù)器規(guī)模。
結(jié)果醫(yī)生一多用，系統(tǒng)就響應(yīng)變慢，有時(shí)還出現(xiàn)排隊(duì)等待，極大挫傷了使用體驗(yàn)。在算力資源不足的情況下，一些醫(yī)院選擇了將大模型進(jìn)行蒸餾裁剪，部署“精簡版”以降低硬件需求。
這樣雖然解決了算力瓶頸，但精簡版模型的能力也打了折扣。
醫(yī)生作為最終用戶，對(duì)AI的接受程度直接決定了醫(yī)療大模型的臨床應(yīng)用效果。許多醫(yī)生對(duì)AI持謹(jǐn)慎態(tài)度，不太信任AI給的結(jié)論，往往要反復(fù)核實(shí)。
這其實(shí)形成了一個(gè)悖論：AI本該減輕醫(yī)生負(fù)擔(dān)，但醫(yī)生因?yàn)椴环判?，花額外時(shí)間去驗(yàn)證AI結(jié)果，反而增加了負(fù)擔(dān)。
造成醫(yī)生信任度不高的原因，一方面在于大模型偶爾會(huì)出現(xiàn)“AI幻覺”，指模型一本正經(jīng)地給出荒謬答案。醫(yī)療場景里容不得這種低級(jí)錯(cuò)誤，一旦出現(xiàn)一次，就會(huì)讓醫(yī)生對(duì)AI的可靠性打上問號(hào)。
面對(duì)這些挑戰(zhàn)，醫(yī)療大模型需要找到適合自己的發(fā)展路徑。從技術(shù)突破到臨床價(jià)值創(chuàng)造，需要跨越多個(gè)鴻溝。
與其一上來就全院鋪開，不如選擇合適的科室或場景進(jìn)行試點(diǎn)，跑通流程、證明價(jià)值后再逐步推廣。這種“小步快跑”的策略可以降低風(fēng)險(xiǎn)、積累經(jīng)驗(yàn)。
例如，可以從醫(yī)療機(jī)構(gòu)的非診療高負(fù)荷場景入手，如行政公文處理、內(nèi)部審計(jì)等文本量大又人手緊缺的工作，用AI的長文本分析能力快速見效。
在臨床一線，也可選擇相對(duì)獨(dú)立的業(yè)務(wù)模塊試運(yùn)行大模型。成都市第一人民醫(yī)院最初把DeepSeek應(yīng)用在臨床營養(yǎng)評(píng)估、治未病（預(yù)防保?。╇S訪等環(huán)節(jié)，這些場景對(duì)AI依賴度高但風(fēng)險(xiǎn)相對(duì)可控，容易出成果。
大模型要懂行，離不開本地醫(yī)學(xué)知識(shí)庫的支撐。在部署后，投入力量打造專屬的知識(shí)庫，融入權(quán)威的臨床指南、診療規(guī)范以及醫(yī)院自身的臨床路徑、專家經(jīng)驗(yàn)等。
這樣，AI在回答問題或給建議時(shí)，就有據(jù)可循，不會(huì)偏離正規(guī)。本地知識(shí)庫還能包含醫(yī)院常見疾病譜、優(yōu)勢(shì)?？频牡湫筒±缺就粱瘍?nèi)容，讓大模型對(duì)“當(dāng)?shù)夭 薄氨驹禾厣币残闹杏袛?shù)。
要讓醫(yī)生用得順手，必須把AI助手融入他們?nèi)粘９ぷ鞯拿恳粋€(gè)環(huán)節(jié)。系統(tǒng)集成優(yōu)化可以從技術(shù)集成和流程集成兩方面著手。
技術(shù)上，應(yīng)當(dāng)盡快實(shí)現(xiàn)大模型與醫(yī)院HIS、EMR、LIS、PACS等系統(tǒng)的全面對(duì)接。理想狀態(tài)是醫(yī)生在現(xiàn)有工作站界面就能直接調(diào)用AI功能，而不必頻繁切換窗口。
流程集成方面，醫(yī)院管理者需要重新梳理診療流程，找到AI最佳介入點(diǎn)。例如，設(shè)置AI預(yù)問診：患者掛號(hào)后由AI先收集癥狀和既往史，分診判斷輕重緩急。
多模態(tài)醫(yī)療大模型的發(fā)展前景廣闊，但需要克服當(dāng)前局限才能真正實(shí)現(xiàn)其價(jià)值。
AI大模型將與生物信息學(xué)、基因編輯、納米技術(shù)等前沿科學(xué)領(lǐng)域深度融合，推動(dòng)個(gè)性化醫(yī)療和精準(zhǔn)醫(yī)療的發(fā)展。
通過整合不同領(lǐng)域的數(shù)據(jù)和知識(shí)，AI大模型能夠提供更為全面和深入的醫(yī)療解決方案，實(shí)現(xiàn)疾病治療和健康管理的個(gè)性化、精準(zhǔn)化。
未來的醫(yī)院和診所將越來越多地采用智能化系統(tǒng)，AI大模型將在其中扮演核心角色。從智能診斷、治療計(jì)劃的制定，到患者監(jiān)護(hù)和康復(fù)管理，AI大模型將提供自動(dòng)化、智能化的醫(yī)療服務(wù)。
AI大模型的應(yīng)用將有助于縮小城鄉(xiāng)醫(yī)療服務(wù)差距，通過遠(yuǎn)程醫(yī)療、移動(dòng)醫(yī)療等技術(shù)手段，將優(yōu)質(zhì)醫(yī)療資源下沉到基層和偏遠(yuǎn)地區(qū)。這將極大提高醫(yī)療服務(wù)的覆蓋率和可及性，實(shí)現(xiàn)醫(yī)療資源的均衡分配。
隨著AI大模型在醫(yī)療領(lǐng)域的廣泛應(yīng)用，倫理和監(jiān)管問題日益凸顯。未來需要建立更為完善的倫理審查和監(jiān)管機(jī)制，確保AI技術(shù)的應(yīng)用不侵犯患者隱私，不造成數(shù)據(jù)泄露。
同時(shí)保證AI醫(yī)療決策的透明度和可解釋性。
醫(yī)療大模型的道路漫長但前景可期。當(dāng)前面臨的挑戰(zhàn)正是行業(yè)從概念炒作走向?qū)嶋H應(yīng)用的必經(jīng)之路。
隨著技術(shù)的不斷成熟和醫(yī)院環(huán)境的逐步適配，多模態(tài)醫(yī)療大模型將在未來幾年內(nèi)找到屬于自己的最佳應(yīng)用場景，從輔助工具逐步演進(jìn)為智能協(xié)作伙伴，最終實(shí)現(xiàn)人工智能在醫(yī)療領(lǐng)域的真正價(jià)值。
參考資料：
1.
《聯(lián)影醫(yī)療如何用AI改變?cè)\療？》，騰訊新聞，2025年04月11日
2.
《中科院香港創(chuàng)新院AI中心發(fā)布多模態(tài)手術(shù)大模型,回答準(zhǔn)確度達(dá)95%》，21經(jīng)濟(jì)網(wǎng)，2024年03月11日
3.
《24小時(shí)全網(wǎng)刷屏！聯(lián)影醫(yī)療如何用AI改變?cè)\療？揭秘未來醫(yī)療趨勢(shì)》，搜狐網(wǎng)，2025年04月11日
4.
《權(quán)威認(rèn)可！數(shù)坤醫(yī)療大模型獲國家網(wǎng)信辦算法備案認(rèn)證》，今日頭條，2025年02月05日
5.
《探索醫(yī)療科技的未來：達(dá)摩院在多模態(tài)大模型領(lǐng)域的創(chuàng)新嘗試》，CSDN博客，2025年06月26日
6.
《2025醫(yī)療大模型研究報(bào)告:近300個(gè)醫(yī)療大模型在院內(nèi)外場景的賦能實(shí)踐》，中宏網(wǎng)，2025年05月12日
7.
《國產(chǎn)AI大模型在醫(yī)療行業(yè)的應(yīng)用:10大場景典型案例全解析!》，CSDN博客，2025年02月20日
8.
《“AI + 醫(yī)療” 呈現(xiàn)出快速落地應(yīng)用的趨勢(shì)》，CSDN博客，2025年03月19日
9.
《川觀智庫資訊丨 AI探路醫(yī)院場景,醫(yī)療大模型目前仍面臨三大問題》，今日頭條，2024年12月06日
10.
《DeepSeek落地遇冷？醫(yī)療大模型的理想與現(xiàn)實(shí)》，四川省衛(wèi)生信息學(xué)會(huì)，2025年08月30日
特別聲明：智慧醫(yī)療網(wǎng)轉(zhuǎn)載其他網(wǎng)站內(nèi)容，出于傳遞更多信息而非盈利之目的，同時(shí)并不代表贊成其觀點(diǎn)或證實(shí)其描述，內(nèi)容僅供參考。版權(quán)歸原作者所有，若有侵權(quán)，請(qǐng)聯(lián)系我們刪除。
凡來源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng)，轉(zhuǎn)載需獲授權(quán)。
智慧醫(yī)療網(wǎng) ? 2022 版權(quán)所有 ICP備案號(hào)：滬ICP備17004559號(hào)-5
