2025年以來，Deepseek通過開放生態(tài)加速了算法研發(fā)與臨床場景的深度融合。醫(yī)療大模型摒棄了“技術(shù)至上”的思維，逐漸進(jìn)入實(shí)用主義階段。作為AI應(yīng)用最為深入的領(lǐng)域之一，醫(yī)學(xué)影像在大模型時(shí)代迎來了更快速的發(fā)展。
如何增強(qiáng)AI模型泛化能力？大模型幻覺問題如何解決？大模型多模態(tài)數(shù)據(jù)整合的難點(diǎn)及解決方案有哪些？動(dòng)脈網(wǎng)與數(shù)坤科技首席技術(shù)官鄭超、透徹未來聯(lián)創(chuàng)兼首席技術(shù)官王書浩這兩位深耕醫(yī)療AI多年的專家們聊了聊，供行業(yè)參考。
本文主要觀點(diǎn)如下：
1、已覆蓋影像科全工作流程，解決病理三大泛化性挑戰(zhàn) 2、通過多維數(shù)據(jù)強(qiáng)化與模型迭代，提升AI泛化性能 3、RAG技術(shù)、模型優(yōu)化多管齊下，破解幻覺困局 4、憑數(shù)據(jù)本地化控制特性，一體機(jī)成醫(yī)院部署主流選擇 5、未來趨勢：性能提升、多模態(tài)融合與全科化演變
01 大模型已深入醫(yī)生全工作流程
醫(yī)學(xué)影像人工智能模型在參數(shù)規(guī)模未達(dá)當(dāng)前水平時(shí)便展現(xiàn)出了廣闊的應(yīng)用前景，現(xiàn)已在影像科醫(yī)生的工作全流程中實(shí)現(xiàn)了常態(tài)化應(yīng)用。而在輔助診斷專用模型之后，數(shù)坤科技在4月發(fā)布的“數(shù)坤坤多模態(tài)醫(yī)療健康大模型”，便實(shí)現(xiàn)了讓AI從輔助工具進(jìn)化為診療生態(tài)的核心驅(qū)動(dòng)力。
數(shù)坤科技首席技術(shù)官鄭超認(rèn)為，醫(yī)學(xué)影像大模型將進(jìn)一步向多模態(tài)精準(zhǔn)診斷、個(gè)性化治療決策、手術(shù)規(guī)劃與預(yù)后模擬等潛力方向發(fā)展。而這也是數(shù)坤科技正在探索的方向。
在眾多應(yīng)用場景中，因病理圖像具有非常大的多樣性，病理大模型也被認(rèn)為是醫(yī)療模型“皇冠上的明珠”。為破解病理診斷準(zhǔn)確性與效率難題，透徹未來研發(fā)了全球首個(gè)臨床應(yīng)用級病理大模型產(chǎn)品——透徹洞察，基于億級參數(shù)量和海量高精度病理數(shù)據(jù)訓(xùn)練，為病理醫(yī)生提供精準(zhǔn)穩(wěn)健、全面快速的病理臨床診斷輔助。
透徹未來聯(lián)合創(chuàng)始人兼首席技術(shù)官王書浩分享病理大模型的臨床應(yīng)用價(jià)值，在于有效解決了病理領(lǐng)域長期面臨的醫(yī)院泛化性、癌種泛化性和病理任務(wù)泛化性挑戰(zhàn)。
以任務(wù)泛化性為例。病理診斷需同步完成病灶分割、細(xì)胞檢測、切片分類等多任務(wù)，傳統(tǒng)方法需部署數(shù)十個(gè)小模型，維護(hù)成本高。但大模型提出通用特征底座方案，預(yù)訓(xùn)練病理切片的組織紋理、細(xì)胞排列等通用表征，使下游任務(wù)僅需微調(diào)即可完成，能夠極大簡化流程并提高診療效率。
02 強(qiáng)化數(shù)據(jù)與模型迭代，提升AI泛化性能
在臨床應(yīng)用中，AI模型的泛化能力至關(guān)重要，是評估模型可靠性與穩(wěn)定性、可遷移性的關(guān)鍵指標(biāo)。然而，一些 AI 模型在受控的訓(xùn)練環(huán)境中表現(xiàn)出色，一旦進(jìn)入實(shí)際部署階段，其性能卻大打折扣。鄭超分析認(rèn)為，影響模型泛化能力的主要原因主要有以下三點(diǎn)：
首先是數(shù)據(jù)多樣性不足。不同醫(yī)院的數(shù)據(jù)采集標(biāo)準(zhǔn)不同，不同設(shè)備的成像參數(shù)不一致，再加上不同人群在年齡、地域分布上的不均衡，使得模型在跨場景應(yīng)用時(shí)泛化能力較弱，表現(xiàn)波動(dòng)較大。
其次是模型自身存在局限性。如架構(gòu)設(shè)計(jì)存在缺陷、訓(xùn)練策略不夠合理等，都會(huì)影響模型輸出的穩(wěn)定性和可靠性。
三是醫(yī)學(xué)數(shù)據(jù)本身的長尾性。在實(shí)際的臨床場景中，同一部位的不同疾病發(fā)病率并不相同，在收集數(shù)據(jù)時(shí)很難采集到足夠多的發(fā)病率較低的疾病數(shù)據(jù)。對于一些像存在掃描偽影等特殊情況的病例，同樣難以收集。因此訓(xùn)練階段往往缺乏足夠的低質(zhì)量樣本覆蓋，使得模型在一些真實(shí)環(huán)境下表現(xiàn)一般。
那么，我們該如何加強(qiáng)AI模型的泛化能力呢？受訪對象們認(rèn)為可從以下三維度出發(fā)：
擴(kuò)大數(shù)據(jù)樣本容量及其多樣性，提升模型在復(fù)雜場景下的特征提取穩(wěn)定性；同時(shí)通過數(shù)據(jù)增強(qiáng)技術(shù)，模擬不同掃描設(shè)備、患者體位、病變階段的影像特征，來提升模型的泛化能力。 優(yōu)化訓(xùn)練模型。第一，提升模型容量，增加參數(shù)量以容納復(fù)雜多樣的數(shù)據(jù)特征，并采用更靈活的架構(gòu)，提升對異構(gòu)數(shù)據(jù)的建模能力；第二，改進(jìn)訓(xùn)練策略，設(shè)計(jì)針對性損失函數(shù)，如結(jié)合臨床指標(biāo)的加權(quán)損失，同時(shí)利用獎(jiǎng)勵(lì)機(jī)制引導(dǎo)模型學(xué)習(xí)關(guān)鍵特征；其三，防止過擬合，運(yùn)用正則化、交叉驗(yàn)證等技術(shù)，確保模型在訓(xùn)練集外的穩(wěn)定性。 在實(shí)際場景中持續(xù)迭代模型。企業(yè)可以通過在不同醫(yī)療環(huán)境（如三級醫(yī)院、基層醫(yī)院等）多場景部署模型，建立“部署-反饋-迭代”的閉環(huán)，提升模型在真實(shí)醫(yī)療環(huán)境中的穩(wěn)定性。同時(shí)，要明確 AI 的能力邊界，由醫(yī)生對結(jié)果進(jìn)行把關(guān)，確保結(jié)果的可靠性和安全性。
03 RAG技術(shù)、模型優(yōu)化多管齊下，破解幻覺困局
隨著大模型在醫(yī)學(xué)領(lǐng)域的深入應(yīng)用，幻覺問題成為制約其落地的障礙之一。產(chǎn)業(yè)界積極求解，提出了多種應(yīng)對策略。
RAG（外部檢索增強(qiáng)生成）是減輕幻覺的重要技術(shù)路徑之一。它在大模型生成過程中引入外部知識庫，為模型提供可靠信息支持，無需介入模型訓(xùn)練，即可提升生成內(nèi)容的準(zhǔn)確性和可信度。
但RAG也有其局限性，因此應(yīng)用RAG需要特別注意以下三個(gè)要點(diǎn)：選擇合適的基座大模型，以確保模型在給定的資源和時(shí)間限制下能夠高效運(yùn)行；動(dòng)態(tài)更新知識庫內(nèi)容，沒有高質(zhì)量的場景知識庫，RAG便是無源之水，減輕幻覺便無從談起；選擇合適的檢索技術(shù)，更充分地利用場景知識庫，為大模型召回更匹配的語言片段，使得生成所需信息時(shí)更為準(zhǔn)確。
生成式+判別式AI優(yōu)勢互補(bǔ)，協(xié)同交互驗(yàn)證。王書浩提出了生成式與判別式AI協(xié)同的解決方案。他指出，生成式AI通過模擬“輸入-輸出”的聯(lián)合分布生成答案，但開放性問題無唯一解，模型可能輸出自相矛盾或脫離現(xiàn)實(shí)的內(nèi)容。
其解決方法在于生成式與判別式 AI 的協(xié)同應(yīng)用。具體而言，對于如醫(yī)療診斷等關(guān)鍵決策場景，應(yīng)采用判別式 AI，限定輸出范圍（如從預(yù)定義的腫瘤類型標(biāo)簽中選擇），避免開放性答案帶來的不可控風(fēng)險(xiǎn)。而在需要探索的場景，如科研假設(shè)生成，可使用生成式 AI，但宜采用“選擇題+自由發(fā)揮”的混合模式，先通過選擇引導(dǎo)方向，再進(jìn)行自由發(fā)揮，以降低幻覺風(fēng)險(xiǎn)。
通過模型改進(jìn)來增強(qiáng)大模型的推理和驗(yàn)證能力。鄭超分享到，數(shù)坤科技希望探索統(tǒng)一的多模態(tài)模型架構(gòu)，整合影像、文本等多源數(shù)據(jù)，降低訓(xùn)練成本與復(fù)雜性，使模型能夠基于跨模態(tài)的全局理解生成結(jié)果。
同時(shí)，采取多層次技術(shù)策略應(yīng)對幻覺問題：一方面通過“輸出對齊”技術(shù)，讓模型在低置信度時(shí)主動(dòng)聲明不確定性或請求補(bǔ)充信息；另一方面引入醫(yī)學(xué)思維鏈訓(xùn)練，要求模型分步推理并自我驗(yàn)證，確保答案有據(jù)可依。鄭超也提到，在復(fù)雜醫(yī)療場景中也可采用“判別式+生成式”模式，先用判別式判斷疾病類型，再用生成式進(jìn)行個(gè)性化說明，為診斷決策提供高效且安全的支持。
可以看到，盡管大模型幻覺問題短期內(nèi)難以徹底解決，但通過技術(shù)迭代與多學(xué)科協(xié)作，其可靠性正在穩(wěn)步提升。
04 一體機(jī)成為當(dāng)前醫(yī)院部署主流選擇
在人工智能技術(shù)融入醫(yī)療場景的關(guān)鍵進(jìn)程中，大模型的部署模式成為釋放技術(shù)效能的核心要素。當(dāng)前，本地部署憑借在數(shù)據(jù)隱私保護(hù)與合規(guī)性方面的天然優(yōu)勢，成為眾多醫(yī)院的首選方案。
王書浩指出，本地部署主要分為兩種類型：純圖像大模型和通用大模型。
其中，純圖像大模型通過工程優(yōu)化后，可在家用級GPU上運(yùn)行，展現(xiàn)出強(qiáng)大的適配性和靈活性；而通用大模型則需要利用大量本地?cái)?shù)據(jù)進(jìn)行微調(diào)，以適應(yīng)專業(yè)診斷需求。一體機(jī)作為一種融合性的解決方案，它巧妙結(jié)合了通用大模型和專用醫(yī)療大模型的優(yōu)勢，為醫(yī)院提供了全方位的技術(shù)支持，滿足了多樣化的醫(yī)療場景需求。
鄭超補(bǔ)充道，從實(shí)際落地情況來看，一體機(jī)憑借其數(shù)據(jù)本地化控制的特性，成為了當(dāng)前醫(yī)院部署的選擇主流。在院內(nèi)私有化環(huán)境中，一體機(jī)將硬件、基礎(chǔ)支撐軟件與大模型集成為一體，有效滿足了國內(nèi)醫(yī)院對數(shù)據(jù)隱私和合規(guī)性的高要求。在單科室或區(qū)域級醫(yī)院的非核心場景中，部署通用大模型的一體機(jī)展現(xiàn)出一定價(jià)值，例如自動(dòng)生成病歷摘要、整理結(jié)構(gòu)化報(bào)告等，為醫(yī)療流程的優(yōu)化提供了幫助。
然而，在綜合診斷、病理邏輯推演等要求極高的精準(zhǔn)醫(yī)療任務(wù)中，只部署通用大模型的一體機(jī)的醫(yī)學(xué)專業(yè)能力短板就非常明顯。此外，一些設(shè)計(jì)不足的一體機(jī)的擴(kuò)展存在瓶頸，也限制了其在更廣泛場景中的應(yīng)用。因此選擇具備橫向擴(kuò)展能力的一體機(jī)，才能夠在更長遠(yuǎn)的時(shí)間內(nèi)勝任全院級多模態(tài)數(shù)據(jù)的協(xié)同分析，這也是醫(yī)療機(jī)構(gòu)在選擇一體機(jī)時(shí)的一個(gè)重要考量因素。
此外，公有云部署方式以其彈性算力供給和跨機(jī)構(gòu)數(shù)據(jù)協(xié)作的優(yōu)勢，也展現(xiàn)出了獨(dú)特的靈活性。在在線問診、遠(yuǎn)程會(huì)診等場景中，公有云能夠快速調(diào)配資源，滿足不同醫(yī)療機(jī)構(gòu)的實(shí)時(shí)需求。然而，其在數(shù)據(jù)隱私和合規(guī)性方面的風(fēng)險(xiǎn)不容忽視。
05 未來趨勢：性能提升、多模態(tài)融合與全科化演變
最后，我們來談一下大模型未來的發(fā)展趨勢。
當(dāng)下醫(yī)療大模型在性能層面已逐步超越傳統(tǒng)小模型。王書浩提到，以影像領(lǐng)域?yàn)槔?，其在確保敏感度達(dá)到 100% 的前提下，能顯著提升特異性，這一優(yōu)勢使其應(yīng)用范圍持續(xù)拓展。原本僅適用于三四千家醫(yī)院的模型，如今已成功推廣至超萬家醫(yī)院。隨著模型的應(yīng)用與數(shù)據(jù)積累，其性能有望進(jìn)一步優(yōu)化，為更多患者提供優(yōu)質(zhì)醫(yī)療服務(wù)。
醫(yī)學(xué)應(yīng)用正朝著多模態(tài)融合的方向發(fā)展。鄭超觀察到，過去，影像、文本等大模型各自獨(dú)立，如今逐漸走向整合。多模態(tài)大模型能夠融合不同類型的醫(yī)療數(shù)據(jù)，為醫(yī)生提供更全面的患者病情信息，不僅提升了診斷的準(zhǔn)確性，還為個(gè)性化治療方案的制定提供了有力依據(jù)。
大模型正朝著全科化的方向演變。鄭超將其比作數(shù)字化“全科醫(yī)生”，不再局限于某一專科領(lǐng)域，能夠綜合患者的檢查檢驗(yàn)結(jié)果、影像、病理等多維度診療信息，提供綜合診斷與治療建議。
同時(shí)，他也提到，醫(yī)療數(shù)據(jù)的不斷積累，尤其是完整患者數(shù)據(jù)的收集，將為大模型的訓(xùn)練提供更豐富、更全面的素材，進(jìn)一步提升模型的性能和準(zhǔn)確性。盡管數(shù)據(jù)稀疏性和長尾性等問題會(huì)給模型訓(xùn)練帶來一定的挑戰(zhàn)，但通過不斷優(yōu)化算法和模型結(jié)構(gòu)，以及對數(shù)據(jù)進(jìn)行更深入的挖掘和分析，未來將逐步克服這些困難，實(shí)現(xiàn)更廣泛的應(yīng)用和更完善的解決方案。
特別聲明：智慧醫(yī)療網(wǎng)轉(zhuǎn)載其他網(wǎng)站內(nèi)容，出于傳遞更多信息而非盈利之目的，同時(shí)并不代表贊成其觀點(diǎn)或證實(shí)其描述，內(nèi)容僅供參考。版權(quán)歸原作者所有，若有侵權(quán)，請聯(lián)系我們刪除。
凡來源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng)，轉(zhuǎn)載需獲授權(quán)。
智慧醫(yī)療網(wǎng) ? 2022 版權(quán)所有 ICP備案號：滬ICP備17004559號-5
