人工智能算法的性能依賴于高質(zhì)量數(shù)據(jù)。然而，由于患者隱私保護(hù)以及高質(zhì)量醫(yī)療數(shù)據(jù)，尤其是罕見病數(shù)據(jù)的匱乏，極大地限制了人工智能在醫(yī)療領(lǐng)域的廣泛應(yīng)用，隨著近年來人工智能（AI）技術(shù)的飛速發(fā)展，一種創(chuàng)新的解決方案應(yīng)運而生——AI合成醫(yī)學(xué)影像技術(shù)，它為這一難題提供了新的突破口。近日，MedComm-Future Medicine期刊主編張康教授， 聯(lián)合瞿佳教授和王勁卓研究員研發(fā)了世界首個通用大型生成式醫(yī)學(xué)影像模型（MINIM）（圖1），用于生成海量合成影像數(shù)據(jù)，為醫(yī)學(xué)影像領(lǐng)域的大模型訓(xùn)練注入了“新燃料”，為下游醫(yī)療健康實施應(yīng)用指明了一條嶄新的道路。該研究成果2024年12月11日發(fā)表于國際頂尖學(xué)術(shù)期刊Nature Medicine ——《自然醫(yī)學(xué)》，題為“Self-improving generative foundation model for synthetic medical image generation and clinical applications”的文章。
圖1. MINIM（醫(yī)學(xué)圖像合成生成系統(tǒng)）示意圖
首先，研究團(tuán)隊收集了多種醫(yī)學(xué)影像數(shù)據(jù)和對應(yīng)的報告，構(gòu)建了一個廣泛的數(shù)據(jù)集。這些數(shù)據(jù)涵蓋了OCT（光學(xué)相干斷層掃描）、眼底攝影、胸部CT和X光等多種影像模式，以及相應(yīng)的文本描述。對于OCT和眼底影像，研究團(tuán)隊實施了一個多層次的分級系統(tǒng)，由不同經(jīng)驗水平的醫(yī)生進(jìn)行圖像標(biāo)簽的驗證和校正。MINIM模型是一個基于擴(kuò)散模型的新型框架，它利用配對的醫(yī)學(xué)影像和文本描述來生成新的醫(yī)學(xué)影像。在訓(xùn)練階段，MINIM通過引入一系列隨機(jī)高斯噪聲來逐步擾亂輸入圖像，然后學(xué)習(xí)逆向擴(kuò)散過程，以生成與文本描述相匹配的圖像。為了評估MINIM模型的性能，研究團(tuán)隊將其與當(dāng)前AI社區(qū)中最新的文本到圖像的生成模型進(jìn)行了比較，包括Imagen、DALLE、GigaGAN和StyleGAN-T。通過一系列的消融研究，確定了最佳的超參數(shù)設(shè)置（hyperparameters），以優(yōu)化MINIM模型的生成質(zhì)量。研究中還引入了基于人類反饋的兩階段強(qiáng)化學(xué)習(xí)框架（圖2），這一框架利用合成數(shù)據(jù)來迭代訓(xùn)練。在第一階段，生成的合成圖像被傳遞給接收選擇器，這是一個分類模塊。在第二階段，引入了主動選擇過程，只有被選擇的圖像才會被傳遞給人類評估者進(jìn)行評估。
圖2. 使用人工評分的兩階段強(qiáng)化學(xué)習(xí)框架示意圖
在這項研究中，研究團(tuán)隊對MINIM模型的評估質(zhì)量、自我改進(jìn)能力、下游應(yīng)用等多個方面進(jìn)行了深入研究。（1）評估質(zhì)量：MINIM的圖像質(zhì)量及與臨床文本的相關(guān)性均優(yōu)于現(xiàn)有方法在主觀評估中，醫(yī)生對合成圖像進(jìn)行了三輪評分，評分標(biāo)準(zhǔn)為1至3分，分別代表圖像質(zhì)量低、高質(zhì)量但與報告無關(guān)、高質(zhì)量且與報告相符。MINIM在第一輪中的平均得分為70.75%，在經(jīng)過強(qiáng)化學(xué)習(xí)優(yōu)化后，第三輪的平均得分顯著提高至89.25%，顯示出MINIM在整合人類反饋后性能的顯著提升（圖3）。
圖3. 生成的合成圖像的評估。臨床醫(yī)生對生成的合成圖像進(jìn)行了三輪評分。客觀評估結(jié)果顯示，MINIM在所有評估指標(biāo)上均優(yōu)于其他文本到圖像的生成方法。具體來說，MINIM在OCT、眼底攝影、胸部X光和胸部CT的FID（Fréchet Inception Distance，用于衡量生成圖像與真實圖像分布之間的相似度）、IS（Inception Score，用于評估生成圖像的質(zhì)量和多樣性）和MS-SSIM（Multi-Scale Structural Similarity Index，多尺度結(jié)構(gòu)相似性指數(shù)，用于衡量圖像質(zhì)量的指標(biāo)）指標(biāo)上均展現(xiàn)出較低的FID值、較高的IS值和較低的MS-SSIM值，表明其生成的圖像具有更高的保真度。分類準(zhǔn)確度得分（CAS）是評估合成數(shù)據(jù)的一個新興替代指標(biāo)，用于衡量僅在合成樣本上訓(xùn)練的模型對真實測試數(shù)據(jù)的分類能力。MINIM在所有四個模態(tài)和器官上的Top-1準(zhǔn)確度均優(yōu)于其他生成方法。Top-1準(zhǔn)確度是一個衡量模型性能的重要指標(biāo)，用來描述模型對于給定輸入樣本做出的最有可能的預(yù)測與真實標(biāo)簽一致的比例，高Top-1準(zhǔn)確度的模型意味著能夠更可靠地對新的、未見過的數(shù)據(jù)做出正確的預(yù)測。在零樣本圖像-圖像檢索（IIR）和圖像-文本檢索（ITR）中，MINIM同樣展現(xiàn)出優(yōu)越的性能。這些評估進(jìn)一步驗證了MINIM合成圖像的質(zhì)量和與臨床文本的相關(guān)性。（2）自我改進(jìn)能力：通過強(qiáng)化學(xué)習(xí)和遷移學(xué)習(xí)，MINIM可以實現(xiàn)自我改進(jìn)該研究還評估了MINIM通過基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）和遷移學(xué)習(xí)實現(xiàn)自我改進(jìn)的能力。通過RLHF策略，MINIM模型在圖像生成的質(zhì)量上取得了顯著的提升（圖4）。在眼科圖像（OCT）的FID分?jǐn)?shù)上，經(jīng)過RLHF優(yōu)化的MINIM模型從原始的65.3降低到43.3，IS分?jǐn)?shù)從5.7±0.42提高到8.7±0.37，MS-SSIM分?jǐn)?shù)從0.16±0.03降低到0.11±0.06。這些結(jié)果表明，將人類反饋納入模型訓(xùn)練過程可以顯著提高合成圖像的質(zhì)量。
圖4. 來自臨床醫(yī)生評分的使用RLFH的合成圖像的6個主觀結(jié)果MINIM模型還具有良好的遷移能力。研究團(tuán)隊在模型中加入了腦和乳腺MRI數(shù)據(jù)集。在包含新數(shù)據(jù)集后，MINIM模型在原有四個模態(tài)（OCT、眼底攝影、胸部X光和胸部CT）上的性能也得到了提升。FID分?jǐn)?shù)從65.3降低到51.3，IS分?jǐn)?shù)從5.7±0.42提高到6.7±0.48，MS-SSIM分?jǐn)?shù)從0.14±0.03提高到0.16±0.03。（3）下游應(yīng)用：在診斷、報告生成和自監(jiān)督學(xué)習(xí)等多個領(lǐng)域，MINIM合成圖像顯著提升了多類別診斷模型的分類準(zhǔn)確性在下游應(yīng)用方面，MINIM合成圖像在診斷、報告生成和自監(jiān)督學(xué)習(xí)等多個領(lǐng)域展現(xiàn)出顯著的性能提升（圖5）。特別是在診斷領(lǐng)域，合成數(shù)據(jù)的加入顯著提高了多類別診斷模型的分類準(zhǔn)確性。
圖5. 將MINIM和其他生成模型的合成圖像合并到真實數(shù)據(jù)中進(jìn)行診斷任務(wù)的性能比較（4）臨床應(yīng)用：在肺癌EGFR突變檢測和乳腺癌HER2狀態(tài)檢測中具有潛力在臨床應(yīng)用方面，MINIM在肺癌EGFR突變檢測和乳腺癌HER2狀態(tài)檢測中表現(xiàn)出了其臨床潛力。通過合成圖像的輔助，模型在預(yù)測EGFR突變和HER2狀態(tài)方面表現(xiàn)出了更高的準(zhǔn)確性，可能對患者的治療決策產(chǎn)生重要影響（圖6）。
圖6. 基于AI的突變預(yù)測性能及其對晚期肺癌患者5年生存率的影響。使用訓(xùn)練數(shù)據(jù)集中不同數(shù)量的合成圖像對EGFR突變預(yù)測的基線和性能比較。通過將合成圖像添加到訓(xùn)練中來提高HER2陽性預(yù)測的性能
綜上所述，張康教授團(tuán)隊在醫(yī)學(xué)影像合成領(lǐng)域取得了突破性進(jìn)展，MINIM生成的合成數(shù)據(jù)展現(xiàn)了廣泛的應(yīng)用前景。研究表明，這些數(shù)據(jù)既可以單獨作為訓(xùn)練集用于構(gòu)建醫(yī)學(xué)影像大模型，也可以與真實數(shù)據(jù)結(jié)合，顯著提高模型在實際任務(wù)中的性能。在疾病診斷、醫(yī)學(xué)報告生成及自監(jiān)督學(xué)習(xí)等關(guān)鍵領(lǐng)域，使用MINIM生成的合成數(shù)據(jù)訓(xùn)練模型，獲得了顯著的性能提升。此外，該模型已在肺部CT影像的EGFR突變預(yù)測及生存分析、乳腺MRI影像的HER2陽性預(yù)測等場景中驗證了其臨床應(yīng)用價值。MINIM模型憑借其自我改進(jìn)能力和跨模態(tài)泛化性，為醫(yī)學(xué)影像數(shù)據(jù)稀缺和隱私保護(hù)問題提供了創(chuàng)新的解決方案。通過生成合成數(shù)據(jù)替代真實患者數(shù)據(jù)，MINIM模型在保護(hù)患者隱私的同時，有效擴(kuò)充了用于訓(xùn)練和測試AI模型的數(shù)據(jù)量，解決了與真實數(shù)據(jù)使用相關(guān)的倫理和法律挑戰(zhàn)。這一方法提升了數(shù)據(jù)的可用性，確保了數(shù)據(jù)處理過程中的合規(guī)性，為醫(yī)學(xué)影像分析領(lǐng)域帶來了革命性的進(jìn)步。
特別聲明：智慧醫(yī)療網(wǎng)轉(zhuǎn)載其他網(wǎng)站內(nèi)容，出于傳遞更多信息而非盈利之目的，同時并不代表贊成其觀點或證實其描述，內(nèi)容僅供參考。版權(quán)歸原作者所有，若有侵權(quán)，請聯(lián)系我們刪除。
凡來源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng)，轉(zhuǎn)載需獲授權(quán)。
