打開(kāi)手機(jī)掃描二維碼
即可在手機(jī)端查看
國(guó)家人工智能應(yīng)用中試基地（醫(yī)療）·浙江（以下簡(jiǎn)稱基地）日前組建成立醫(yī)學(xué)人工智能臨床專家?guī)臁?/span>這支專家團(tuán)隊(duì)匯集了省內(nèi)外41家醫(yī)院和機(jī)構(gòu)的近300名醫(yī)學(xué)專家，覆蓋64個(gè)?？祁I(lǐng)域。他們依托基地與中國(guó)醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)學(xué)院、中國(guó)信息通信研究院共建的“醫(yī)學(xué)人工智能測(cè)評(píng)驗(yàn)證聯(lián)合實(shí)驗(yàn)室”，參與醫(yī)療大模型能力評(píng)測(cè)的標(biāo)準(zhǔn)建立、考題制作、結(jié)果審核等工作。目前，團(tuán)隊(duì)已完成超過(guò)20個(gè)醫(yī)療大模型的評(píng)測(cè)任務(wù)。
近年來(lái)，各類醫(yī)療大模型紛紛涌現(xiàn)，卻缺乏嚴(yán)肅、權(quán)威、專業(yè)的評(píng)價(jià)體系。一個(gè)核心問(wèn)題日益凸顯：如何確保這些與百姓健康息息相關(guān)的AI產(chǎn)品安全、可靠？
“專家團(tuán)隊(duì)覆蓋了內(nèi)科、外科、婦產(chǎn)科、兒科等核心臨床專科，并納入了影像、病理等關(guān)鍵醫(yī)技科室的權(quán)威專家，”醫(yī)療大模型評(píng)測(cè)技術(shù)負(fù)責(zé)人康俊暉介紹，“團(tuán)隊(duì)已構(gòu)建超過(guò)6萬(wàn)道題的測(cè)評(píng)題庫(kù)，建立初審、復(fù)審和抽樣校驗(yàn)的三審機(jī)制。這套嚴(yán)謹(jǐn)?shù)捏w系，相當(dāng)于為醫(yī)學(xué)人工智能量身定制了一套‘專業(yè)考題’?！?/span>
這些考題圍繞《衛(wèi)生健康行業(yè)人工智能應(yīng)用場(chǎng)景參考指引》設(shè)計(jì)，覆蓋患者就醫(yī)、醫(yī)生診療等真實(shí)場(chǎng)景，構(gòu)建了健康科普、分診導(dǎo)診、報(bào)告解讀、用藥指導(dǎo)、檢驗(yàn)檢查推薦、輔助診斷和輔助病歷撰寫等七大應(yīng)用場(chǎng)景。
在題型設(shè)計(jì)上，團(tuán)隊(duì)也進(jìn)行了創(chuàng)新突破?！俺Ｒ?guī)的客觀選擇題只能評(píng)估模型的知識(shí)覆蓋能力，難以衡量其在復(fù)雜醫(yī)療場(chǎng)景中的實(shí)際表現(xiàn)?！笨悼煾嬖V記者，“我們大幅增加了主觀簡(jiǎn)答題比重，通過(guò)對(duì)大模型回答的深度分析，更準(zhǔn)確地評(píng)估其臨床推理能力。”例如，在輔助診斷場(chǎng)景中，不僅要求模型給出診斷名稱，還要求模型詳細(xì)闡述診斷依據(jù)和思路；在用藥指導(dǎo)環(huán)節(jié)，則需要說(shuō)明藥物選擇的理由和注意事項(xiàng)。
“醫(yī)學(xué)人工智能是一個(gè)非常特殊的領(lǐng)域，倫理、安全、算法黑箱、幻覺(jué)等問(wèn)題倍受關(guān)注，稍有不慎，極易導(dǎo)致信任崩塌”?；叵嚓P(guān)負(fù)責(zé)人、浙江省衛(wèi)生健康信息中心主任李春浦指出，“基于網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)或有限臨床數(shù)據(jù)訓(xùn)練出來(lái)的大模型，在一些醫(yī)院的落地應(yīng)用中，就出現(xiàn)了‘水土不服’”。
李春浦進(jìn)一步解釋，應(yīng)用在真實(shí)臨床診療場(chǎng)景下的人工智能產(chǎn)品，僅靠掌握公開(kāi)的醫(yī)學(xué)教材、文獻(xiàn)資料和個(gè)別醫(yī)院的數(shù)據(jù)是遠(yuǎn)遠(yuǎn)不夠的。“這就好比一個(gè)醫(yī)學(xué)生，即便熟讀教科書，經(jīng)歷了臨床實(shí)習(xí)，仍難以勝任復(fù)雜的診療工作。因此，我們必須用大量的‘真案例、真標(biāo)準(zhǔn)’來(lái)檢驗(yàn)，通過(guò)不同醫(yī)院、不同領(lǐng)域真實(shí)的臨床案例，包括疑難重癥病例，參考國(guó)內(nèi)外最新診療指南進(jìn)行評(píng)測(cè)，才能科學(xué)評(píng)估人工智能在嚴(yán)肅醫(yī)療場(chǎng)景下的真實(shí)水平。”
評(píng)測(cè)工作也建立起長(zhǎng)效的優(yōu)化機(jī)制?？悼熃榻B，一個(gè)醫(yī)療大模型需要在“發(fā)現(xiàn)問(wèn)題-反饋優(yōu)化-再次測(cè)評(píng)”這三個(gè)流程中多次循環(huán)。一般情況下，這些模型經(jīng)過(guò)3-5輪測(cè)評(píng)，能力上便會(huì)有明顯提升。這也為醫(yī)療大模型的持續(xù)進(jìn)化提供了明確方向，幫助研發(fā)的企業(yè)精準(zhǔn)改進(jìn)模型性能，加速技術(shù)成熟落地。
目前，浙江正在開(kāi)展醫(yī)療大模型第二輪的測(cè)評(píng)驗(yàn)證工作，推動(dòng)醫(yī)療大模型測(cè)評(píng)將常態(tài)化，讓真正好用、管用、實(shí)用的醫(yī)療AI產(chǎn)品加速推廣應(yīng)用，推動(dòng)醫(yī)學(xué)人工智能高質(zhì)量發(fā)展。
特別聲明：智慧醫(yī)療網(wǎng)轉(zhuǎn)載其他網(wǎng)站內(nèi)容，出于傳遞更多信息而非盈利之目的，同時(shí)并不代表贊成其觀點(diǎn)或證實(shí)其描述，內(nèi)容僅供參考。版權(quán)歸原作者所有，若有侵權(quán)，請(qǐng)聯(lián)系我們刪除。
凡來(lái)源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng)，轉(zhuǎn)載需獲授權(quán)。
Copyright ? 2022 上?？评讜?huì)展服務(wù)有限公司 旗下「智慧醫(yī)療網(wǎng)」版權(quán)所有 ICP備案號(hào)：滬ICP備17004559號(hào)-5
