打開(kāi)手機(jī)掃描二維碼
即可在手機(jī)端查看
在人工智能技術(shù)迅速滲透醫(yī)療領(lǐng)域的背景下，如何準(zhǔn)確評(píng)估AI模型在真實(shí)醫(yī)療場(chǎng)景中的表現(xiàn)成為業(yè)內(nèi)關(guān)注的焦點(diǎn)。斯坦福大學(xué)近日推出了一款全新的評(píng)估工具，旨在為醫(yī)療AI模型提供更貼近實(shí)際需求的測(cè)試方法。這一工具被稱為MedHelm，其設(shè)計(jì)目標(biāo)是幫助醫(yī)療系統(tǒng)和決策者更好地選擇和部署AI技術(shù)，確保其在真實(shí)環(huán)境中發(fā)揮作用。
醫(yī)療AI的“現(xiàn)實(shí)考驗(yàn)”
斯坦福的這一工具類似于汽車購(gòu)買時(shí)的全面評(píng)測(cè)，專注于AI模型在實(shí)際醫(yī)療任務(wù)中的表現(xiàn)，而非僅僅依賴學(xué)術(shù)測(cè)試或理論數(shù)據(jù)。哈佛醫(yī)學(xué)院生物醫(yī)學(xué)信息學(xué)系主任Isaac Kohane教授回憶起自己作為住院醫(yī)生時(shí)的一段經(jīng)歷：在重癥監(jiān)護(hù)室中，他曾為一名低血糖患兒列出詳盡的可能病因清單，但最終發(fā)現(xiàn)問(wèn)題出在輸液操作的中斷上。“我的導(dǎo)師當(dāng)時(shí)提醒我，要關(guān)注現(xiàn)實(shí)世界的運(yùn)作方式，而不是僅僅依賴書本知識(shí)，”Kohane說(shuō)。他認(rèn)為，當(dāng)前許多AI模型也面臨類似問(wèn)題——它們?cè)诶碚摽荚囍斜憩F(xiàn)優(yōu)異，但在實(shí)際醫(yī)療場(chǎng)景中卻可能失靈。
AI模型的局限性
研究人員發(fā)現(xiàn)，盡管一些AI語(yǔ)言模型（如GPT-4）能夠通過(guò)美國(guó)醫(yī)學(xué)執(zhí)照考試等知識(shí)性測(cè)試，但它們?cè)诨卮疳t(yī)生指令或查詢時(shí)仍存在顯著錯(cuò)誤。例如，在一次測(cè)試中，GPT-4的錯(cuò)誤率高達(dá)35%，遠(yuǎn)高于人類醫(yī)生的表現(xiàn)。這也引發(fā)了業(yè)內(nèi)對(duì)AI技術(shù)過(guò)度依賴的擔(dān)憂。
MedHelm工具的推出正是為了解決這一問(wèn)題。它通過(guò)模擬真實(shí)醫(yī)療場(chǎng)景，對(duì)AI模型的表現(xiàn)進(jìn)行全面評(píng)估，從而為醫(yī)療機(jī)構(gòu)提供更具參考價(jià)值的數(shù)據(jù)支持。
推動(dòng)醫(yī)療AI的規(guī)范化應(yīng)用
斯坦福的研究團(tuán)隊(duì)表示，MedHelm的目標(biāo)不僅是評(píng)估AI模型的準(zhǔn)確性，還包括其在不同醫(yī)療場(chǎng)景中的適用性。例如，該工具會(huì)測(cè)試AI模型在緊急情況下的反應(yīng)速度、對(duì)患者歷史數(shù)據(jù)的處理能力，以及在復(fù)雜決策中的可靠性。這些指標(biāo)將為醫(yī)療系統(tǒng)選擇AI技術(shù)提供重要依據(jù)。
Kohane教授強(qiáng)調(diào)：“醫(yī)療行業(yè)需要的不僅是聰明的AI模型，更是能夠理解并適應(yīng)現(xiàn)實(shí)世界復(fù)雜性的解決方案。MedHelm為我們提供了一個(gè)全新的視角，幫助我們更好地評(píng)估和利用這些技術(shù)?！?/span>
隨著AI技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用日益廣泛，其潛力和局限性也愈發(fā)顯現(xiàn)。MedHelm的推出為行業(yè)提供了一種新的評(píng)估方法，有望推動(dòng)AI技術(shù)在醫(yī)療中的規(guī)范化應(yīng)用。然而，如何平衡技術(shù)創(chuàng)新與實(shí)際需求之間的關(guān)系，仍是行業(yè)需要面對(duì)的重要挑戰(zhàn)。
特別聲明：智慧醫(yī)療網(wǎng)轉(zhuǎn)載其他網(wǎng)站內(nèi)容，出于傳遞更多信息而非盈利之目的，同時(shí)并不代表贊成其觀點(diǎn)或證實(shí)其描述，內(nèi)容僅供參考。版權(quán)歸原作者所有，若有侵權(quán)，請(qǐng)聯(lián)系我們刪除。
凡來(lái)源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng)，轉(zhuǎn)載需獲授權(quán)。
智慧醫(yī)療網(wǎng) ? 2022 版權(quán)所有 ICP備案號(hào)：滬ICP備17004559號(hào)-5
