近日，上海市人工智能實(shí)驗(yàn)室發(fā)布中文醫(yī)療大模型權(quán)威評測平臺MedBench 4.0，這是國內(nèi)首個面向垂直大模型、專用大模型、應(yīng)用場景的醫(yī)療大模型評測與驗(yàn)證體系。業(yè)內(nèi)人士介紹，MedBench 4.0為衡量醫(yī)學(xué)AI產(chǎn)品性能與可靠性提供了科學(xué)標(biāo)尺，保障了醫(yī)療人工智能產(chǎn)品質(zhì)量的提升與行業(yè)良性競爭。
據(jù)悉，中文醫(yī)療大模型權(quán)威評測平臺MedBench首發(fā)于2023年年中，目前更新至第四版。上海人工智能實(shí)驗(yàn)室醫(yī)療和評測中心負(fù)責(zé)人徐捷介紹，本次升級包含大語言模型、多模態(tài)大模型及智能體三大技術(shù)范式，深度對齊國家《衛(wèi)生健康行業(yè)人工智能應(yīng)用場景參考指引》，覆蓋60個全自主構(gòu)建評測集，共70萬余專業(yè)評測題。
記者從上海市人工智能實(shí)驗(yàn)室了解到，針對大語言模型評測，平臺圍繞醫(yī)學(xué)知識問答、語言理解、生成、復(fù)雜推理及安全倫理等維度構(gòu)建了評測集，并創(chuàng)新引入科學(xué)指標(biāo)體系，以緩解模型信息遺漏或幻覺生成等問題對評測結(jié)果的影響；針對多模態(tài)大模型評測，瞄準(zhǔn)醫(yī)療影像、檢測報(bào)告等臨床核心場景，平臺可覆蓋目標(biāo)檢測、圖像分類、多模態(tài)報(bào)告質(zhì)控、序列影像理解、病程動態(tài)追蹤等10項(xiàng)細(xì)分任務(wù)，填補(bǔ)了中文醫(yī)療多模態(tài)評測領(lǐng)域的技術(shù)缺口；針對智能體評測，平臺則重點(diǎn)解決智能體執(zhí)行斷層的問題，推動醫(yī)療智能體從“能對話”向“能執(zhí)行、能協(xié)作”演進(jìn)。
對于醫(yī)療大模型評測的意義，徐捷告訴記者，評測首先可以驗(yàn)證醫(yī)療大模型的合規(guī)性，其次是驗(yàn)證其專業(yè)性，比如會不會誤診、漏診或者開錯藥，最終幫助市場更好地訓(xùn)練出優(yōu)質(zhì)的醫(yī)療大模型。
記者注意到，目前，不少通用大模型如深度求索、千問等都可以分析體檢報(bào)告和檢查報(bào)告。那么，醫(yī)療大模型的價值何在呢？
對此，徐捷介紹稱，主流通用大模型可以滿足日常健康咨詢。評測顯示，國內(nèi)頭部通用大模型的醫(yī)學(xué)能力已經(jīng)超過國外同類產(chǎn)品。但對于需要給出專業(yè)判斷的醫(yī)療場景，例如要做哪些檢查、如何解讀報(bào)告、應(yīng)開什么藥或者中醫(yī)方劑等，大模型還需整合大量醫(yī)學(xué)數(shù)據(jù)、專家醫(yī)案和臨床經(jīng)驗(yàn)等語料。醫(yī)療大模型能高效處理海量信息，提供循證參考，有助于提升醫(yī)生診療水平、補(bǔ)足基層醫(yī)療短板，進(jìn)而實(shí)現(xiàn)醫(yī)學(xué)普惠。
除推出權(quán)威評測平臺，上海人工智能實(shí)驗(yàn)室還聯(lián)合專業(yè)醫(yī)療機(jī)構(gòu)和相關(guān)企業(yè)，推出了兒童眼病智能篩查與精準(zhǔn)干預(yù)系統(tǒng)、胃腸多模態(tài)輔助診療大模型等醫(yī)療人工智能應(yīng)用。
特別聲明：智慧醫(yī)療網(wǎng)轉(zhuǎn)載其他網(wǎng)站內(nèi)容，出于傳遞更多信息而非盈利之目的，同時并不代表贊成其觀點(diǎn)或證實(shí)其描述，內(nèi)容僅供參考。版權(quán)歸原作者所有，若有侵權(quán)，請聯(lián)系我們刪除。
凡來源注明智慧醫(yī)療網(wǎng)的內(nèi)容為智慧醫(yī)療網(wǎng)原創(chuàng)，轉(zhuǎn)載需獲授權(quán)。
Copyright ? 2022 上?？评讜狗?wù)有限公司 旗下「智慧醫(yī)療網(wǎng)」版權(quán)所有 ICP備案號：滬ICP備17004559號-5
