7月5日，在2024世界人工智能大會(huì)“可信大模型論壇”上，支付寶公布了其AI技術(shù)在醫(yī)療領(lǐng)域布局的最新進(jìn)展：發(fā)布多模態(tài)醫(yī)療大模型，同時(shí)，全新推出包括醫(yī)療可信一體機(jī)、可信云等多款數(shù)智化解決方案�，F(xiàn)場，支付寶還與人民衛(wèi)生出版社、北京大學(xué)醫(yī)學(xué)部、浙江省衛(wèi)生健康委等20家機(jī)構(gòu)，聯(lián)合發(fā)起AI醫(yī)療共建計(jì)劃，共同探索AI數(shù)智技術(shù)底座與創(chuàng)新應(yīng)用服務(wù)。
支付寶多模態(tài)醫(yī)療大模型亮相
經(jīng)過半年多測試打磨，支付寶醫(yī)療大模型正式亮相，這也是國內(nèi)首批多模態(tài)醫(yī)療大模型之一。
螞蟻集團(tuán)大模型應(yīng)用部總經(jīng)理顧進(jìn)杰介紹了背后的技術(shù)研發(fā)。螞蟻百靈大模型已具備能“看”會(huì)“聽”、能“說”會(huì)“畫”的原生多模態(tài)能力，可以直接理解并訓(xùn)練音頻、視頻、圖、文等多模態(tài)數(shù)據(jù)。支付寶醫(yī)療大模型以此為基座模型，添加了包含報(bào)告、影像、藥品等百億級中英文圖文、千億級醫(yī)療文本語料及千萬級高質(zhì)量醫(yī)療知識圖譜，中英文醫(yī)療考試、基準(zhǔn)測試達(dá)到或超過GPT4水準(zhǔn)，醫(yī)療專業(yè)能力在中文醫(yī)療LLM評測榜單promptCBLUE中，位列A榜第一，B榜第二。同時(shí)，全棧自研醫(yī)療多模態(tài)結(jié)構(gòu)，使得模型識別報(bào)告、藥品、毛發(fā)等圖像準(zhǔn)確率達(dá)90%以上，相關(guān)技術(shù)在行業(yè)頂尖技術(shù)期刊與會(huì)議 CVPR、KDD、ECCV等發(fā)表了多項(xiàng)成果。
為了讓回答對話更加可靠，在研發(fā)階段，支付寶還與數(shù)百個(gè)專業(yè)醫(yī)學(xué)團(tuán)隊(duì)、專家進(jìn)行合作標(biāo)注數(shù)據(jù)，保障信息權(quán)威可信，同時(shí)聯(lián)合上海仁濟(jì)醫(yī)院推出首個(gè)中文醫(yī)療�？茊柎鹜评頂�(shù)據(jù)集RJUA-QA。模型測試階段，用戶、患者、醫(yī)生參與問答反饋，在專業(yè)同時(shí)，兼顧患者關(guān)懷。
支付寶醫(yī)療大模型發(fā)布現(xiàn)場
目前，該多模態(tài)醫(yī)療大模型不僅提供智能問答、病歷結(jié)構(gòu)化和檢索、輔助診斷，還可識別解讀藥品及上百種復(fù)雜的醫(yī)學(xué)報(bào)告，進(jìn)行毛發(fā)健康檢測等，這些都能嵌入醫(yī)院等機(jī)構(gòu)醫(yī)療環(huán)節(jié)全流程，創(chuàng)新醫(yī)療服務(wù)的同時(shí)，也助力提升機(jī)構(gòu)運(yùn)營效率。
顧進(jìn)杰表示，AI的深度應(yīng)用，不僅對數(shù)據(jù)、算法、算力提出了更高要求，也對可靠、安全、隱私提出更多挑戰(zhàn)，醫(yī)療場景下，保障技術(shù)可靠與數(shù)據(jù)隱私安全，至關(guān)重要。為此，支付寶面向行業(yè)推出全新的“醫(yī)療可信一體機(jī)+可信云”的解決方案，通過密態(tài)計(jì)算與存儲，讓醫(yī)療數(shù)據(jù)可用不可見，機(jī)構(gòu)保管更安全。
據(jù)介紹，百靈醫(yī)療可信一體機(jī)，核心解決醫(yī)院面臨的算力不足痛點(diǎn)，可實(shí)現(xiàn)開箱即用，訓(xùn)推一體，支持國產(chǎn)算力，軟硬件協(xié)同優(yōu)化加速。醫(yī)療大模型可信云方案，通過公有云與專有云部署密態(tài)推理，聚焦解決數(shù)據(jù)隱私安全和商業(yè)機(jī)密保護(hù)問題。
AI醫(yī)療創(chuàng)新應(yīng)用“聯(lián)盟”來了
從去年以來，支付寶就加速了AI技術(shù)在醫(yī)療領(lǐng)域的開放與布局。去年11月，浙江衛(wèi)健委應(yīng)用支付寶開放的“AI就醫(yī)助理”解決方案，依托大模型、數(shù)字人技術(shù)，打造了全國首個(gè)數(shù)字健康人“安診兒”，給浙江居民提供云陪診、健康咨詢等服務(wù)，上線以來，服務(wù)了1000多家醫(yī)療機(jī)構(gòu)。上海市第一人民醫(yī)院，應(yīng)用AI大模型，不僅上線了上海首個(gè)可語音交互的“數(shù)字陪診師”，還在業(yè)內(nèi)首創(chuàng)了生成式電子病歷，將繁雜的文書工作從原本的10分鐘縮減到了15秒。
醫(yī)療技術(shù)的創(chuàng)新，需要依托平臺、產(chǎn)業(yè)、學(xué)界共同努力。大會(huì)現(xiàn)場，支付寶、人民衛(wèi)生出版社、北京大學(xué)醫(yī)學(xué)部、浙江省衛(wèi)生健康委、廈門市衛(wèi)生健康委員會(huì)、浙江省人民醫(yī)院、上海交通大學(xué)醫(yī)學(xué)院附屬仁濟(jì)醫(yī)院、北京大學(xué)人民醫(yī)院、復(fù)旦大學(xué)附屬腫瘤醫(yī)院、上海市第一人民醫(yī)院、首都醫(yī)科大學(xué)附屬醫(yī)院等20多家機(jī)構(gòu)、企業(yè)，聯(lián)合發(fā)起了AI醫(yī)療共建計(jì)劃，共同探索大模型應(yīng)用及各類專科模型創(chuàng)新研發(fā)。
支付寶AI醫(yī)療共建計(jì)劃啟動(dòng)現(xiàn)場
支付寶副總裁、數(shù)字醫(yī)療健康事業(yè)部總經(jīng)理張俊杰表示：“支付寶希望用最頂尖的技術(shù)做最普惠的服務(wù)，讓AI像‘掃碼支付’一樣便利每個(gè)人的生活。支付寶也會(huì)持續(xù)開放AI技術(shù)與行業(yè)解決方案，攜手合作伙伴一起，推動(dòng)智能醫(yī)療走向普惠、普及�！�
據(jù)了解，2014年支付寶支持全國第一筆遠(yuǎn)程掛號繳費(fèi)，經(jīng)過十年發(fā)展，平臺已服務(wù)超6億看病就醫(yī)人群，是國內(nèi)規(guī)模最大的醫(yī)保第三方在線服務(wù)平臺、一站式的醫(yī)療健康服務(wù)平臺。目前，全國300多個(gè)城市、超3600家醫(yī)院在支付寶上提供一站式數(shù)字醫(yī)療服務(wù)。
