在許多臨床和研究環(huán)境中，缺乏高質(zhì)量的醫學(xué)成像數據集阻礙了人工智能（AI）臨床應用的潛力。這一問(wèn)題在不太常見(jiàn)的情況、代表性不足的人群和新興的成像方式中尤為突出，在這些情況下，各種綜合數據集的可用性往往不足。
2024年12月11日，溫州醫科大學(xué)瞿佳、張康、北京大學(xué)未來(lái)技術(shù)學(xué)院王勁卓等人在國際頂尖醫學(xué)期刊 Nature Medicine 上發(fā)表了題為：Self-improving generative foundation model for synthetic medical image generation and clinical applications 的研究論文。
研究團隊開(kāi)發(fā)了一種統一的醫學(xué)圖像-文本生成模型——MINIM。MINIM模型集成了醫學(xué)圖像與文本描述，涵蓋了多種模式和器官，包括光學(xué)相干斷層掃描（OCT）、眼底、胸部X光和胸部計算機斷層掃描（CT）等，能夠基于文本指令在不同的成像模式下合成不同器官的醫學(xué)圖像，具有作為通用醫學(xué)人工智能（generalist medical AI，GMAI）的潛力。
大型醫療數據集的可用性對于推動(dòng)人工智能（AI）模型開(kāi)發(fā)和臨床應用至關(guān)重要。然而，隱私問(wèn)題帶來(lái)了重要的道德和法律問(wèn)題，使得共享此類(lèi)數據變得困難。由于缺乏高質(zhì)量的影像數據集，阻礙了前沿AI技術(shù)與醫學(xué)及醫療應用的整合。
為了解決這一挑戰，數據增擴（Data Augmentation）和使用生成式人工智能（Generative AI）的合成圖像已成為關(guān)鍵解決方案。生成式AI在醫學(xué)影像學(xué)研究中取得了重大突破，增強了對病歷和圖像的分析，改善了診療計劃。
生成式對抗網(wǎng)絡(luò )（GAN）已被廣泛用于生成合成醫學(xué)圖像，在提高AI模型的數據可用性方面取得了顯著(zhù)進(jìn)展。此外，建立在GAN基礎上的新管線(xiàn)還納入了分割技術(shù)，以進(jìn)一步減少所需的訓練數據集數量，特別適用于數據稀缺場(chǎng)景（例如罕見(jiàn)?。?。這些研究表明，在單一的醫學(xué)成像模式中，生成式AI可以生成高質(zhì)量的合成圖像，這些圖像可作為支持醫學(xué)成像研究的寶貴資產(chǎn)。
然而，傳統的基于GAN的圖像生成難以生成不同維度的圖像，因此，往往限于單一成像模式。對單一模式的有限探索和對不同醫學(xué)影像模式之間關(guān)系的缺乏研究，進(jìn)一步阻礙了廣泛的多模態(tài)醫學(xué)影像數據集的充分利用和通用醫學(xué)生成式模型的發(fā)展。
為了解決上述問(wèn)題，研究團隊開(kāi)發(fā)了一種統一的醫學(xué)圖像-文本生成模型——MINIM。MINIM集成了醫學(xué)圖像與文本描述，涵蓋了多種模式和器官，包括光學(xué)相干斷層掃描（OCT）、眼底、胸部X光和胸部計算機斷層掃描（CT）等。
MINIM模型能夠基于文本指令在不同的成像模式下合成不同器官的醫學(xué)圖像。研究團隊評估了MINIM基于文本輸入生成合成圖像的性能，并在不同的醫學(xué)影像場(chǎng)景中與其他最新生成模型進(jìn)行了性能測試。臨床醫師的評估和嚴格的客觀(guān)測量驗證了MINIM模型生成的合成圖像的高質(zhì)量。
研究團隊還通過(guò)納入額外的腦部和乳腺磁共振成像（MRI）數據集，探索了MINIM模型的適應性，從而評估MINIM模型在持續學(xué)習和整合新醫學(xué)知識方面的潛力。
MINIM在數據域上表現出更強的生成能力，顯示出其作為通用醫學(xué)人工智能（generalist medical AI，GMAI）的潛力。
研究結果表明，MINIM模型生成的合成圖像有效地增強了現有的數據集，提高了診斷、報告生成和自我監督學(xué)習等多種醫療應用的性能。平均而言，MINIM模型能提高12%的眼科、15%的胸部、13%的大腦和17%的乳房相關(guān)任務(wù)的表現。此外，該研究還證明了MINIM模型在從磁共振成像（MRI）圖像中準確預測HER2陽(yáng)性乳腺癌方面的潛在臨床應用。通過(guò)大型回顧性模擬分析，研究團隊證明了MINIM模型的臨床潛力，該模型通過(guò)肺癌CT圖像準確識別了靶向治療敏感的EGFR突變，這可能提高患者的5年生存率。
總的來(lái)說(shuō)，該研究開(kāi)發(fā)了在真實(shí)數據和合成數據上訓練的生成式AI模型，顯示出更好的預測能力，在罕見(jiàn)病診斷、報告生成和自我監督學(xué)習的背景下非常有益。在臨床中證明了MINIM模型可以顯著(zhù)提高乳腺HER2突變的檢測。此外，在臨床研究中，將MINIM模型應用于EGFR突變癌癥的靶向治療，在兩個(gè)獨立的隊列中證實(shí)了能夠提高患者的5年生存率。
論文鏈接：https://www.nature.com/articles/s41591-024-03359-y
合作咨詢(xún)
肖女士
021-33392297
Kelly.Xiao@imsinoexpo.com
2006-2025 上海博華國際展覽有限公司版權所有（保留一切權利）
滬ICP備05034851號-57
