Sebuah makalah baru diterbitkan diJurnal Penelitian Internet Medis menjelaskan bagaimana model generatif seperti DALL-E 2, model pembelajaran mendalam baru untuk pembuatan teks-ke-gambar, dapat mewakili alat masa depan yang menjanjikan untuk pembuatan gambar, augmentasi, dan manipulasi dalam perawatan kesehatan.
Apakah model generatif memiliki pengetahuan domain medis yang cukup untuk memberikan hasil yang akurat dan bermanfaat? Dr Lisa C Adams dan rekan mengeksplorasi topik ini dalam sudut pandang terbaru mereka berjudul “Apa yang DALL-E 2 Ketahui Tentang Radiologi?”
Pertama kali diperkenalkan oleh OpenAI pada April 2022, DALL-E 2 adalah alat kecerdasan buatan (AI) yang populer untuk menghasilkannovel gambar fotorealistik atau karya seni berdasarkan masukan tekstual. Kemampuan generatif DALL-E 2 sangat kuat, karena telah dilatih pada miliaran pasangan teks-gambar yang ada di internet.
Untuk memahami apakah kemampuan ini dapat ditransfer ke domain medis untuk membuat atau menambah data, peneliti dari Jerman dan Amerika Serikat memeriksa pengetahuan radiologis DALL-E 2 dalam membuat dan memanipulasi x-ray, computed tomography (CT), magnetic resonance imaging ( MRI), dan gambar USG.
Penulis penelitian menemukan bahwa DALL-E 2 telah mempelajari representasi yang relevan dari gambar x-ray dan menunjukkan potensi yang menjanjikan untuk pembuatan teks-ke-gambar. Secara khusus, DALL-E 2 mampu membuat gambar x-ray yang realistis berdasarkan permintaan teks singkat, tetapi kinerjanya tidak terlalu baik saat diberikan permintaan gambar CT, MRI, atau ultrasonografi tertentu. Itu juga mampu merekonstruksi secara wajar aspek yang hilang dalam gambar radiologis.
Itu bisa melakukan lebih banyak—misalnya, membuat radiografi seluruh tubuh yang lengkap dengan hanya menggunakan satu gambar lutut sebagai titik awal. Namun, kemampuan DALL-E 2 terbatas untuk menghasilkan gambar dengan kelainan patologis.
Data sintetik yang dihasilkan oleh DALL-E 2 dapat sangat mempercepat pengembangan alat pembelajaran mendalam baru untuk radiologi, serta mengatasi masalah privasi terkait berbagi data antar institusi. Penulis studi mencatat bahwa gambar yang dihasilkan harus tunduk pada kontrol kualitas oleh pakar domain untuk mengurangi risiko informasi yang salah memasuki kumpulan data yang dihasilkan.
Mereka juga menekankan perlunya penelitian lebih lanjut untuk menyempurnakan model ini ke data medis dan menggabungkan terminologi medis untuk membuat model yang kuat untuk pembuatan dan penambahan data dalam penelitian radiologi. Meskipun DALL-E 2 tidak tersedia untuk umum untuk disempurnakan, model generatif lain seperti Difusi Stabil dapat diadaptasi untuk menghasilkan berbagai gambar medis.
Secara keseluruhan, sudut pandang yang diterbitkan oleh Publikasi JMIR ini memberikan prospek yang menjanjikan untuk masa depan pembuatan gambar AI dalam bidang radiologi. Penelitian dan pengembangan lebih lanjut di bidang ini dapat menghasilkan alat baru yang menarik bagi ahli radiologi dan profesional medis.
Meskipun ada batasan yang harus diatasi, potensi manfaat penggunaan alat seperti DALL-E 2 dan ChatGPT dalam penelitian serta pelatihan dan pendidikan medis adalah signifikan. Untuk akhir ini,Pendidikan Kedokteran JMIR sekarang mengundang pengiriman untuk koleksi elektronik baru tentang penggunaan model bahasa generatif dalam pendidikan kedokteran, seperti yang diumumkan dalam editorial baru-baru ini oleh Dr Gunther Eysenbach.
Apa yang DALL-E 2 Ketahui Tentang Radiologi?
Model generatif, seperti DALL-E 2 (OpenAI), dapat mewakili alat masa depan yang menjanjikan untuk pembuatan gambar, augmentasi, dan manipulasi untuk penelitian kecerdasan buatan dalam radiologi, asalkan model ini memiliki pengetahuan domain medis yang memadai.
Di sini, kami menunjukkan bahwa DALL-E 2 telah mempelajari representasi yang relevan dari gambar x-ray, dengan kemampuan yang menjanjikan dalam hal pembuatan gambar baru teks-ke-gambar zero-shot, kelanjutan gambar di luar batas aslinya, dan penghapusan elemen; namun, kemampuannya untuk menghasilkan gambar dengan kelainan patologis (misalnya, tumor, patah tulang, dan peradangan) atau computed tomography, magnetic resonance imaging, atau gambar ultrasonografi masih terbatas.
Penggunaan model generatif untuk menambah dan menghasilkan data radiologi tampaknya layak, bahkan jika penyesuaian lebih lanjut dan adaptasi model ini ke domain masing-masing diperlukan terlebih dahulu.