ورقة جديدة نشرت فيمجلة أبحاث الإنترنت الطبية يصف كيف يمكن أن تمثل النماذج التوليدية مثل DALL-E 2 ، وهو نموذج جديد للتعلم العميق لتوليد النص إلى صورة ، أداة مستقبلية واعدة لتوليد الصور وتعزيزها والتلاعب بها في مجال الرعاية الصحية.
هل النماذج التوليدية لديها معرفة كافية بالمجال الطبي لتقديم نتائج دقيقة ومفيدة؟ تستكشف الدكتورة ليزا سي آدامز وزملاؤها هذا الموضوع في وجهة نظرهم الأخيرة بعنوان "ما الذي يعرفه DALL-E 2 عن الأشعة؟"
تم تقديم DALL-E 2 لأول مرة بواسطة OpenAI في أبريل 2022 ، وهي أداة ذكاء اصطناعي (AI) اكتسبت شعبية في توليدرواية صور واقعية أو عمل فني يعتمد على الإدخال النصي. تعد القدرات التوليدية لـ DALL-E 2 قوية ، حيث تم تدريبها على المليارات من أزواج الصور النصية الموجودة خارج الإنترنت.
لفهم ما إذا كان يمكن نقل هذه القدرات إلى المجال الطبي لإنشاء البيانات أو زيادتها ، قام باحثون من ألمانيا والولايات المتحدة بفحص المعرفة الإشعاعية لـ DALL-E 2 في إنشاء ومعالجة الأشعة السينية والتصوير المقطعي المحوسب والتصوير بالرنين المغناطيسي ( التصوير بالرنين المغناطيسي) ، وصور الموجات فوق الصوتية.
وجد مؤلفو الدراسة أن DALL-E 2 قد تعلم تمثيلات ذات صلة لصور الأشعة السينية ويظهر إمكانات واعدة لتوليد النص إلى صورة. على وجه التحديد ، كان DALL-E 2 قادرًا على إنشاء صور أشعة سينية واقعية استنادًا إلى مطالبات نصية قصيرة ، لكنها لم تعمل جيدًا عند إعطاء مطالبات محددة بالتصوير المقطعي المحوسب أو التصوير بالرنين المغناطيسي أو الموجات فوق الصوتية. كما كان قادرًا على إعادة بناء الجوانب المفقودة داخل صورة إشعاعية بشكل معقول.
يمكن أن تفعل أكثر من ذلك بكثير - على سبيل المثال ، إنشاء صورة شعاعية كاملة لكامل الجسم باستخدام صورة واحدة فقط للركبة كنقطة انطلاق. ومع ذلك ، كان DALL-E 2 محدودًا في قدرته على إنشاء صور بها تشوهات مرضية.
يمكن للبيانات التركيبية التي تم إنشاؤها بواسطة DALL-E 2 تسريع تطوير أدوات التعلم العميق الجديدة للأشعة ، وكذلك معالجة مخاوف الخصوصية المتعلقة بمشاركة البيانات بين المؤسسات. لاحظ مؤلفو الدراسة أن الصور التي تم إنشاؤها يجب أن تخضع لمراقبة الجودة من قبل خبراء المجال لتقليل مخاطر إدخال معلومات غير صحيحة إلى مجموعة بيانات تم إنشاؤها.
كما يؤكدون أيضًا على الحاجة إلى مزيد من البحث لضبط هذه النماذج بدقة لتلائم البيانات الطبية ودمج المصطلحات الطبية لإنشاء نماذج قوية لتوليد البيانات وتعزيزها في أبحاث الأشعة. على الرغم من أن DALL-E 2 غير متاح للجمهور لضبطه ، إلا أن النماذج التوليدية الأخرى مثل Stable Diffusion يمكن تكييفها لإنشاء مجموعة متنوعة من الصور الطبية.
بشكل عام ، توفر وجهة النظر هذه التي نشرتها JMIR Publications نظرة مستقبلية واعدة لمستقبل توليد صور الذكاء الاصطناعي في مجال الأشعة. قد يؤدي المزيد من البحث والتطوير في هذا المجال إلى أدوات جديدة ومثيرة لأخصائيي الأشعة والمهنيين الطبيين.
في حين أن هناك قيودًا يجب معالجتها ، فإن الفوائد المحتملة لاستخدام أدوات مثل DALL-E 2 و ChatGPT في البحث والتدريب الطبي والتعليم تعتبر كبيرة. تحقيقا لهذه الغاية،JMIR التعليم الطبي تدعو الآن إلى تقديم مجموعة إلكترونية جديدة حول استخدام نماذج اللغة التوليدية في التعليم الطبي ، كما أعلن في افتتاحية حديثة للدكتور غونتر آيزنباخ.
ماذا تعرف DALL-E 2 عن الأشعة؟
يمكن أن تمثل النماذج التوليدية ، مثل DALL-E 2 (OpenAI) ، أدوات مستقبلية واعدة لتوليد الصور ، وزيادتها ، ومعالجتها لأبحاث الذكاء الاصطناعي في مجال الأشعة ، بشرط أن يكون لهذه النماذج معرفة كافية بالمجال الطبي.
هنا ، نوضح أن DALL-E 2 قد تعلمت تمثيلات ذات صلة لصور الأشعة السينية ، مع إمكانات واعدة من حيث إنشاء صور جديدة من نص إلى صورة بدون لقطة ، واستمرار الصورة خارج حدودها الأصلية ، و إزالة العناصر ومع ذلك ، فإن قدراته على إنتاج صور بها تشوهات مرضية (مثل الأورام والكسور والالتهابات) أو التصوير المقطعي المحوسب أو التصوير بالرنين المغناطيسي أو الصور بالموجات فوق الصوتية لا تزال محدودة.
وبالتالي يبدو استخدام النماذج التوليدية لزيادة وتوليد البيانات الإشعاعية أمرًا ممكنًا ، حتى إذا كانت هناك حاجة إلى مزيد من الضبط الدقيق لهذه النماذج وتكييفها مع المجالات الخاصة بها أولاً.