에 게재된 새로운 논문의료 인터넷 연구 저널 텍스트-이미지 생성을 위한 새로운 딥 러닝 모델인 DALL-E 2와 같은 생성 모델이 어떻게 의료 분야의 이미지 생성, 증강 및 조작을 위한 유망한 미래 도구를 나타낼 수 있는지 설명합니다.
생성 모델은 정확하고 유용한 결과를 제공하기에 충분한 의료 도메인 지식을 가지고 있습니까? Lisa C Adams 박사와 동료들은 "DALL-E 2가 방사선에 대해 무엇을 알고 있습니까?"라는 최신 관점에서 이 주제를 탐구합니다.
2022년 4월 OpenAI에서 처음 소개한 DALL-E 2는 인공 지능(AI) 도구로소설 텍스트 입력을 기반으로 한 사실적인 이미지 또는 아트워크. DALL-E 2의 생성 기능은 인터넷에서 수십억 개의 기존 텍스트-이미지 쌍에 대해 훈련되었기 때문에 강력합니다.
이러한 기능을 데이터를 생성하거나 보강하기 위해 의료 영역으로 이전할 수 있는지 여부를 이해하기 위해 독일과 미국의 연구원들은 X선, 컴퓨터 단층 촬영(CT), 자기 공명 영상 생성 및 조작에 대한 DALL-E 2의 방사선 지식을 조사했습니다. MRI) 및 초음파 이미지.
이 연구의 저자는 DALL-E 2가 x-레이 이미지의 관련 표현을 학습했으며 텍스트-이미지 생성에 대한 유망한 잠재력을 보여준다는 것을 발견했습니다. 구체적으로, DALL-E 2는 짧은 텍스트 프롬프트를 기반으로 사실적인 x-ray 이미지를 생성할 수 있었지만 특정 CT, MRI 또는 초음파 이미지 프롬프트가 주어졌을 때 잘 수행되지 않았습니다. 또한 방사선 이미지 내에서 누락된 부분을 합리적으로 재구성할 수 있었습니다.
예를 들어 하나의 무릎 이미지만 시작점으로 사용하여 완전한 전신 방사선 사진을 생성하는 것과 같이 훨씬 더 많은 작업을 수행할 수 있습니다. 그러나 DALL-E 2는 병리학적 이상이 있는 이미지를 생성하는 기능이 제한적이었습니다.
DALL-E 2에서 생성된 합성 데이터는 방사선학을 위한 새로운 딥 러닝 도구의 개발을 크게 가속화하고 기관 간 데이터 공유와 관련된 개인 정보 보호 문제를 해결할 수 있습니다. 이 연구의 저자는 생성된 이미지가 생성된 데이터 세트에 잘못된 정보가 입력될 위험을 줄이기 위해 도메인 전문가의 품질 관리를 받아야 한다고 지적합니다.
그들은 또한 이러한 모델을 의료 데이터에 맞게 미세 조정하고 의학 용어를 통합하여 방사선 연구에서 데이터 생성 및 증강을 위한 강력한 모델을 만들기 위한 추가 연구의 필요성을 강조합니다. DALL-E 2는 대중이 미세 조정할 수 없지만 안정적인 확산과 같은 다른 생성 모델은 다양한 의료 이미지를 생성하도록 조정할 수 있습니다.
전반적으로 JMIR Publications에서 게시한 이 관점은 방사선과에서 AI 이미지 생성의 미래에 대한 유망한 전망을 제공합니다. 이 분야에 대한 추가 연구 및 개발은 방사선 전문의와 의료 전문가를 위한 흥미로운 새로운 도구로 이어질 수 있습니다.
해결해야 할 한계가 있지만 DALL-E 2 및 ChatGPT 와 같은 도구를 연구 및 의료 훈련 및 교육에 사용할 때 얻을 수 있는 잠재적 이점은 상당합니다. 이를 위해,JMIR 의학 교육 Gunther Eysenbach 박사의 최근 사설에서 발표한 바와 같이 의학 교육에서 생성 언어 모델의 사용에 관한 새로운 전자 컬렉션을 위한 제출물을 모집합니다.
DALL-E 2는 방사선과에 대해 무엇을 알고 있습니까?
DALL-E 2(OpenAI)와 같은 생성 모델은 이러한 모델에 충분한 의료 도메인 지식이 있는 경우 방사선학의 인공 지능 연구를 위한 이미지 생성, 증강 및 조작을 위한 유망한 미래 도구를 나타낼 수 있습니다.
여기에서 우리는 DALL-E 2가 새로운 이미지의 제로샷 텍스트-이미지 생성, 원래 경계를 넘어 이미지의 지속, 요소 제거; 그러나 병리학적 이상(예: 종양, 골절 및 염증)이 있는 이미지 또는 컴퓨터 단층 촬영, 자기 공명 영상 또는 초음파 이미지 생성 기능은 여전히 제한적입니다.
따라서 방사선 데이터를 보강하고 생성하기 위해 생성 모델을 사용하는 것이 가능해 보입니다. 이러한 모델을 각각의 영역에 맞게 추가로 미세 조정하고 적용하는 것이 먼저 필요하더라도 가능해 보입니다.