로그인/ 가입하기

Nightshade: 나이트셰이드: 제너레이티브 AI 모델로부터 아티스트의 작품을 보호하는 새로운 툴

25/10/2023 10:08

디크립트에 따르면, 나이트셰이드라는 새로운 도구는 아티스트가 자신의 작품이 생성 AI 모델에 의해 무단으로 수집되는 것을 방지하는 데 도움이 될 수 있다고 합니다. 올해 주류의 주목을 받고 있는 이 모델은 기존 예술 작품의 방대한 라이브러리를 기반으로 하며 놀라운 기능으로 시각적 이미지를 생성할 수 있습니다. 나이트셰이드는 최적화된 프롬프트별 데이터 포이즈닝 공격을 사용하여 이미지 생성기에 입력되는 AI 모델 학습에 필요한 데이터를 손상시킵니다. 벤 자오 교수는 포이즈닝은 머신러닝 모델에서 수년간 알려진 공격 벡터였지만, 나이트셰이드는 크기가 커서 이전에는 불가능하다고 여겨졌던 생성형 AI 모델을 포이즈닝한다는 점에서 독특하다고 설명했습니다. 이 툴은 전체 모델을 공격하는 것이 아니라 용, 개, 말의 이미지를 만들라는 요청과 같은 개별 프롬프트를 표적으로 삼습니다. 이 접근 방식은 모델을 약화시키고 아트를 생성할 수 없게 만들며, 탐지를 피하기 위해서는 중독된 데이터 내의 텍스트와 이미지가 자연스러워 보여야 하고 자동 정렬 탐지기와 사람 검사자를 모두 속일 수 있도록 만들어져야 합니다. 나이트셰이드는 현재 개념 증명 단계에 불과하지만, 충분한 아티스트가 이러한 포이즌 필을 구현하면 AI 모델이 무너지고 쓸모없게 될 수 있다고 Zhao는 생각합니다. 나이트셰이드는 AI 이미지 생성기 자체에 대한 조치가 필요하지 않으며, AI 모델이 나이트셰이드가 포함된 데이터를 소비하려고 시도할 때 적용됩니다. 조는 이를 공격이라기보다는 옵트아웃 요청과 스크래핑 금지 지침을 따르지 않는 AI 개발자를 겨냥한 자기 방어 또는 독침이 달린 철조망 울타리에 가깝다고 설명했습니다.

강세

약세