뉴욕 타임즈와 다른 주요 출판사들, 애플의 AI 교육 도구 사용 거부 - 직접 해보는 방법 알아보기

주요 퍼블리셔의 옵트아웃 증가 추세

많은 유명 퍼블리셔와 소셜 플랫폼이 Apple의 AI 학습에서 자사 데이터를 제외하기로 결정했습니다.

이 개발은 웹사이트 소유자가 자신의 데이터가 Apple의 AI 모델 학습에 사용되는 것을 거부할 수 있도록 설계된 도구인 Applebot-Extended를 도입한 지 3개월도 채 되지 않은 시점에 이루어졌습니다.

페이스북, 인스타그램, 크레이그리스트, 텀블러와 같은 유명 기업,뉴욕 타임즈 , 파이낸셜 타임즈, 더 애틀랜틱, 복스 미디어, 와이어드의 모회사인 콘데 나스트 등이 이 옵션을 활용하고 있습니다.

가장 먼저 차단한 곳은 뉴욕 타임즈였습니다.

이러한 의미 있는 반응은 AI 시스템 학습에 웹 데이터를 사용하는 것에 대한 갈등이 커지고 있음을 보여주며, 전통적으로 다양한 인터넷 서비스를 위한 정보 수집에 사용되어 온 웹 크롤러에 대한 인식의 변화를 강조합니다.

애플봇의 진화와 애플봇-확장판의 등장

2015년에 처음 출시된 Applebot은 Siri 및 Spotlight를 비롯한 Apple의 검색 기능을 향상시키기 위해 설계되었습니다.

그러나 Apple의 AI 이니셔티브가 확장됨에 따라 Applebot의 목적도 확장되었습니다.

수집된 데이터는 Apple의 기본 AI 모델을 학습하는 데 사용되기 시작했습니다.

데이터 활용 방식에 대한 퍼블리셔와 콘텐츠 제작자의 우려를 해소하기 위해 Apple은 Applebot-Extended를 도입했습니다.

이 새로운 확장 기능을 통해 웹사이트 소유자는 자신의 데이터가 AI 학습 목적으로 사용되지 않도록 구체적으로 요청할 수 있습니다.

검색 기능을 위해 웹사이트를 계속 크롤링하는 기존 Applebot과 달리, Applebot-Extended는 AI 프로젝트를 위한 데이터 사용에만 집중합니다.

게시자 반응 및 데이터 인사이트

많은 퍼블리셔가 Applebot-Extended를 차단하기로 결정하는 등 반응이 뜨거웠습니다.

온타리오에 본사를 둔 AI 탐지 스타트업 Originality AI의 데이터에 따르면 지난주 기준으로 트래픽이 많은 웹사이트(주로 뉴스 및 미디어 매체)의 약 7%가 Applebot-Extended를 차단하고 있는 것으로 나타났습니다.

이번 주 다크 비지터스의 분석에 따르면 약 6%의 웹사이트가 봇을 차단한 것으로 나타났습니다.

이 상대적으로 낮은 비율은 많은 웹사이트 소유자가 아직 충돌을 인식하지 못했거나 Applebot-Extended를 제외하는 옵션을 알지 못하고 있다는 것을 나타냅니다.

데이터 저널리스트인 벤 웰시는 자신이 조사한 뉴스 웹사이트 중 4분의 1이 넘는 사이트가 Applebot-Extended를 차단하고 있다는 사실을 발견했습니다.

이는 53%의 뉴스 사이트가 차단하는 것과 비교됩니다.OpenAI 의 봇과 구글의 AI 전용 봇인 구글 익스텐디드 봇을 43% 가까이 차단하고 있습니다.

Welsh는 Applebot-Extended를 차단하는 사이트의 수가 '점차적으로' 증가하고 있으며, 이는 인식과 조치가 증가하고 있음을 시사한다고 지적합니다.

전략적 의사 결정 및 파트너십

주요 퍼블리셔가 Applebot-Extended를 차단하거나 허용하는 결정은 종종 더 광범위한 전략적 고려 사항을 반영합니다.

예를 들어 콘데 나스트는 이전에 차단되었습니다.OpenAI 의 웹 크롤러를 차단했지만 최근 파트너십 발표 이후 차단을 해제했습니다.

이러한 움직임은 데이터 액세스가 상업적 계약의 일부로 협상되는 비즈니스 전략을 시사합니다.

Vox Media도 마찬가지로 파트너십이 체결되지 않은 경우 Applebot-Extended 및 기타 AI 스크래핑 도구를 차단하기로 결정하여 게시된 콘텐츠의 가치를 보호하려는 의도를 강조하고 있습니다.

이와는 대조적으로, 뉴욕 타임즈는현재 저작권 문제로 OpenAI와 소송을 진행 중입니다. 는 Applebot-Extended의 옵트아웃 특성을 비판한 바 있습니다.

NYT의 대외 커뮤니케이션 디렉터인 찰리 슈타틀랜더는 다음과 같이 지적했습니다:

법률 및 The Times의 자체 서비스 약관에 명시된 바와 같이, 당사의 사전 서면 허가 없이 콘텐츠를 스크랩하거나 상업적 목적으로 사용하는 것은 금지됩니다;

이러한 입장은 콘텐츠 저작권과 AI 학습이 어떻게 교차하는지에 대한 지속적인 논쟁을 강조합니다.

Applebot-확장 기능을 사용 중지하는 방법

웹사이트 소유자가 Applebot 확장 기능을 사용하지 않으려는 경우, 그 절차는 간단합니다.

먼저 웹사이트에서 robots.txt 파일을 찾거나 생성합니다.

Applebot을 차단하려면 다음 줄을 추가합니다:

사용자 에이전트: Applebot
허용하지 않습니다: /

Applebot-Extended를 구체적으로 차단하려면 다음을 포함하세요:

사용자 에이전트: Applebot-확장
허용하지 않습니다: /

마지막으로 파일을 저장하고 웹사이트의 루트 디렉토리에 업로드합니다.

이렇게 하면 Apple은 사이트의 데이터를 AI 모델 학습에 사용하지 않지만 콘텐츠는 검색 기능에 계속 액세스할 수 있습니다.

Apple의 설명대로:

Applebot-Extended는 웹페이지를 크롤링하지 않습니다. Applebot-Extended를 허용하지 않는 웹페이지도 여전히 검색 결과에 포함될 수 있습니다. Applebot-Extended는 Applebot 사용자 에이전트가 크롤링한 데이터의 사용 방법을 결정하는 데만 사용됩니다;

이러한 디지털 환경의 변화는 데이터 권리에 대한 광범위한 논쟁과 콘텐츠 제작 및 배포에서 진화하는 AI의 역할을 반영합니다.

앞으로 퍼블리셔, 기술 회사, AI 개발자가 이러한 복잡한 문제를 해결해 나가면서 더 많은 발전이 이루어질 것입니다.