AI 사고의 책임은 누구에게 있나요?

저자: 차오젠펑, 텐센트 연구소 수석 연구원

인공지능 책임 사고는 인공지능 시대의 핵심 이슈

딥러닝의 '황금기', 딥러닝의 '황금 10년' 딥러닝의 '황금기' 이후 인공지능 시대가 도래했고, 인공지능 시스템은 21세기 가장 중요하고 중요한 기술 대상 중 하나가 되어 로보택시, 인공지능 동반 애플리케이션, 휴머노이드 로봇 등 다양한 새로운 지능형 제품, 서비스 및 애플리케이션을 탄생시켰습니다. 또한 스케일링 법칙의 주도 아래 빅 모델로 대표되는 AI 기술은 여전히 가속화되고 있으며, 'AI 가속주의 대 AI 가치 정렬'이라는 발전 개념까지 촉발하고 있으며, AI 분야의 저명한 전문가와 학자들은 AGI의 도래 시점을 예측하고 향후 10년 내외의 변화와 영향을 구상하고 있습니다. AI 혁명은 어떤 변화를 가져올까요? AI 혁명이 어떤 변화와 영향을 가져올지는 아직 완전히 예측할 수는 없지만, 적어도 AI 기술의 장기적인 영향력을 과소평가해서는 안 될 것입니다.

현재 AI 기술의 개발과 적용은 다양한 제품의 자율성과 지능화를 가능하게 했을 뿐만 아니라 인터넷 시대에서 알고리즘, 로봇, AI 에이전트가 경제 및 사회적 결정을 내리는 세상으로의 진입을 가속화하여 AI 사회의 핵심 기능으로 자리 잡았습니다. AI 사회 또는 알고리즘 사회(알고리즘 사회)에서 알고리즘은 네트워킹, 디지털화 및 지능의 발전을 뒷받침하는 핵심 기술 요소가 되었습니다. 이는 안전과 효율성을 크게 향상시킬 수 있지만 모든 사고와 위험의 제거를 보장할 수는 없습니다. 절대적으로 안전한 기술, 위험의 일부 측면을 동시에 감소, 제거하는 기술은 없지만 새로운 위험이 발생할 수 있습니다. 최근 자율주행차 및 실감형 로봇의 안전사고부터 AI 진단 및 치료 소프트웨어의 오진, 각종 자동화된 의사결정 시스템의 알고리즘 차별 및 불공정한 의사결정에 이르기까지 타인의 권익에 피해를 주는 AI 사고가 급증하고 있으며, AI 사고와 AI 침해는 점점 더 AI 사회의 '뉴노멀'이 되어가고 있다고 할 수 있습니다. OCED의 전 세계 AI 사고 모니터링에 따르면 2014년 1월 이후 전 세계적으로 AI 사고 건수가 급격히 증가하여 2023년 12월 기준 총 7,195건에 달했습니다. 일례로 2024년 10월 이후 미국 10대 청소년의 자살을 유발하는 등 논란에 직면한 AI 챗봇 플랫폼 '캐릭터 AI'는 최소 2건의 소송에서 피고가 됐으며, 원고들은 캐릭터 AI에 설계 결함이 있어 결함 있는 제품이며 개발자가 제품에 대한 책임을 져야 한다고 주장하고 있습니다.

인공지능이 어디에나 적용되는 오늘날, 사람들은 인공지능 사고와 인공지능 불법행위에 대한 법적 책임 문제에 직면해야 합니다. 인공지능 시스템이 사고와 피해를 일으킬 경우, 법은 피해자에게 공정하고 효과적인 구제책을 제공해야 합니다. 하지만 문제는 AI 사고와 AI 불법행위에 대해 누가 책임을 져야 하는가 하는 것입니다. 고도로 자율적인 AI 시스템은 인간의 직접적인 통제, 개입 또는 감독 없이 독립적으로 행동하거나 결정을 내릴 수 있습니다. 즉, AI 맥락에서 사고와 피해는 인간과 인간의 행동에 의해 발생하는 것에서 관련 행동과 결정이 인간에서 지능형 시스템으로 이동함에 따라 AI 시스템과 그 행동에 의해 발생하는 것으로 전환되기 시작합니다. 이러한 변화는 법적 책임의 배분과 부담에 대한 도전을 제기합니다. 관련 과제는 책임 주체를 식별하는 것의 어려움뿐만 아니라 AI 시스템의 자율성, 해석 불가능성, 예측 불가능성 및 기타 여러 특징으로 인해 책임의 결함/결함, 인과관계 및 기타 구성 요소를 입증하는 것의 어려움과 AI 침해에 대한 책임을 지는 방식(예: 행동 금지 명령, 시스템 종료 및 기타 조치와 같은 징벌적 조치를 취하는 방법)의 어려움에도 있습니다.

AI 불법행위 책임에 대한 세 가지 새로운 옵션 실현 가능한가?

이를 위해 크게 세 가지 옵션으로 구성된 완전히 새로운 AI 침해에 대한 책임 체계에 대한 제안이 있습니다.

첫 번째는 인격체 방식인데, 이는 간단히 말해 인공지능 시스템에 법적 주체의 지위를 부여하여 인공지능 시스템이 자신의 행위에 대해 직접 법적 책임을 지게 하는 것입니다. 자율적이고 복잡한 AI 시스템을 독립적인 법적 주체로 간주하여 불법행위 책임을 인간에서 AI로 옮기자는 매력적인 아이디어입니다. EU 의원들은 자율 로봇에 '사이보그'라는 특별한 법적 지위를 부여할 것을 제안했지만 결국 이 아이디어는 부결되었습니다. 일부 학자들은 책임 문제를 해결하기 위해 AI 시스템에 유한책임회사(LLC)와 유사한 법적 인격을 부여할 수 있다고 제안했습니다. 빅 모델이 '1인 회사'를 현실로 만들었듯이, 향후 인공지능의 발전으로 '0인 회사', 즉 자율적으로 행동하는 능력을 갖춘 인공지능 시스템이 현실화될 수 있다는 것이 (에이전트)이라는 의견도 있습니다. (에이전트형 AI)는 인간 직원 없이도 스스로 회사를 운영할 수 있게 될 것입니다.

두 번째는 고위험에 따른 대리 책임, 무과실 책임 등 새로운 유형의 책임 체계입니다. 한 이론에 따르면, 특히 대체 AI의 경우 기업이 인간 직원을 대신해 AI 시스템을 사용하는 경우 이른바 'AI 직원'의 행위에 대해 대리 책임을 부담해야 한다고 주장합니다. 한 이론에 따르면, 특히 대체 AI의 경우, 기업이 AI 시스템을 사용하여 인간 직원을 대체하는 경우 기능적 동등성의 원칙에 부합하므로 소위 "AI 직원"의 행위에 대해 대리 책임을 져야 한다고 주장합니다. 빅 모델의 역량이 계속 성장함에 따라 사람들이 실제로 자신을 대신해 행동할 수 있는 개인 AI 비서를 가질 뿐만 아니라 이른바 'AI 동료'와 함께 일하고 협업하는 미래를 상상할 수 있습니다. 따라서 운영자가 'AI 직원'의 행동에 대해 대리 책임을 지는 것이 합리적이라고 생각합니다. 또 다른 생각은 고위험 AI 시스템으로 인한 피해에 대해 제공자, 소유자, 사용자 및 기타 주체가 무과실 기준으로 책임을 지는 위험 기반 AI 규제 경로를 구축하는 것입니다. 예를 들어, EU의 AI 법안의 핵심 아이디어는 AI 위험 유형에 따라 고위험 AI 시스템에 대한 안전 규제를 채택하고 허용할 수 없는 위험을 가진 AI 시스템을 금지하는 데 중점을 두는 것입니다.

셋째, 보험 솔루션 완전 자율 AI 시스템으로 인한 피해에 대해서는 기존의 불법행위 책임 제도를 사회보험, 보상기금 등 보험 기반의 무과실 보상 메커니즘으로 완전히 대체하는 방안을 고려할 수 있는데, 이는 불법행위법을 우회하면 기존 책임 규정을 AI에 적용할 때 직면하는 많은 어려움을 피할 수 있기 때문입니다. 과거에도 무과실 보상 메커니즘이 불법행위 손해배상을 완전히 대체한 사례는 드물지 않으며, 작업장 부상, 교통사고, 의료사고, 백신 피해 등의 영역에서 유사한 사례가 존재합니다.

AI 불법행위 책임 체계의 구축몇 가지 오해에서 벗어날 필요

그러나 이러한 새로운 AI 불법행위 책임 제도는 너무 급진적이고 안전과 자유 사이의 균형을 보장하기 어려워 아직 AI 혁명의 발전 초기 단계에 있다는 사실에 부합하지 않을 뿐만 아니라 그리고 취약한 AI 시대의 사회적 현실과도 맞지 않을 뿐만 아니라 피해야 할 몇 가지 귀속적 오해에 근거하고 있습니다.

오해 1: AI 자체에 대한 어트리뷰션.

AI 시스템 자체에 대한 책임 귀속은 AI 시스템을 법적 주체로 취급하는 것을 의미합니다. 그러나 현 단계에서 AI 법인격은 도덕적으로 불필요하고 법적으로도 자멸적인 것입니다. AI의 법인격을 찬성하는 대부분의 주장은 지나치게 단순화되고 복잡합니다. 지나치게 단순화된 이유는 AI가 모호한 경계 안에 존재하고 현재 법적 주체로 인정할 수 있는 의미 있는 AI 범주가 없기 때문이고, 지나치게 복잡한 이유는 많은 주장이 로봇이 인간과 같고 인간이 아니라는 믿음에 기초한 '로봇 오류'(예: 로봇은 인간과 같다는 생각)의 변종이기 때문입니다. 많은 주장이 '로봇 오류'(예: 로봇은 인간과 같다는 생각)의 변형으로, 미래 AI의 발전에 대한 억지스러운 가정에 근거하고 있기 때문에 너무 복잡합니다. 현재로서는 AI 시스템에 법적 인격을 부여하는 것이 '행동' 책임에 대한 '만병통치약'은 아니지만, '판도라의 상자'를 열어 완전히 새로운 법적, 윤리적 문제를 제기할 수 있습니다. 오히려 새로운 법적, 윤리적 문제를 제기하는 '판도라의 상자'를 열 수 있으며, 특히 AI 법인격이 법적 책임과 의무를 회피하고 전가하는 메커니즘으로 쉽게 악용될 수 있다는 우려가 있습니다. 즉, AI 법인격은 일종의 '법적 블랙홀'이 되어 인간 행위자의 법적 책임을 아무런 책임의식 없이 빨아들이는 존재가 될 수 있다는 것입니다. 요컨대, 인공지능은 인간의 활동 그 자체로서 아무리 복잡하고 지능적이며 고도화되었다고 하더라도 인간에게 봉사하고 목적을 달성하기 위한 도구에 불과하며, 법의 객체로서 인간의 복리를 증진할 필요성을 충분히 입증하고 있습니다. 근본적으로 인간과 완전히 가까운 이른바 주관적 AI가 아닌 도구적 AI(도구 AI)를 개발해야 합니다.

오해 #2: 공법상 AI 위험의 유형론 개념과 AI. 불법행위 책임 규정.

글로벌 AI 규제의 주요 아이디어 중 하나는 위험 수준이 다른 AI 시스템을 구분하는 '위험 기반 규제'를 채택하는 것입니다. 위험도에 따라 AI 시스템을 허용불가 AI, 고위험 AI, 제한적 위험 AI, 최소위험 AI의 4가지로 분류하고 고위험 AI의 요건과 관련 사업자(제공자, 배포자 등)의 의무를 중점적으로 규정하는 EU AI법이 대표적인 예입니다. 이 중 고위험 AI는 AI 시스템이 자연인의 건강, 안전 및 기본권에 중대한 위해를 가할 위험이 있는지를 기준으로 판단합니다. 이러한 규제 사고에 따라 고위험 AI는 무과실 책임과 연계하고, 저위험 AI 또는 고위험이 아닌 AI는 과실 책임 또는 과실 책임 추정과 연계하는 등 AI 시스템의 위험 정도를 책임 귀속의 원칙과 연계하는 경향이 있습니다. 앞서 EU 입법자가 제안한 "인공지능의 운영에 대한 책임에 관한 규정 초안"이 이러한 책임 귀속의 대표적인 예입니다. 그러나 공법 체계의 틀에서 위험 기반 인공지능 유형을 전반적으로 다른 책임 규정과 연결하고 일치시키는 것은 합리적이지 않으며, 실제로는 잘못된 배치입니다. 그 주된 이유는 고위험 AI와 전통적인 무과실책임 이론이 대상으로 삼는 비정상적인 위험을 가진 사물이나 활동 사이에 단순한 등가성이 존재하지 않기 때문이며, 반대로 AI의 도입은 위험 영역에 대한 사람들의 인식을 변화시켜 소위 고위험 AI가 실제로는 인간이 통제하고 운영하는 유사한 사물이나 활동보다 안전할 수 있기 때문이다. 즉, 소위 고위험 AI는 실제로 위험을 줄이고 안전성을 높이도록 설계되었으며 실제로는 대체하는 인간 활동보다 더 안전할 수 있습니다.

통념 3: AI 시스템의 '행동'에 대한 부주의한 평가.

AI 시스템이 사고와 피해를 일으켰을 때 그 '행동' 또는 성능을 어떻게 평가할 것인가가 핵심 쟁점입니다. 일부에서는 과실책임의 원칙을 AI 시스템 자체에 적용하자는 제안을 하는데, 구체적으로 인간 행위자의 과실 여부를 판단하는 데 사용되는 '이성적 사람' 기준과 유사하게 AI 시스템의 이른바 '과실' 여부를 판단하는 데 '이성적 로봇' 기준을 사용할 수 있다는 것입니다. "이성적 로봇" 표준은 AI 시스템에 소위 "과실"이 있는지 여부를 판단하는 데 사용할 수 있으므로 관련 주체의 책임을 AI 시스템으로 제한할 수 있습니다. 예를 들어, 이전에 미국에서 닐슨 대 젠 모터스 LLC 소송에서 원고는 미국 자율주행차 회사인 크루즈를 상대로 소송을 제기했지만 제조물 책임 청구 대신 과실에 근거한 이론을 선택했습니다. 오토바이 소유자는 크루즈의 자율주행차가 부주의한 방식으로 주행하여 인접 차선에 진입하여 자신을 쓰러뜨렸다고 주장하며 다음과 같이 주장했습니다. 지나가는 자동차를 고려하지 않았다고 주장했습니다. 로봇이 과실 운전으로 공식적으로 기소된 것은 역사상 이번이 처음으로, 과거에는 인간 행위자에게만 적용되던 불법 행위 혐의가 로봇에게 적용된 것은 이번이 처음일 수 있습니다. 현대 불법행위법은 과실에 대해 보다 객관적으로 접근하는 경향이 있지만, 과실의 개념은 항상 인간 행위자의 행위를 대상으로 하고 인간의 주관성과 연관되어 있기 때문에 AI 시스템의 '행위' 또는 성능에 과실의 기준을 적용하는 것은 비현실적입니다. AI 시스템의 자율성이 높아짐에 따라 법원은 앞으로 많은 AI 사고에서 사용자(예: 운전자)의 행동을 평가하는 것에서 AI 시스템(예: 자율 주행 시스템)의 행동을 평가하는 것으로 전환할 필요가 있을 것으로 예상할 수 있습니다. 행동, 그리고 AI 시스템의 '행동' 또는 성능은 결함이 아닌 제품 결함의 관점에서 평가되어야 합니다. 이를 위해서는 산업 시대에 맞춰진 기존 제품에 대한 제조물 책임 제도를 적시에 업데이트할 필요가 있습니다.

오해 4: 기능적 동등성의 원칙에 따라 AI 시스템을 배포하고 운영하는 주체에 대한 책임을 대체한다.

기능적 동등성의 원칙은 인공지능 시스템과 같은 자율기술의 사용이 인간 보조자를 고용하는 것과 기능적으로 동등하고 이로 인해 손해가 발생한 경우, 해당 기술을 배치하고 사용하는 주체(운영자)의 책임이 인간 보조자(Human Support Person)에 대한 주체의 책임과 동일해야 한다는 주장으로, 인공지능 시스템 배치 및 운영 주체의 책임이 인간 보조자의 책임과 동등하다는 것을 의미합니다. 즉, 인공지능 시스템 운영자는 인공지능 시스템으로 인해 발생한 피해에 대해 인간 보조자에게 대리 책임을 져야 한다는 것입니다. 그러나 이러한 사고방식은 자기모순적인 것으로, 기능적 동등성에 근거한 책임의 유추가 언뜻 합리적으로 보일 수 있지만 실제로는 실행 가능하지 않습니다. 또한 기능적 동등성 이론은 표면적으로 기술의 대체 효과에만 초점을 맞출 뿐, 기술 현상의 이면에 있는 실제 위험 창출과 통제에 대한 통찰력을 제공하지 않습니다. 예를 들어, 인공지능 이전 시대에 공장에서 자동화 기기를 사용하여 노동자를 대체할 때 자동화 기기가 오작동하여 피해를 입힌 경우, 피해자는 공장에 자동화 기기에 대한 대위적 책임을 묻기보다는 자동화 기기 생산자에게 생산적 책임을 묻는 것을 고려할 것입니다. 인공지능 시스템의 위험 프로필은 다양할 수 있지만, 기존의 자동화 장치보다 더 발전되고 스마트한 도구에 불과하므로 기능적 동등성의 안개를 뚫고 어떤 주체(일반적으로 도구의 제공자와 사용자)가 어떤 위험을 생성하거나 통제하는지 살펴볼 필요가 있습니다. 궁극적으로는 인간 행위자에게 책임을 묻는 것과 같은 방식으로 AI 시스템에 책임을 묻기보다는 AI 시스템으로 인한 피해에 대해 누군가가 책임을 질 수 있기를 원하기 때문입니다.

AI 시대의 불법행위 책임 제도, 어디로 가야 할까요?

인공지능이 현행 불법행위 책임 제도의 효과적인 적용에 도전을 제기하고 있지만, 그렇다고 해서 완전히 새로운 책임 제도를 도입해야 한다는 의미는 아닙니다. 오히려 현 단계에서 과실 책임, 제조물 책임 등 기존의 불법행위 책임 규정을 적절히 조정함으로써 불법행위 책임 제도를 인공지능 시대의 발전에 맞게 조정하고 안전과 혁신 사이의 균형을 이룰 수 있을 것입니다.

첫째, 인공지능의 법적 객체 지위를 고수하고 인공지능 사고와 인공지능 불법행위에 대한 인간의 책임을 구현한다. 기술적 현실에서 볼 때, 오늘날의 AI 시스템은 아무리 발전하고 지능적이더라도 항상 누군가가 이를 개발하고 사용해야 합니다. 특히 AI 가치 사슬의 복잡성에도 불구하고 우리는 공급자 진영과 사용자 진영이라는 두 그룹을 비교적 명확하게 구분할 수 있습니다. 이러한 구분이 법적으로 의미가 있는 이유는 각 그룹(예: 생산자와 공급자, 소유자와 사용자) 내에서 구성원 중 한 명에게 책임을 비교적 쉽게 할당하거나 계약 수단을 통해 여러 구성원에게 책임을 분담할 수 있기 때문입니다. 예를 들어, EU 인공지능법은 인공지능 제공자와 인공지능 사용자(인공지능 시스템의 직원)를 구분하고 이 두 그룹에 관련 의무와 책임을 부과하는 데 중점을 두고 있습니다. 따라서 불법행위 책임을 위해 AI 제공자와 AI 사용자의 식별 및 판단 기준을 마련하는 것이 필요하고 중요합니다.

두 번째는 인공지능 시대에 맞는 제조물 책임 제도의 혁신입니다. AI 응용 프로그램의 많은 특정 사용 시나리오에서 사용자는 여전히 특정 주의 의무(예: 용도에 따른 사용, 데이터 품질 보장, 모니터링, 유지 보수 등)를 이행해야 하며, 자신이 통제할 수 있는 AI 사용 측면에 대해 책임을 지지만 장기적으로 사용자의 주의 의무가 축소되어 사용자의 책임이 그만큼 축소될 가능성이 높습니다. . AI 소유자와 사용자의 역할과 통제력이 약화되는 추세가 지속됨에 따라 향후에는 AI 제공자의 책임이 불법행위 책임법의 중심이 될 가능성이 높습니다. 새로운 유형의 '스마트' 제품인 AI 시스템은 제품의 개념, 생산자의 정의, 결함, 보상 가능한 손해, 인과관계, 입증책임 등 기존 제조물 책임 제도에 필요한 혁신을 요구하고 있습니다. 예를 들어, 인공지능 규제 분야에서 EU 의원들은 세계 최초로 포괄적인 인공지능 법안을 제정하는 동시에 디지털 시대와 인공지능 시대에 맞는 새로운 제조물 책임 제도를 확립하기 위해 1985년 제정된 EU 제조물 책임 지침을 전면적으로 개정했습니다. 한편, EU 의원들은 AI 사용자의 책임에 대해 보다 명확하고 실행 가능한 규정을 마련하는 것을 목표로 하는 AI 책임 지침을 마련하기 위해 여전히 작업 중입니다.

셋째, 보험은 AI 책임 프레임워크의 대안이 아니라 유용한 보완 메커니즘으로 활용되어야 합니다. 보험은 위험 관리 도구로서 혁신을 장려하고 신기술을 안전하게 구현할 수 있도록 재정적 보장을 제공하는 등 신기술의 안전한 사회 통합을 촉진하는 데 간과해서는 안 되는 중요한 역할을 합니다. 적절한 조정과 규제 개입을 통해 보험은 기술 혁신을 지속적으로 지원하고 사회에 필요한 보안을 제공할 수 있습니다. 기존 보험 제도를 활용해 AI 시스템을 규제할 수 있지만, 전용 또는 포괄적인 AI 보험 정책은 필요하지 않습니다. 또한 상당한 경제적, 사회적 혜택을 가져올 수 있는 AI 기술의 확산을 비생산적으로 방해하지 않도록 AI 애플리케이션에 대한 의무 보험 정책을 도입하는 데 신중을 기해야 합니다.

넷째, AI 불법행위 책임제도와 더불어 첨단 AI의 보안 위험에 대한 관심과 적극적인 대응이 필요하다. 인공지능 거버넌스에서 인공지능 불법행위 책임 규정은 필요하지만 그 역할은 제한적인데, 인공지능 시스템으로 인해 발생할 수 있는 국민의 개인 및 재산 권익 피해 위험에 대해서는 효과적으로 대처할 수 있지만 초지능 등 첨단 인공지능(프론티어 인공지능)이 가져올 수 있는 극단적 또는 파국적 위험에 대해서는 인공지능 불법행위 책임 규정이 실질적인 역할을 하기 어렵기 때문에, 인공지능 거버넌스에서 인공지능 불법행위 책임 규정의 역할이 중요하다. 역할. AI의 발전이 가속화되는 추세에 따라 초지능(슈퍼인텔리전스)의 출현이 가시화되고 있으며, 이로 인한 잠재적 보안 위험에 대해 정부, 연구계 및 산업계의 적극적인 관심과 주의가 높아지고 있습니다. 외국의 인공지능 전문가들은 장기적으로 볼 때 대부분의 사람들이 초지능의 보안 위험이 얼마나 심각한지 과소평가하고 있다고 지적합니다. 따라서 개인, 사회, 환경의 복지를 극대화하기 위해 AI를 사용하는 (웰빙 AI)를 적극적으로 옹호, 개발 및 구축하고, AI 가치 정렬을 포함한 인간-컴퓨터 정렬 개념을 초지능 개발에 통합하는 것이 특히 중요합니다.

이 글의 내용은 학술적 논의만을 위한 것이며 조직의 견해를 대변하지 않습니다

[1] Zheng Zhifeng, "인공지능 제조물 책임에 관한 입법 업데이트", 법률과학(노스웨스턴대학교 정치법학 저널), 4권 4호, 2024

[2] Cao Jianfeng, "빅 모델의 맥락에서 인간-기계 정렬", 중국 사회과학 저널

https://www.cssn.cn/skgz/bwyc/202410/t20241029_5797216.shtml

[3] https:/. /www.youtube.com/watch?v=559VdVIz5V4

[4] https://eur-lex.europa.eu/eli/dir/2024/2853/oj

[5] https://mp.weixin.qq.com/s/HKbVSvQzULG13BSLCfVpBQ

[6] https://darioamodei .com/machines-of-loving-grace

[7] https://ia.samaltman.com/

[8] https:// www.washingtonpost.com/documents/028582a9-7e6d-4e60-8692-a061f4f4e745.pdf