홈 보안 감시의 AI: 일관성 없고 편향된 의사 결정을 강조하는 연구 결과

MIT와 펜실베니아 주립대학교의 새로운 연구에 따르면 가정 감시에서 사용되는 것과 같은 대규모 언어 모델(LLM)이 경찰 개입과 관련하여 일관되지 않고 편향된 결정을 내릴 수 있다고 합니다. 이 연구에 따르면 이러한 AI 시스템을 가정 내 감시 영상을 분석하는 데 사용하면 범죄 행위가 발생하지 않았을 때에도 법 집행 기관에 연락할 것을 권장할 수 있습니다. 모델 간의 일관되지 않은 결정과 이러한 결정이 지역마다 다르게 나타나는 편향성은 고위험 애플리케이션에서 AI를 사용하는 것에 대한 우려를 불러일으킵니다.

연구 결과 일관성 없는 규범과 편향된 의사 결정
연구진은 세 명의 저명한 LLM인 PT-4, Gemini, Claude에게 실제 감시 영상을 분석하고 범죄가 발생했는지, 경찰을 불러야 하는지 판단하도록 요청했습니다. 그 결과, 유사한 활동을 분석할 때에도 모델 간에 의견이 일치하지 않는 경우가 많다는 사실이 밝혀졌습니다. 예를 들어 차량 침입이 발생하면 한 모델은 경찰에 신고할 것을 권장하는 반면, 다른 모델은 비슷한 사건을 무해한 것으로 판단할 수 있습니다. 이러한 불일치는 연구자들이 '규범 불일치'라고 부르는 현상으로, AI 모델이 예측할 수 없는 방식으로 사회적 기준을 적용하는 것입니다.
이 연구는 이러한 불일치 외에도 AI의 의사 결정 과정에 상당한 편향성이 있음을 강조했습니다. 모델은 다른 요인을 통제했을 때에도 백인이 주로 거주하는 지역에 경찰의 개입을 추천할 가능성이 낮았습니다. 이러한 인구통계학적 편향은 AI 시스템이 이웃 데이터에 직접 액세스할 수 없음에도 불구하고 나타났으며, 이는 학습 데이터 세트 내의 암묵적 편향에 대한 우려를 불러일으켰습니다.
논문 제1저자인 MIT 대학원생 쇼믹 자인은 "법학전문대학원생들이 어떤 규범과 가치를 배웠거나 배울 수 있다는 암묵적인 믿음이 있습니다. 우리의 연구는 그렇지 않다는 것을 보여주고 있습니다. 어쩌면 그들이 학습하는 것은 임의의 패턴이나 잡음일 수도 있습니다."

규범 불일치: 고위험 환경에서의 위험
연구자들은 이러한 불일치가 가정 감시를 넘어 의료, 모기지 대출, 고용과 같은 다른 고위험 분야에 LLM이 도입될 경우 심각한 결과를 초래할 수 있다고 경고합니다. 이러한 분야에서는 AI가 내린 결정이 불공정한 대우, 부당한 거부, 심지어 생명의 위협으로 이어질 수 있습니다.
이 연구의 공동 시니어 저자인 아시아 윌슨 교수는 이처럼 민감한 영역에 AI를 배치할 때 주의가 필요하다고 강조했습니다. "모든 곳, 특히 위험도가 높은 환경에서 제너레이티브 AI 모델을 신속하게 배포하는 방식은 상당히 해로울 수 있으므로 훨씬 더 신중할 필요가 있습니다."라고 그녀는 말합니다.
연구자들은 모델의 내부 작동을 둘러싼 투명성이 부족하기 때문에 규범 불일치의 근본 원인을 정확히 파악하기 어렵다고 주장합니다. 이러한 모델의 독점적인 특성으로 인해 학습 데이터에 대한 접근이 제한되어 내재된 편견을 해결하기가 어렵습니다.

AI 시스템에서 편향이 나타나는 방식
이 연구는 현재 펜실베이니아 주립대학교의 조교수로 재직 중인 공동 수석 저자 Dana Calacci의 이전 연구를 기반으로 합니다. Calacci는 이전에 일부 주민들이 사람들의 외모를 기반으로 이웃을 '인종적으로 구분'하기 위해 Amazon Ring Neighbors 플랫폼을 사용하는 방법을 연구한 적이 있습니다. 이 연구는 제너레이티브 AI 모델이 등장하면서 LLM에 초점을 맞춰 이러한 기술이 감시 영상을 기반으로 치안 결정을 내리는 데 어떻게 사용될 수 있는지 조사했습니다.
모델이 이웃 인구 통계를 식별하도록 명시적으로 훈련되지는 않았지만, 비디오 데이터의 미묘한 단서를 통해 의심스러운 사람에 대한 편향된 가정을 적용하게 되었을 수 있습니다. 예를 들어, 연구진은 백인이 다수인 지역에서는 LLM이 개인을 "배달원"으로 묘사할 가능성이 더 높은 반면, 유색인종 인구가 많은 지역에서는 유사한 활동을 "부동산 도난" 또는 "절도 도구"와 관련된 것으로 표시할 가능성이 더 높다는 사실을 발견했습니다.
놀랍게도 AI가 경찰에 신고하기로 결정할 때 피부색은 주요 요인이 아니었는데, 연구진은 피부색 편향성을 완화하는 기술이 발전했기 때문이라고 설명했습니다. 하지만 Jain은 "무수히 많은 편견을 통제하기는 어렵습니다. 마치 두더지 잡기 게임과도 같습니다. 한 가지를 완화하면 다른 곳에서 또 다른 편견이 나타나기 마련입니다."

더 나은 AI 감독의 필요성
이 연구는 정교한 AI 시스템도 특히 중요한 실제 시나리오에 적용될 때 무결점과는 거리가 멀다는 사실을 극명하게 보여줍니다. 이 연구에서 밝혀진 편향성은 부당한 정책 결정이 개인과 지역사회에 심각한 결과를 초래할 수 있는 가정 감시와 같은 분야에서 AI를 사용할 때 더 면밀한 조사와 규제 감독이 필요하다는 점을 강조합니다.
연구진은 사람들이 AI의 편견과 잠재적 피해를 신고할 수 있는 시스템을 개발하여 기업과 정부 기관이 이러한 문제를 모니터링하고 해결할 수 있도록 하는 것을 목표로 연구를 진행하고 있습니다. 또한 AI 모델이 내리는 규범적 판단을 인간의 의사 결정과 비교하여 머신러닝과 인간의 추론 사이의 차이를 더 잘 이해할 계획입니다.
이해관계가 첨예한 산업에 AI가 계속 통합됨에 따라, 이 연구는 신중한 접근이 중요하다는 것을 보여줍니다. AI의 규범 불일치 가능성과 미묘하지만 영향력 있는 편견은 개발자, 정책 입안자, 사회가 직면해야 하는 실제적이고 임박한 위험을 제시합니다.