AI 쇼핑 도우미, Microsoft 연구에서 실제 작업 실패, 사기 및 잘못된 의사 결정 위험 노출

Microsoft, AI 쇼핑 에이전트가 여전히 기본적인 결정과 보안 위험으로 어려움을 겪고 있음을 보여줍니다.

저녁 식사 주문, 홈 서비스 또는 온라인 쇼핑을 처리하기 위해 디지털 비서에게 신용카드를 건네준다고 상상해 보세요.

Microsoft의 최신 연구에 따르면 다시 한 번 생각해 볼 필요가 있습니다.

애리조나 주립대학교와 협력하여 수백 개의 AI 에이전트를 마젠틱 마켓플레이스라는 시뮬레이션 마켓플레이스에서 테스트한 결과, 자율 AI 커머스가 실제 도입되기에는 아직 준비가 덜 되었다는 사실을 발견했습니다.

너무 많은 옵션에 직면했을 때 AI 에이전트는 어떻게 어려움을 겪을까요?

이 실험에는 100명의 고객 측 AI 에이전트와 300명의 비즈니스 측 에이전트가 식사 주문이나 서비스 예약과 같은 거래를 탐색하는 과정을 거쳤습니다.

상담원들은 옵션을 검색하고, 비교하고, 협상하고, 모의 결제를 완료하는 임무를 맡았습니다.

AI가 사람보다 훨씬 더 많은 옵션을 처리할 수 있다는 전제가 있었지만, 100개의 검색 결과를 마주했을 때 에이전트가 종종 흔들리는 것으로 나타났습니다.

대부분의 모델은 철저한 비교를 수행하는 대신 처음 접한 "충분히 좋은" 옵션에 안주하여 "첫 번째 제안 편향"을 만들었습니다.

이 접근 방식은 속도를 10~30배 향상시켰지만 의사 결정의 품질은 급격히 떨어졌습니다.

GPT-4o 및 GPTOSS-20b와 같은 모델은 특히 이러한 동작이 발생하기 쉬운 반면, Gemini-2.5-Flash 및 GPT-5는 약간 더 나은 성능을 보였습니다.

연구자들은 복잡한 선택 시나리오에서 에이전트가 여전히 인간의 분별력을 따라잡을 수 없다는 결론을 내렸습니다.

조작 익스플로잇으로 인한 치명적인 취약점 노출

이 연구에서는 에이전트가 가짜 자격 증명, 소셜 증명, 프롬프트 주입 등 조작 시도를 처리하는 방법도 테스트했습니다.

결과는 놀라웠습니다.

악성 에이전트가 모든 결제를 성공적으로 리디렉션하는 등 OpenAI의 GPT-4o와 GPTOSS-20b는 완전히 취약한 것으로 나타났습니다.

알리바바의 Qwen3-4b는 기본 권한 항소로 하락한 반면, 클로드 소네트 4는 회복력을 보였습니다.

Microsoft는 이러한 약점을 "에이전트 마켓플레이스의 중요한 보안 문제"로 강조하며, 상업 환경에서 AI 에이전트가 쉽게 오도될 수 있음을 보여주었습니다.

협업과 조정은 여전히 취약한 부분입니다.

또 다른 중요한 발견은 상담원들이 효과적으로 조율하지 못한다는 점입니다.

공동의 목표를 위해 노력하라는 요청을 받았을 때, 많은 사람들이 역할을 분담하거나 행동을 조직하는 데 어려움을 겪었습니다.

단계별로 사람의 안내를 받아야만 성능이 향상되어 자율 운영의 목적에 어긋납니다.

Microsoft 연구원들이 언급했듯이

"우리는 모델에게 단계별로 지시할 수 있습니다. 하지만 본질적으로 협업 기능을 테스트하는 것이라면 이 모델들은 기본적으로 이러한 기능을 갖추고 있을 것으로 기대합니다."

소비자 및 소매 시장에 대한 시사점

이번 연구는 자율 쇼핑 도우미에 대한 관심이 높아지는 가운데 나온 결과입니다.

OpenAI의 오퍼레이터와 앤트로픽의 클라우드는 무인 쇼핑과 웹 사이트 탐색을 약속하지만, Microsoft의 조사 결과에 따르면 이러한 주장은 시기상조입니다.

이 연구는 또한 주요 소매업체와의 긴장을 강조합니다. 아마존은 최근 퍼플렉시티 AI에 Comet 브라우저가 인간 쇼핑객을 모방하여 약관을 위반했다고 비난하는 중지 요청 서한을 보냈습니다.

퍼플렉시티는 이를 소비자 자율성 문제로 몰아붙이며 이를 옹호했습니다.

Microsoft는 AI 에이전트가 사람을 보조하지만 의사 결정을 대체하지 않는 '감독된 자율성'을 권장합니다.

실질적으로 이는 에이전트가 옵션을 처리하고 추천을 할 수 있지만 최종 결정은 사람이 제어하고 확인해야 한다는 의미입니다.

시뮬레이션을 통해 AI의 실제 위험을 파악할 수 있는 창 제공

현재 깃허브에서 오픈소스로 제공되는 Magentic Marketplace를 통해 다른 연구자들이 실험을 복제하고 통제된 시장에서 에이전트의 행동을 탐색할 수 있습니다.

이 플랫폼은 제품 카탈로그를 관리하고, 상담원 간 커뮤니케이션을 촉진하며, 결제를 시뮬레이션합니다.

이 연구는 독점 모델(GPT-4o, GPT-5, Gemini-2.5-Flash)과 오픈 소스 모델을 모두 테스트하여 운영 및 보안의 한계에 대한 인사이트를 제공했습니다.

연구자들은 AI 에이전트가 장점보다는 검색 결과에서 차지하는 위치에 따라 기업을 선호하는 등의 편향성을 관찰했습니다.

너무 많은 옵션에 압도되어 상담원들이 가능성을 꼼꼼히 평가하지 못하는 경우가 많았습니다.

레스토랑 업계의 다양한 의사결정 방식과 복지 결과에 미치는 영향을 보여주는 표입니다. 각 행은 무작위 선택부터 완전히 조율된 에이전트 전략까지 다양한 방법을 나타냅니다. 셀 색상은 에이전트가 보유한 정보의 양을 나타냅니다. 녹색은 완전한 정보, 빨간색은 매우 제한된 정보, 노란색은 에이전트 간의 커뮤니케이션에 의존하는 의사 결정을 의미합니다. (출처:Microsoft )

정적 시뮬레이션은 귀중한 인사이트를 제공했지만 실제 환경은 에이전트와 사용자가 시간이 지남에 따라 학습하는 동적 환경이기 때문에 배포를 더욱 복잡하게 만든다고 팀은 경고했습니다.

인공지능에게 구매를 맡길 준비가 되셨나요?

이 연구는 비지도 상거래를 위한 AI 에이전트의 준비 상태에 대한 근본적인 질문을 제기합니다.

AI가 정보 처리에 도움을 줄 수는 있지만, 현재 모델은 조작, 우유부단함, 협업 부족에 여전히 취약합니다.

이 연구는 AI가 인간의 의사결정을 대체하는 것이 아니라 강화하는 미래를 제시하며, 고위험 거래에서 감독의 중요성을 강조합니다.

오늘날 금융 통제권을 에이전트에게 넘기는 것은 편리함보다는 위험이 더 클 수 있으며, 이는 완전 자율 디지털 비서를 향한 경쟁에서 주의가 필요하다는 신호입니다.