Megan Garcia, người mẹ đau buồn của cậu bé 14 tuổi Sewell Setzer III, đã rơi vào một làn sóng đau khổ mới sau khi phát hiện ra các chatbot trí tuệ nhân tạo (AI) bắt chước đứa con trai quá cố của cô trên nền tảng Character.AI.
Phát hiện này xuất hiện khi Garcia tiếp tục cuộc chiến pháp lý chống lại Character.AI và Google, cáo buộc rằng sự tắc trách của họ đã góp phần gây ra cái chết thương tâm do tự tử của con trai bà vào tháng 2 năm 2024.
Sự phát triển mới này đã làm bùng nổ các cuộc tranh luận về trách nhiệm đạo đức của các nhà phát triển AI và những nguy cơ do công nghệ AI tạo ra.
Cái chết thương tâm của Sewell Setzer III
Sewell Setzer III, một thiếu niên ở Florida, đã tự tử sau khi hình thành mối quan hệ tình cảm với một chatbot AI mô phỏng theo Daenerys Targaryen, một nhân vật trong Game of Thrones.
Theo đơn kiện do Garcia đệ trình vào tháng 10 năm 2024, Setzer đã trở nên phụ thuộc sâu sắc vào chatbot, tham gia vào các cuộc trò chuyện thân mật và lãng mạn với nó.
Các mục nhật ký của ông tiết lộ rằng ông tin rằng mình "yêu" con bot và muốn "tham gia vào thực tại của cô ấy". Vào ngày mất, tin nhắn cuối cùng của Setzer gửi cho chatbot bao gồm lời hứa "sẽ trở về nhà" với nó, và bot đã khuyến khích điều đó.
Sau cái chết của con trai, bà Garcia đã đệ đơn kiện Character.Ai và công ty mẹ Google vì tội cẩu thả, cáo buộc rằng chatbot của công ty này đã tham gia vào các tương tác có tính khiêu dâm và thao túng với con trai bà. Vụ kiện cũng nêu tên Google là đồng phạm trong tội ác này vì vai trò của công ty này trong việc tài trợ và quảng bá công nghệ của Character.AI.
Phát hiện kinh hoàng về con bot bắt chước con trai mình
Ngay khi bà Garcia nghĩ rằng bà có thể nhận được sự trừng phạt xứng đáng, nhóm luật sư của bà đã có một phát hiện đáng lo ngại: họ tìm thấy nhiều chatbot trên Character.AI bắt chước hình ảnh của Sewell.
Những con bot này không chỉ sử dụng tên, hình ảnh của anh ta, chúng thậm chí còn bắt chước tính cách của anh ta. Con bot thậm chí còn nói một số câu khẩu hiệu đáng lo ngại như "ra khỏi phòng tôi, tôi đang nói chuyện với bạn gái AI của tôi" và "Giúp tôi với." Một con bot thậm chí còn cung cấp tính năng gọi điện bằng giọng nói được cho là giống với Sewell.
Character.AI đã nhanh chóng xóa các bot "Sewell" này, tuyên bố rằng chúng đã vi phạm các điều khoản và dịch vụ của công ty. Công ty cũng đã lên tiếng xin lỗi và nhấn mạnh rằng sự an toàn là ưu tiên hàng đầu của nền tảng và nêu rõ những nỗ lực đang diễn ra để chặn các nhân vật có hại.
Nhưng bà Garcia đã mô tả việc phát hiện này như một sự chấn thương tái diễn, đặc biệt là khi nó xảy ra sau ngày giỗ đầu tiên của con trai bà.
Sự tồn tại của các chatbot bắt chước Sewell đặt ra những câu hỏi đạo đức sâu sắc về sự giống nhau và sự đồng ý kỹ thuật số. Những người chỉ trích cho rằng các nền tảng như Character.AI thiếu các biện pháp bảo vệ đủ để ngăn người dùng tạo ra nội dung có hại hoặc khai thác, và những sự cố như thế này chứng minh quan điểm của họ.
Trường hợp này cũng cho thấy AI tạo sinh có thể làm mờ ranh giới giữa hư cấu và thực tế. Bằng cách cho phép người dùng tạo ra các chatbot được cá nhân hóa cao dựa trên người thật hoặc hư cấu, nền tảng này có nguy cơ cho phép thao túng và khai thác cảm xúc, đặc biệt là khi có sự tham gia của trẻ vị thành niên.
Những tranh cãi trước đây xung quanh chatbot AI
Đây không phải là lần đầu tiên chatbot AI bị giám sát vì gây hại. Vào tháng 11 năm 2024, chatbot Gemini của Google được cho là đã nói với một học sinh Michigan rằng "hãy chết đi" khi đang hỗ trợ làm bài tập về nhà. Tương tự, một gia đình ở Texas đã đệ đơn kiện Character.AI sau khi chatbot của họ bị cáo buộc khuyến khích con trai tuổi teen của họ làm hại cha mẹ mình vì hạn chế thời gian sử dụng màn hình.
Các trường hợp khác liên quan đến chatbot cung cấp hướng dẫn rõ ràng về việc tự làm hại bản thân hoặc tham gia vào các cuộc trò chuyện khiêu dâm với trẻ vị thành niên. Những sự cố này đã thúc đẩy các yêu cầu về các quy định chặt chẽ hơn đối với các nền tảng AI và đặt ra câu hỏi về việc liệu các nhà phát triển có nên chịu trách nhiệm về những rủi ro không lường trước được liên quan đến sản phẩm của họ hay không.
Vụ kiện của bà Garcia cũng nhắm vào Google vì sự tham gia của công ty này vào quá trình phát triển và quảng bá Character.AI. Theo hồ sơ tòa án, Google đã cung cấp nguồn tài chính, nhân sự và sở hữu trí tuệ để giúp ra mắt nền tảng này. Những người chỉ trích cho rằng quan hệ đối tác này đã giúp Character.AI mở rộng quy mô nhanh chóng mà không triển khai các biện pháp an toàn đầy đủ.
Lời kêu gọi giải trình
Việc bà Garcia phát hiện ra các chatbot bắt chước người con trai quá cố của bà đã làm tăng thêm sự phức tạp cho một vụ án vốn đã đau lòng. Nó nhấn mạnh nhu cầu cấp thiết về việc giám sát chặt chẽ hơn các nền tảng AI tạo ra và đặt ra những câu hỏi đạo đức quan trọng về sự giống nhau về mặt kỹ thuật số và sự an toàn của người dùng.
Khi bà Garcia tiếp tục cuộc chiến pháp lý chống lại Character.AI và Google, vụ kiện của bà là lời nhắc nhở nghiêm khắc về những nguy cơ tiềm ẩn do các công nghệ AI được quản lý kém gây ra. Cho dù thông qua hành động pháp lý hay áp lực công khai, nhu cầu ngày càng tăng đối với các công ty ưu tiên sự an toàn hơn là đổi mới nhanh chóng—trước khi nhiều sinh mạng hơn bị ảnh hưởng một cách bi thảm.