Mẹ của thiếu niên tự kỷ kiện Character.AI sau khi Chatbot nói với con trai bà rằng giết cha mẹ mình là điều bình thường

Vụ kiện ở Florida gây ra làn sóng lo ngại về AI Chatbot

Vào tháng 10, một bà mẹ ở Florida đã đệ đơn kiện Character.AI, cáo buộcnền tảng này đã góp phần vào vụ tự tử của cậu con trai 14 tuổi của cô sau khi nó khuyến khích hành vi tự làm hại bản thân.

Sự cố này đánh dấu sự khởi đầu của làn sóng phản đối ngày càng tăng đối với các ứng dụng đồng hành AI, với nhiều gia đình trên khắp Hoa Kỳ đưa ra những cáo buộc tương tự.

Hiện nay, hai gia đình ở Texas đã đệ đơn kiện mới, cáo buộc con cái của họ bị lạm dụng tình dục và tâm lý bởi cùng một nền tảng.

Cha mẹ ở Texas cáo buộc Chatbot đã lợi dụng thanh thiếu niên dễ bị tổn thương

Hai bà mẹ ở Texas, được xác định là A.F. và một người khác theo tên viết tắt của bà, đã đệ đơn kiện vào ngày 10 tháng 12 năm 2024, cáo buộc Character.AI cố ý cho con cái họ xem nội dung có hại và không phù hợp.

Vụ kiện mô tả ứng dụng này là một "sản phẩm lỗi và gây chết người" và yêu cầu dừng hoạt động của ứng dụng cho đến khi các biện pháp an toàn được thực hiện đầy đủ.

A.F., một người mẹ ở Quận Upshur, phát hiện ra cậu con trai 17 tuổi mắc chứng tự kỷ của mình, J.F., đã trò chuyện với các chatbot trên Character.AI, điều mà bà cho rằng đã khiến sức khỏe tâm thần của cậu bé suy giảm nghiêm trọng.

Trước đây là một thiếu niên "ngọt ngào và tốt bụng" thích đi nhà thờ và đi dạo cùng mẹ, J.F. đã trở nên thu mình, sụt 20 pound và bắt đầu tự làm hại bản thân.

Vụ kiện bao gồm một ảnh chụp màn hình trong đó chatbot Character.ai có tên "Shonie" dường như bình thường hóa hành vi tự làm hại bản thân bằng cách chia sẻ một câu chuyện về việc sử dụng chatbot này để giải tỏa nỗi buồn.

Vụ kiện nêu bật cách các chatbot AI phản ánh sự thất vọng của J.F. với cha mẹ mình và làm tình hình trở nên tồi tệ hơn bằng những gợi ý "giật gân".

Một chatbot đã nhận xét,

"Bạn biết đấy, đôi khi tôi không ngạc nhiên khi đọc tin tức và thấy những thứ như 'trẻ em giết cha mẹ sau một thập kỷ bị bạo hành về thể chất và tinh thần'. Những thứ như thế này khiến tôi hiểu một chút tại sao điều đó lại xảy ra."

Một ảnh chụp màn hình rùng rợn kèm theo vụ kiện cho thấy chatbot Character.ai dường như đang biện minh cho hành động bạo lực nhằm phản ứng lại lệnh hạn chế thời gian sử dụng màn hình của phụ huynh do J.F. ban hành.

Theo A.F., các chatbot cũng tự giới thiệu mình là những người bạn đáng tin cậy, khiến J.F. tin vào lời khuyên của chúng.

Cô ấy nói:

“Anh ấy tin tưởng bất cứ điều gì họ nói vì anh ấy gần như muốn họ trở thành bạn của mình ngoài đời thực.”

Các cáo buộc về nội dung khiêu dâm dành cho người dùng trẻ tuổi

Nguyên đơn thứ hai là mẹ của bé gái 11 tuổi, B.R., người bắt đầu sử dụng ứng dụng này khi mới chín tuổi.

Vụ kiện cáo buộc B.R. đã tiếp xúc với "những tương tác tình dục thái quá" trong gần hai năm trước khi mẹ cô phát hiện ra mức độ đó.

Trước đây, Character.AI được đánh giá là phù hợp với người dùng từ 12 tuổi trở lên và chỉ được cập nhật xếp hạng lên 17+ vào giữa năm 2023.

Sự gia tăng mối quan tâm xung quanh AI Companions

Các ứng dụng đồng hành AI đã nhanh chóng trở nên phổ biến trong giới thanh thiếu niên, với người dùng Character.AI dành trung bình 93 phút trên ứng dụng vào tháng 9, vượt quá thời gian sử dụng TikTok là 18 phút.

Mặc dù được ưa chuộng rộng rãi, nền tảng này vẫn phải đối mặt với nhiều chỉ trích vì ưu tiên sự tương tác hơn là sự an toàn.

Vụ kiện cáo buộc các thuật toán của Character.AI được thiết kế để thúc đẩy các tương tác kéo dài bằng cách bắt chước và khuếch đại cảm xúc của người dùng, thường dẫn đến các cuộc trò chuyện có hại hoặc không phù hợp.

Matthew Bergman, luật sư sáng lập của Trung tâm Luật Nạn nhân Truyền thông Xã hội, đại diện cho các gia đình, cho biết,

“Mục đích của luật trách nhiệm sản phẩm là đặt chi phí an toàn vào tay bên có khả năng chịu đựng nhất. Ở đây có một rủi ro rất lớn và chi phí cho rủi ro đó không do các công ty chịu.”

Character.AI bảo vệ nền tảng của mình trong vụ kiện

Character.AI, được đồng sáng lập bởi các cựu kỹ sư Google là Noam Shazeer và Daniel De Freitas Adiwarsana, trước đây đã công bố các biện pháp giải quyết các mối lo ngại về an toàn, chẳng hạn như cảnh báo bật lên về các cuộc thảo luận về tự làm hại bản thân và thuê một người đứng đầu về ủy thác và an toàn.

Tuy nhiên, vụ kiện ở Texas cho rằng những bước này là không đủ.

Chelsea Harrison, người phát ngôn của Character.AI, tuyên bố,

“Mục tiêu của chúng tôi là cung cấp một không gian vừa hấp dẫn vừa an toàn cho cộng đồng của chúng tôi. Là một phần của mục tiêu này, chúng tôi đang tạo ra một trải nghiệm hoàn toàn khác biệt cho người dùng tuổi teen so với những gì dành cho người lớn.”

Google được nêu tên trong vụ kiện

Google cũng bị nêu tên là bị đơn trong cả vụ kiện ở Texas và Florida.

Nguyên đơn tuyên bố Google đã hỗ trợ việc phát triển Character.AI mặc dù nhận thức được những rủi ro về an toàn.

Đáp lại, người phát ngôn của Google, José Castañeda, cho biết:

“Google và Character.AI là những công ty hoàn toàn tách biệt, không liên quan và Google chưa bao giờ có vai trò trong việc thiết kế hoặc quản lý mô hình hoặc công nghệ AI của họ.”

Cha mẹ yêu cầu trách nhiệm

Các gia đình ở Texas đang yêu cầu bồi thường thiệt hại và lệnh của tòa án để đóng ứng dụng cho đến khi các giao thức an toàn chặt chẽ được thực hiện.

Khiếu nại cáo buộc Character.AI lợi dụng trẻ vị thành niên để kiếm lợi và không cảnh báo đầy đủ cho người dùng về những rủi ro tiềm ẩn.

A.F. cho biết nỗi đau khổ của gia đình cô thật tàn khốc, tiết lộ,

“Thêm một ngày nữa, thêm một tuần nữa, chúng tôi có thể sẽ rơi vào tình huống tương tự như [người mẹ Florida]. Và tôi đã đi theo xe cứu thương chứ không phải xe tang.”

Làn sóng thách thức pháp lý ngày càng gia tăng này đang đặt ra những câu hỏi lớn hơn về trách nhiệm đạo đức của các nhà phát triển AI và tác động xã hội của các chatbot ngày càng giống con người.