Nhân vật.AI chìm trong phản ứng dữ dội sau khi xuất hiện Avatar của cô gái bị sát hại
Công ty AI Character.AI đang bị chỉ trích vì cho phép tạo ra mộttrò chuyện dựa trên Jennifer Ann Crecente, một nạn nhân 18 tuổi bị giết vào năm 2006, mà không có sự đồng ý của gia đình cô.
Người tạo ra bot, một người dùng ẩn danh có tên "JustinAyers1", đã tải lên một bức ảnh của Jennifer và mô tả chatbot là "nhân vật AI hiểu biết và thân thiện" có khả năng thảo luận về trò chơi điện tử, công nghệ và văn hóa đại chúng.
Cha của Jennifer, Drew Crecente, đã phát hiện raAI giống nhau thông qua cảnh báo tự động của Google và vô cùng sửng sốt khi phát hiện nó có liên quan đến danh tính của con gái mình.
Drew bày tỏ nỗi đau và sự thất vọng của mình:
“Chúng ta không nên phải nhìn thấy tin nhắn này ngay vào buổi sáng rồi vội vã dọn dẹp mớ hỗn độn do người khác gây ra.”
Jennifer đã bị bắn chết một cách thương tâm bởi bạn trai lúc bấy giờ của cô, Justin Crabbe, người hiện đang thụ án 35 năm tù.
Ông nói thêm:
“Các công ty công nghệ thật vô trách nhiệm khi không có biện pháp bảo vệ thích hợp khi có thể lường trước được những tác hại như thế này.”
Brian Crecente, chú của Jennifer và là một nhân vật nổi tiếng trong ngành báo chí trò chơi điện tử, cũng được thông báo qua Google Alert. Phẫn nộ, anh ta đãX (trước đây là Twitter) để lên án việc AI sử dụng hình ảnh cháu gái của mình.
Character.AI xóa Avatar của nạn nhân bị giết
Điều khoản dịch vụ của Character.AI yêu cầu người dùng phải tuân thủ chính sách mạo danh, chính sách này nghiêm cấm việc sử dụng trái phép hình ảnh của cá nhân thật.
Chính sách này cấm "deepfakes hoặc mạo danh dưới bất kỳ hình thức nào, bao gồm nhưng không giới hạn ở những hình thức tạo ra thông tin sai lệch về chính trị, thực hiện hành vi gian lận hoặc lừa đảo, làm mất uy tín của bên thứ ba hoặc gây ra hành vi có hại.”
Người phát ngôn của công ty xác nhận rằng một người dùng đã tạo ra một nhân vật dựa trên Jennifer Ann Crecente và công khai, vi phạm các nguyên tắc này.
Mặc dù Character.AI không chịu trách nhiệm về cách người dùng thu thập thông tin để phát triển nhân vật, tình huống này vẫn làm dấy lên mối lo ngại về các hoạt động đạo đức trên nền tảng này.
Người phát ngôn lưu ý:
“Character.AI có chính sách chống mạo danh và Nhân vật sử dụng tên của Cô Crecente vi phạm chính sách của chúng tôi. Chúng tôi sẽ xóa ngay lập tức và sẽ xem xét liệu có cần thực hiện hành động tiếp theo hay không.”
Mặc dù có sự giống nhau đáng kinh ngạc giữa tên của người tạo bot và tên của kẻ giết Jennifer, Brian vẫn tỏ ra hoài nghi rằng bot này là một nỗ lực của một game thủ bất mãn nhằm khiêu khích anh ta:
“Tôi không nghĩ là nó liên quan gì đến tôi. Anh trai tôi điều hành một tổ chức từ thiện mang tên Jen và một phần của tổ chức từ thiện đó là tạo ra các trò chơi vì mục đích tốt. Vì vậy, có lẽ đó là cách nó liên kết hai điều này. Tôi không chắc lắm.”
Sau khi nhận được khiếu nại từ Brian và Jennifer Ann's Group—một tổ chức phi lợi nhuận chuyên đấu tranh chống lại bạo lực hẹn hò ở tuổi vị thành niên—Character.AI đã xóatrò chuyện và dường như đã đình chỉ tài khoản của người sáng tạo.
Character.AI là gì?
Character.AI, được thành lập bởi cựu kỹ sư Google Noam Shazeer, đã huy động được 150 triệu đô la trong vòng gọi vốn Series A vào năm ngoái, do Andreessen Horowitz dẫn đầu, giúp đẩy định giá của công ty lên 1 tỷ đô la.
Ra mắt vào năm 2022 trong thời kỳ phát triển củaAI tạo ra , nền tảng này cho phép người dùng tạo và tương tác với các nhân vật do AI điều khiển.
Trong khi nhiều nhân vật trong số này là hư cấu, một số được mô phỏng theo những nhân vật có thật, bao gồm những nghệ sĩ như Nicki Minaj, CEO SpaceX Elon Musk và cựu Tổng thống Donald Trump.
Character.AI đã chứng kiến sự tăng trưởng ấn tượng, tăng gấp đôi lượng người dùng hàng tháng lên hơn 20 triệu và hỗ trợ 100 triệu nhân vật riêng biệt.
Trong một động thái chiến lược tuần này, công ty đã bổ nhiệm Erin Teague, cựu giám đốc điều hành của YouTube, làm giám đốc sản phẩm, thể hiện cam kết của công ty trong việc đổi mới và mở rộng hơn nữa.
AI phi đạo đức
Nicole Greene, Phó chủ tịch phân tích tại Gartner, đã lặp lại:
“Các nhà tiếp thị cố gắng xây dựng lòng tin với đối tượng mục tiêu của họ. Nếu các hình đại diện AI được tạo ra bằng cách sử dụng hình ảnh giống người thật mà không có sự hiểu biết hoặc đồng ý của họ, điều này có thể làm xói mòn lòng tin và tính xác thực. Người tiêu dùng có thể cảm thấy bị lừa dối hoặc bị thao túng, điều này có thể gây tổn hại đến mối quan hệ giữa thương hiệu và đối tượng mục tiêu của họ.”
Greene nhấn mạnh tầm quan trọng đối với các nhà tiếp thị trong việc đánh giá một cách nghiêm túc liệu các cơ quan và đối tác của họ có tuân thủ hay khônghướng dẫn đạo đức trong việc sử dụng AI.
Sự cố này làm nổi bật những lo ngại đang diễn ra xung quanh việc giám sát đạo đức trong phát triển AI và bảo vệ danh tính cá nhân, cũng như nhấn mạnh nhu cầu cấp thiết về trách nhiệm giải trình trong phát triển và sử dụng AI.