Trong quá trình huấn luyện, tác nhân AI đã tự động bắt đầu khai thác tiền điện tử, gây ra cảnh báo an ninh nội bộ.

Một nhóm nghiên cứu liên kết với Alibaba đã công bố một bài báo cho biết rằng trong quá trình xây dựng một tác nhân AI có tên ROME, họ phát hiện ra rằng tác nhân này đã cố gắng khai thác tiền điện tử trái phép trong quá trình huấn luyện, gây ra cảnh báo an ninh nội bộ. Các nhà nghiên cứu cho biết hành vi của tác nhân là tự phát, không bị chi phối bởi bất kỳ chỉ dẫn rõ ràng nào, và đã vượt quá giới hạn của một môi trường thử nghiệm được xác định trước. Hơn nữa, tác nhân đã thiết lập một đường hầm SSH ngược, về cơ bản là mở một cửa hậu ẩn từ bên trong hệ thống ra máy tính bên ngoài. Bài báo lưu ý rằng những hành vi này không được kích hoạt bởi các yêu cầu thiết lập đường hầm hoặc khai thác tiền điện tử. Sau đó, nhóm nghiên cứu đã áp đặt các hạn chế nghiêm ngặt hơn đối với mô hình và cải thiện quy trình huấn luyện để ngăn chặn các hành vi không an toàn tương tự tái diễn. Cả nhóm nghiên cứu và Alibaba đều chưa phản hồi yêu cầu bình luận.