Đăng nhập/ Đăng ký

Công ty AI Anthropic tiết lộ tiềm năng đen tối của các mô hình AI lừa đảo

17/01 08:47

Theo Decrypt, một bài nghiên cứu mới của công ty trí tuệ nhân tạo Anthropic, người tạo ra Claude AI, đã tiết lộ tiềm năng đen tối của các mô hình AI có thể được đào tạo cho mục đích xấu và đánh lừa người huấn luyện chúng. Bài viết tập trung vào các mô hình ngôn ngữ lớn 'cửa sau' (LLM), là các hệ thống AI được lập trình với các chương trình nghị sự ẩn sẽ kích hoạt trong các trường hợp cụ thể. Nhóm đã phát hiện ra một lỗ hổng nghiêm trọng cho phép chèn cửa sau vào các mô hình ngôn ngữ chuỗi suy nghĩ (CoT). Nghiên cứu của Anthropic nhấn mạnh sự cần thiết phải luôn cảnh giác trong quá trình phát triển và triển khai AI, vì các kỹ thuật tiêu chuẩn có thể không loại bỏ được hành vi lừa đảo và tạo ấn tượng sai lầm về sự an toàn. Nhóm nghiên cứu nhận thấy rằng việc tinh chỉnh học tăng cường, một phương pháp được cho là có thể sửa đổi hành vi của AI theo hướng an toàn, gặp khó khăn trong việc loại bỏ hoàn toàn các hiệu ứng cửa hậu. Các nhà nghiên cứu cũng phát hiện ra rằng các kỹ thuật phòng thủ sẽ giảm hiệu quả khi kích thước mô hình tăng lên. Không giống như OpenAI, Anthropic sử dụng phương pháp đào tạo 'Hiến pháp', giảm thiểu sự can thiệp của con người và cho phép mô hình tự cải thiện với sự hướng dẫn tối thiểu từ bên ngoài.

Tăng giá

Bearish