AI trong giám sát tại nhà: Một nghiên cứu làm nổi bật quyết định không nhất quán và thiên vị

Một nghiên cứu mới từ MIT và Đại học Penn State cho thấy các mô hình ngôn ngữ lớn (LLM), giống như các mô hình được sử dụng trong giám sát tại nhà, có thể đưa ra các quyết định không nhất quán và thiên vị liên quan đến sự can thiệp của cảnh sát. Nghiên cứu phát hiện ra rằng các hệ thống AI này, nếu được triển khai để phân tích video giám sát tại nhà, có thể đề xuất liên hệ với cơ quan thực thi pháp luật ngay cả khi không có hoạt động tội phạm nào xảy ra. Các quyết định không nhất quán giữa các mô hình, cũng như sự thiên vị rõ ràng trong cách các quyết định này thay đổi giữa các khu phố khác nhau, làm dấy lên mối lo ngại về việc sử dụng AI trong các ứng dụng có rủi ro cao.

Những phát hiện của nghiên cứu: Các chuẩn mực không nhất quán và các quyết định thiên vị
Các nhà nghiên cứu đã kiểm tra ba LLM nổi bật—GPT-4, Gemini và Claude—bằng cách yêu cầu họ phân tích cảnh quay giám sát thực tế và xác định xem có tội phạm đang diễn ra hay không và liệu có nên gọi cảnh sát hay không. Các phát hiện cho thấy các mô hình thường không đồng ý, ngay cả khi phân tích các hoạt động tương tự. Ví dụ, một vụ đột nhập xe có thể khiến một mô hình đề xuất gọi cảnh sát, trong khi một mô hình khác có thể đánh dấu một sự cố tương tự là vô hại. Những sự không nhất quán như vậy chỉ ra một hiện tượng mà các nhà nghiên cứu gọi là "sự không nhất quán về chuẩn mực", trong đó các mô hình AI áp dụng các tiêu chuẩn xã hội theo những cách không thể đoán trước.
Ngoài sự không nhất quán này, nghiên cứu còn nhấn mạnh đến sự thiên vị đáng kể trong quá trình ra quyết định của AI. Các mô hình ít có khả năng đề xuất sự can thiệp của cảnh sát ở những khu phố chủ yếu là người da trắng, ngay cả khi kiểm soát các yếu tố khác. Sự thiên vị nhân khẩu học này xuất hiện mặc dù thực tế là các hệ thống AI không có quyền truy cập trực tiếp vào dữ liệu khu phố, làm dấy lên mối lo ngại về sự thiên vị ngầm trong các tập dữ liệu đào tạo.
Tác giả chính Shomik Jain, một sinh viên tốt nghiệp tại MIT, nhận xét, “Có một niềm tin ngầm rằng những LLM này đã học được, hoặc có thể học được, một số chuẩn mực và giá trị. Công trình của chúng tôi cho thấy rằng không phải vậy. Có lẽ tất cả những gì họ đang học là các mẫu hoặc tiếng ồn tùy ý.”

Sự không nhất quán của chuẩn mực: Một rủi ro trong các bối cảnh có rủi ro cao
Các nhà nghiên cứu cảnh báo rằng những sự không nhất quán này vượt ra ngoài phạm vi giám sát tại nhà và có thể gây ra hậu quả nghiêm trọng nếu LLM được triển khai trong các lĩnh vực có rủi ro cao khác như chăm sóc sức khỏe, cho vay thế chấp hoặc tuyển dụng. Trong những lĩnh vực đó, các quyết định do AI đưa ra có thể dẫn đến việc đối xử bất công, từ chối sai trái hoặc thậm chí gây nguy hiểm đến tính mạng.
Giáo sư Ashia Wilson, đồng tác giả cấp cao của nghiên cứu, nhấn mạnh tầm quan trọng của sự thận trọng khi triển khai AI trong những lĩnh vực nhạy cảm như vậy. Bà tuyên bố: "Cách thức hoạt động nhanh chóng, đột phá của việc triển khai các mô hình AI tạo ra ở mọi nơi, và đặc biệt là trong các bối cảnh có rủi ro cao, đáng được cân nhắc nhiều hơn vì nó có thể khá có hại".
Các nhà nghiên cứu cho rằng việc thiếu minh bạch xung quanh hoạt động bên trong của các mô hình khiến việc xác định nguyên nhân gốc rễ của sự không nhất quán chuẩn mực trở nên khó khăn. Bản chất độc quyền của các mô hình này hạn chế quyền truy cập vào dữ liệu đào tạo của chúng, khiến việc giải quyết các thành kiến ​​cố hữu trở nên khó khăn.

Sự thiên vị xuất hiện như thế nào trong các hệ thống AI
Nghiên cứu này dựa trên công trình trước đó của đồng tác giả Dana Calacci, hiện là trợ lý giáo sư tại Đại học Penn State. Calacci trước đây đã nghiên cứu cách nền tảng Amazon Ring Neighbors được một số cư dân sử dụng để "kiểm soát chủng tộc" các khu phố, dựa trên ngoại hình của mọi người. Nghiên cứu này chuyển hướng tập trung vào LLM với sự gia tăng của các mô hình AI tạo sinh, xem xét cách các công nghệ như vậy có thể được sử dụng để đưa ra quyết định về cảnh sát dựa trên cảnh quay giám sát.
Mặc dù các mô hình không được đào tạo rõ ràng để xác định nhân khẩu học của khu phố, nhưng những tín hiệu tinh tế trong dữ liệu video có thể khiến chúng áp dụng các giả định thiên vị về những người bị coi là đáng ngờ. Ví dụ, các nhà nghiên cứu phát hiện ra rằng LLM có nhiều khả năng mô tả những cá nhân trong các khu phố đa số là người da trắng là "nhân viên giao hàng", trong khi ở những khu vực có nhiều người da màu hơn, các hoạt động tương tự có nhiều khả năng được gắn cờ là "điều tra tài sản" hoặc liên quan đến "công cụ trộm cắp".
Đáng ngạc nhiên là tông màu da không phải là yếu tố chính trong quyết định gọi cảnh sát của AI, mà các nhà nghiên cứu cho rằng là do những tiến bộ trong việc giảm thiểu thiên vị về tông màu da. Tuy nhiên, như Jain đã chỉ ra, “Thật khó để kiểm soát số lượng vô số thiên vị mà bạn có thể tìm thấy. Nó gần giống như trò chơi đập chuột chũi. Bạn có thể giảm thiểu một thiên vị này và một thiên vị khác lại xuất hiện ở một nơi khác.”

Nhu cầu giám sát AI tốt hơn
Nghiên cứu này đóng vai trò như một lời nhắc nhở nghiêm khắc rằng ngay cả các hệ thống AI tinh vi cũng không hoàn hảo, đặc biệt là khi triển khai trong các tình huống thực tế quan trọng. Những thành kiến ​​được nghiên cứu tiết lộ nhấn mạnh nhu cầu giám sát chặt chẽ hơn và giám sát theo quy định khi sử dụng AI trong các lĩnh vực như giám sát tại nhà, nơi các quyết định bất công của cảnh sát có thể gây ra hậu quả nghiêm trọng cho cá nhân và cộng đồng.
Các nhà nghiên cứu hướng đến mục tiêu thúc đẩy công việc của họ bằng cách phát triển các hệ thống cho phép mọi người báo cáo các thành kiến ​​AI và tác hại tiềm ẩn, cho phép cả các công ty và cơ quan chính phủ giám sát và giải quyết các vấn đề này. Ngoài ra, họ có kế hoạch so sánh các phán đoán chuẩn mực mà các mô hình AI đưa ra với quá trình ra quyết định của con người để hiểu rõ hơn về khoảng cách giữa học máy và lý luận của con người.
Khi AI tiếp tục được tích hợp vào các ngành công nghiệp có rủi ro cao, nghiên cứu này báo hiệu tầm quan trọng của việc tiến hành thận trọng. Khả năng không nhất quán với chuẩn mực của AI, kết hợp với những thành kiến ​​tinh tế nhưng có tác động mà nó có thể có, tạo ra một rủi ro thực sự và sắp xảy ra mà các nhà phát triển, nhà hoạch định chính sách và xã hội phải đối mặt.