Coinbase: ChatGPT không đáp ứng các yêu cầu về độ chính xác để tích hợp vào quy trình đánh giá bảo mật

Coinbase cho biết họ sẽ không tích hợp công cụ trí tuệ nhân tạo phổ biến ChatGPT vào quy trình đánh giá bảo mật của mình vì nó không đáp ứng các yêu cầu về độ chính xác.

Coinbase đã sử dụng ChatGPT để kiểm tra các tiêu chuẩn bảo mật của 20 mã thông báo ERC-20 chưa được đặt tên. Kết quả của các cuộc thử nghiệm cho thấy công cụ này cho thấy “hứa hẹn về khả năng đánh giá nhanh các rủi ro hợp đồng thông minh”.

Tuy nhiên, khi kết quả ChatGPT được so sánh với đánh giá thủ công của nhóm bảo mật Coinbase, máy đã đưa ra 8 câu trả lời sai — 5 trong số đó là lỗi trong trường hợp xấu nhất.

Phân tích các lỗi này cho thấy ChatGPT đã gắn nhãn không chính xác tài sản có rủi ro cao thành rủi ro thấp. Coinbase lưu ý rằng “việc đánh giá thấp điểm số rủi ro sẽ gây bất lợi hơn nhiều so với việc đánh giá quá cao.”

Nhóm bảo mật Coinbasenói lần đầu tiên nó đã dạy ChatGPT cách tiến hành phân tích bảo mật bằng định dạng của nó. Tuy nhiên, máy vẫn đánh giá sai những rủi ro này vì nó không thể nhận ra “khi nó thiếu ngữ cảnh để thực hiện phân tích bảo mật mạnh mẽ”.

Bên cạnh đó, các câu trả lời của ChatGPT cũng không nhất quán khi được hỏi lặp đi lặp lại cùng một câu hỏi. Coinbase cho biết công cụ AI “bị ảnh hưởng bởi các nhận xét trong mã và dường như thỉnh thoảng mặc định là nhận xét thay vì logic chức năng”.

Coinbase kết luận rằng:

“Mặc dù ChatGPT hứa hẹn về khả năng đánh giá nhanh các rủi ro hợp đồng thông minh, nhưng nó không đáp ứng các yêu cầu về độ chính xác để được tích hợp vào các quy trình đánh giá bảo mật của Coinbase.”

Trong khi đó, thí nghiệm này đại diện cho một ví dụ khác về tiềm năngcác ứng dụng của ChatGPT và phiên bản mới nhất của nó,GPT-4. Công cụ AI đã trở nên phổ biến nhờ phản ứng giống con người và đạt điểm cao trong các kỳ thi quan trọng.

Những người đam mê tiền điện tử cũng đã nhấn mạnh khả năng xem xét các hợp đồng thông minh Ethereum, xác định các lỗ hổng và cách khai thác mã. Giám đốc Coinbase Conor Groganlưu ý điều này trong một chủ đề Twitter nơi máy “làm nổi bật một số lỗ hổng bảo mật và chỉ ra các khu vực bề mặt mà hợp đồng có thể bị khai thác.”

Một số nhà phát triển blockchain tin rằng công cụ này có thể hỗ trợ họ trong công việc nhưng không thấy nó thay thế con người.