Coinbase: ChatGPT は、セキュリティ レビュー プロセスに統合するための精度要件を満たしていません

Coinbase は、人気の人工知能ツールである ChatGPT は精度要件を満たしていないため、セキュリティ レビュー プロセスに統合しないと述べています。

Coinbase は ChatGPT を使用して、名前のない 20 個の ERC-20 トークンのセキュリティ基準をテストしました。テストの結果、このツールは「スマート コントラクトのリスクを迅速に評価する能力に有望」であることが示されました。

しかし、ChatGPT の結果を Coinbase セキュリティ チームのマニュアル レビューと比較すると、マシンは 8 つの間違った回答を返しました。

これらのエラーの内訳は、ChatGPT が高リスク資産を低リスクと誤ってラベル付けしたことを示しました。 Coinbase は、「リスク スコアを過小評価することは、過大評価するよりもはるかに有害である」と述べています。

コインベース セキュリティ チーム言った 最初に ChatGPT に、その形式を使用してセキュリティ分析を行う方法を教えました。ただし、「堅牢なセキュリティ分析を実行するためのコンテキストが不足している場合」を認識できないため、マシンはこれらのリスクを誤って分類しました。

それに加えて、同じ質問を繰り返したときの ChatGPT の応答も一貫していませんでした。 Coinbase は、AI ツールは「コード内のコメントの影響を受けており、関数ロジックではなくコメントがデフォルトになっているように見えることがある」と述べています。

Coinbase は次のように結論付けました。

「ChatGPT は、スマート コントラクトのリスクを迅速に評価する能力に期待を示していますが、Coinbase のセキュリティ レビュー プロセスに統合するための精度要件を満たしていません。」

一方、この実験は潜在的な別の例を表していますアプリケーション ChatGPT とその最新バージョンのGPT-4。 AI ツールは、人間のような応答と主要な試験での高得点で人気を博しています。

暗号愛好家は、イーサリアムのスマート コントラクトをレビューし、脆弱性とコードを悪用する方法を特定する能力も強調しています。コインベースのディレクター、コナー・グローガン了解しました これは、マシンが「多くのセキュリティの脆弱性を強調し、コントラクトが悪用される可能性のある表面領域を指摘した」Twitter スレッドでした。

一部のブロックチェーン開発者は、このツールが自分たちの仕事に役立つと信じていますが、それが人間に取って代わるとは考えていません。