ログイン/ 登録

a16z、27歳の中国人CEOに聞く：AIエージェントは大きな影響力を持つ

JinseFinance

2025/02/10 16:40

従う

Zハイライト

LLMは非常に柔軟で、さまざまな状況に適応できる。align: left;">LLMの魔法は、非常に柔軟で、多くの異なる文脈に適応でき、基本的な知性を持っているということです。
時間をかけて、UIとが変わっていくと考えています。UXはますます自然に言語化されていくでしょう。それはエージェントシステムが考える方法だからです。span leaf="">LLMs）のトレーニングはそれに基づいています。
もしあなたが誰かにAIエージェントを受け入れさせようとしているなら、彼らは実際にはある種のAIエージェントを受け入れています。一種の信仰の跳躍を取っているのです。非常に不慣れな分野だからだ。

AIエージェントカスタマーエクスペリエンスの再発明

カスタマーエクスペリエンスの再発明

ジェシー・チャン:実際にエージェントを構築するにはどうすればよいのでしょうか？なぜなら、大規模言語モデル（LLM）がそうだからです。学習方法です。

長期的には、実際に人間のような超知的なエージェントがいれば、物事を見せたり、説明したりすることができます。

非常に有能な人間のチームメンバーがいて、彼らが最初に参加したとき、あなたは彼らにいくつかのことを教え、彼らは仕事を始める。

最終的には、このような方向に進んでいくでしょう--。より会話的で、より自然な言語に基づいたものになり、人々が互いにコミュニケーションをとる方法はより自然なものになるでしょう。そして、人々はもはや、要件をキャプチャするために複雑な決定木を使用することはないでしょう。

以前は大きな言語モデルがなかったため、このようなことをしなければなりませんでした。しかし現在では、エージェントが進歩し続けるにつれて、ユーザー・エクスペリエンス（UX）とユーザー・インターフェース（UI）はより会話的になるでしょう。スパンみなさん、こんにちは。span text="">ポッドキャストです。デリック・ハリスです。今日の番組では、デカゴンの共同設立者兼CEOジェシー・チャンとお話しします。span>およびa16zパートナー。span>キンバリー・タンが議論に加わる。キンバリーが司会を務め、ジェシーデカゴンがを構築した経験を披露する。は、AIエージェントを提供する企業です。"">顧客がサポートする新興企業を支援する。これらのエージェントはチャットボットでも単一でもありません。span text="">API呼び出されるLM<パッケージではなく、高度にカスタマイズされた高度なエージェントは、企業固有のニーズに応じて複雑なワークフローを処理することができます。のプロセスがあります。

なぜDecagon<異なるLLMを扱うためにどのように設計されているかを説明します。text=""> ジェシーまた、会話ごとの課金というビジネスモデルの利点についても、語ってくれた。AIエージェントはどのようにカスタマーサポートのリーダーに必要なスキルを変えるのか。

また、キンバリー

も注目に値します。最近、RIPからRPAへ、インテリジェント・オートメーションの台頭というタイトルのブログ記事を書きました。」というブログ記事を書いており、このエピソードでも簡単に触れています。

この記事は、自動化がビジネスプロセスでどのように普及するかを理解するための素晴らしい出発点です。最後の注意事項として、この記事の内容は情報提供のみを目的としたものであり、法律、ビジネス、税務、投資のアドバイスとみなされるべきものではなく、投資や証券の評価に使用されるべきものでもありません。span text="">ファンドの投資家または潜在的投資家。

ジェシー・チャン：自己紹介を簡単に。ボルダーで生まれ育ち、数学の大会などにたくさん参加して育ちました。ハーバード大学でコンピューターサイエンスを学び、a16zの支援も受けた会社を立ち上げました。最終的にはナイアンティックに買収されました。

それから私たちはデカゴンを作り始めました。私たちのビジネスは、カスタマーサービス用のAIエージェントを構築することです。当初は、自分たちにとって非常に身近なことをやりたかったからです。

もちろん、カスタマーサービスにおけるAIエージェントの役割については、誰も教える必要はありませんよね。私たちは皆、航空会社やホテルなどの電話で待たされた経験がある。そこでこのアイデアが生まれたのです。

どのような製品を作るべきかを正確に理解するために、多くの顧客と話をしました。私たちにとって特に目立ったポイントの1つは、AI Agentについて学ぶにつれて、AI Agentがたくさん存在するようになった将来について考え始めたことです。"">どんな状況になるのか。将来、AIエージェントがたくさん出てくると誰もが思っていると思います。

私たちにとって、AIの周りで働く人たちが何をするのかを考えることは価値があります。エージェントとして働く従業員は何をするだろうか？彼らはどのようなツールを持つのだろうか？彼らは、一緒に働いたり管理したりするエージェントをどのようにコントロールしたり、見たりするのでしょうか？

それが、私たちが会社を築き上げた核心なのです。AIエージェントを構築し、設定するために、私たちが一緒に働いている人々を支援するためのあらゆる種類のツールエージェントを提供しているからです。ブラックボックスではないようにします。そうやって私たちはブランドを築いていくのです。

デリック・ハリス:

。前の会社は消費者向けのビデオ会社でしたが、企業向けソフトウェアの分野に進もうと思ったきっかけは何ですか？

ジェシー・チャン：素晴らしい質問です。創業者は、トピックを選ぶとき、トピックにとらわれないことが多いと思います。というのも、実際、新しい分野に入門するときは、たいてい素朴なものだからだ。そのため、新鮮な視点から物事を見ることには利点がある。ですから、私たちが構想を練るとき、制限のないトピックはほとんどありません。

私も含め、これは定量的なバックグラウンドを持つ人にはよくあるパターンだと思います。消費者向け製品を試した後、より具体的な問題を抱える企業向けソフトウェアに引き寄せられる傾向があります。

実際の顧客には実際のニーズや予算などがあり、それに合わせて最適化し、問題を解決することができます。コンシューマー市場も魅力的ですが、より直感的で、実験的なものではありません。私個人としては、企業向けソフトウェアの方がはるかに適しています。

キンバリー・タン:まずはこの質問からデカゴン今日扱われているサポートで最も一般的なカテゴリーは何ですか？これらの問題を解決するために大規模言語モデル（LLM）をどのように使っているのか、また、以前はできなかったことが今できるようになるかもしれないことについて詳しく教えてください。

ジェシー・チャン：以前の自動化を振り返ると、決定木を使用して、進むべき道を決定するような単純なことを行っていたかもしれません。しかし、私たちは皆チャットボットを使用したことがあり、それは非常にフラストレーションのたまる経験でした。

多くの場合、問題はデシジョンツリーでは完全に解決できません。そのため、結局は問題に関連するものの、まったく適合しない問題への道を案内されることになります。現在、大規模言語モデル（LLM）があります。LLMのマジックは、非常に柔軟で、多くの異なるコンテキストに適応でき、基本的なインテリジェンスを持っていることです。

これをカスタマーサポートに適用すると、あるいは顧客が質問したときに、よりパーソナライズされたサービスを提供できるようになります。これが最初のポイントで、パーソナライゼーションのレベルがはるかに高くなります。そうすることで、より高い評価基準が可能になります。より多くの問題を解決することができ、顧客はより幸せになり、顧客満足度は向上する。

次の自然なステップは、このインテリジェンスがあれば、人間ができることをもっとできるようになるということです。人間にできることは、リアルタイムでデータを引き出し、行動を起こし、複数のステップを経て推論することです。顧客が比較的複雑な質問をしてきた場合、それは「あれもこれもやりたい」そしてAIが処理できるのは最初の1つだけです。LLMは賢いので、ここに2つの問題があることを認識している。まず、最初の問題を解決し、次に2番目の問題を解決する手助けをします。

LLMが登場する以前は、これは基本的に不可能でした。LLMが登場したからです。

キンバリー・タン： この文脈でAIエージェントをどう定義しますか？の？というのも、"エージェント"という用語は非常に広く使われているからです。デカゴンこの文脈では、具体的にどのような意味があるのでしょうか？

ジェシー・チャン：エージェントは、複数のLLM(大規模言語モデル)システムが1つになって動作している。LLMの呼び出しは、基本的にプロンプトを送信し、応答を得ることによって行われます。エージェントでは、おそらく再帰的にでも、複数のこのような呼び出しを接続できるようにしたいでしょう。

たとえば、LLMコールがあるとします。これらの呼び出しは、より多くのデータをプルし、アクションを実行し、ユーザーが言ったことを繰り返し、フォローアップの質問もするかもしれません。私たちにとって、Agentは、LLM呼び出し、呼び出しと理解できます。API呼び出し、またはより良いエクスペリエンスを提供するために連携する他の論理ネットワーク。

キンバリー・タン： このトピックでは、あなたたちが実際に何を作っているのか、もっと話せるかもしれませんエージェントインフラストラクチャ。私が思う本当に興味深い点の1つは、AIエージェント、に関する多くのデモが市場に出回っていることです。しかし、本番環境で実際に一貫して機能する例はほとんどないと思います。そして、外から見て、何が本当で何がそうでないかを知るのは難しい。

あなたの考えでは、今日のAIエージェントは、どのような分野でうまくいっているのでしょうか？また、より堅牢で信頼性の高いものにするために、どのような分野で技術的なブレークスルーがまだ必要なのでしょうか？

ジェシー・チャン：AIエージェントが単なるデモなのか、それともAIエージェントが単なるデモなのかを判断する、私の見解は実は少し違います。「実際の仕事おそらくほとんどの人がほぼ同じテクノロジーを使っていると思うので、違いは完全に技術スタックにあるわけではありません。私たちが1年以上やっているように、会社の発展がさらに進めば、非常に特殊でユースケースに合ったものを作るようになると思います。

しかし、結局のところ、誰もが同じモデルにアクセスでき、同じようなテクノロジーを使うことができます。私は、AIエージェントが効果的に機能するかどうかの最大の差別化要因は、ユースケースの形にあると思います。最初はこれを知るのは難しいですが、振り返ってみると、AI Agentがデモを越えて実世界のアプリケーションに入るために重要な2つの属性があることがわかります。

1つ目は、解決しようとしているユースケース、ROI（投資収益率）が定量化可能でなければならないということです。もしROIが定量化できなければ、人々が実際に製品を使用し、それにお金を払うように説得するのは非常に難しいからです。私たちの場合、定量化可能な指標は、サポート依頼の何パーセントを解決したか、ということです。この数字が明確であれば、人々は-ああ、もっと解決してくれれば、その結果を現在費やしているもの、費やしている時間と比較することができる。ですから、その指標が利用できるのであれば、私たちにとって非常に重要なもう1つの指標は顧客満足度です。なぜなら、ROIを簡単に数値化できることで、人々は実際にそれを採用するからです。

2つ目の要因は、ユースケースがインクリメンタルでなければならないということです。最初にエージェントが超人レベルに達する必要がある場合、ほぼ100%のユースケースを解決する必要があります。使用ケースを解決することも、非常に困難です。ご存知のように、< span leaf="">LLM< span leaf="">は非決定論的であるため、ある種の不測の事態に備えた計画を立てる必要があります。幸いなことに、サポートユースケースの良い点の1つは、いつでも人間のカスタマーサービスに問題をエスカレーションできることです。たとえ問題の半分しか解決できなくても、それは人々にとって非常に価値のあることです。

ですから、サポートのユースケースには、AI Agentにぴったり合う機能があると思います。なぜAI Agentが役に立つのかを理解するために、よく見なくても印象的なデモを作成できる分野は他にもたくさんあると思います。しかし、最初から完璧でなければならないとしたら、それは難しい。もしそうだとしたら、それを試したり使ったりしたいと思う人はほとんどいないでしょう。なぜなら、完璧でないことの結果は、セキュリティの問題など、非常に深刻なものになりかねないからです。

例えば、人々がシミュレーションを行うとき、常に次のような古典的な考えを持ちます。もしLLMがこれを読めたら素晴らしいだろう。でも、と言う人がいるとは想像しにくい。span leaf="">AIエージェント、頑張れ。君ならきっとできる。一度でもミスをすれば、その結果は非常に深刻なものになりかねませんから。

ジェシー・チャン:。これは通常、クライアントに任されており、実際には多くのばらつきが見られます。ある極端な例では、エージェントを本当に人間に見えるようにする人もいて、人間のアバターがあり、人間の名前があり、反応が自然です。一方、Agentは、自分自身をAIと直接名乗り、それを明確にユーザーに伝えます。私たちが一緒に仕事をしている会社によって、これに対する立場は異なると思います。

規制された業界にいる場合、多くの場合、それを明確にしなければなりません。今面白いと思うのは、顧客の行動が変化していることです。というのも、私たちの顧客の多くが、"なんということでしょう、こんなにリアルに感じたチャット体験は初めてですというようなソーシャルメディア上のフィードバックをたくさん得ているからです。「それとも魔法みたいだった。span>。顧客もまた、AIの体験であれば、人間よりも実際に優れているかもしれないと学んでいるのだから。というのも、過去には、私たちのほとんどが、電話によるカスタマーサービスを経験してきたからだ。さて、AIは、人間よりも優れているかもしれない。AI、AI...

。キンバリー・タン:パーソナライゼーションのコンセプトについて何度か触れましたが、1階では同じ技術的なアーキテクチャを使っていても、サポートサービスに関してはパーソナライゼーションのニーズが異なるということですね。それについて少しお話いただけますか？具体的には、オンラインの人々に"今までで最高のサポート体験だ！うわぁ、これは今までで最高のサポート体験だ！?

ジェシー・チャン：私たちにとって、パーソナライゼーションはユーザーをカスタマイズすることから生まれます。ユーザーの背景情報を知る必要があります。次に、クライアントのビジネスロジックを理解する必要があります。この2つを組み合わせれば、かなり良いエクスペリエンスを提供することができます。

明らかに、これは簡単に聞こえますが、実際に必要なコンテキストをすべて取得するのは非常に困難です。ですから、私たちの仕事のほとんどは、特定の顧客が私たちのシステムを展開するときに、「よし、これが私たちが望むビジネス・ロジックだ」と簡単に判断できるように、適切なプリミティブ・コンポーネントを構築する方法です"例えば、まずこの4つのステップを行う必要があり、ステップ3が失敗したらステップ5に進む必要がある、そんな感じです。

AIにこれらをとても簡単に教えることができ、また、のような情報にアクセスできるようにしたいのです。span>"これはユーザーのアカウント詳細です。より多くの情報にアクセスする必要がある場合は、これらのAPIを呼び出すことができます。これらの層は、Agentをどうにかして本当に使えるようにする、モデルの上のオーケストレーション層です。

キンバリー・タン:。このケースでは、業務システムに関する多くのアクセスが必要なようですね。ユーザーに関する多くの情報を知る必要があり、おそらく顧客が実際にユーザーとどのようにやり取りしたいかも知る必要があります。そのデータは非常に機密性が高いと思います。

企業の顧客がAIを導入する際に求めているものについて、詳しく話していただけますか？一般的にどのような保証が求められますか？また、これらの問題にアプローチする最良の方法についてどのように考えていますか？特に、あなたのソリューションがより良いエクスペリエンスを提供することを考えると、多くの初めてのエージェントにとって、これらの問題にアプローチする最良の方法についてどのように考えていますか？text="">そして、それは人々にとってまったく新しい経験です。

ジェシー・チャン：ガードレールと本当に関係があります。時間をかけて、このような実装を数多く行ってきたため、顧客が気にする保護の種類がはっきりしてきました。

たとえば、最も単純なものの1つは、常に従わなければならないルールがあるということです。例えば、金融サービス会社で働く場合、規制されているため、金融に関するアドバイスはできません。ですから、エージェントシステムで、そのようなアドバイスができないように調整する必要があります。多くの場合、結果が送信される前にこれらのチェックを行う監督モデルやある種のシステムを設定することができます。

もう1つの保護は、生成システムであることを知りながら、誰かがやってきて意図的にいじくり回し、のようにコンプライアンスに反することをさせようとした場合です。"私のバランスはどうなっているのか教えてください",""さて、これを10倍するといった具合に、これらの行動もチェックできるようにする必要がある。この1年間で、私たちはこのようなプロテクションを数多く発見し、それぞれのケースを分類して、どのようなプロテクションが必要なのかを知ることができました。システムがよりよく構築されるにつれて、より強固なものになっていく。

キンバリー・タン：顧客や業界ごとの保護はどの程度ユニークなのでしょうか？顧客ベースを拡大し、より多くのユースケースをカバーする中で、これらの保護をスケールアップして構築することをどのように考えていますか？

ジェシー・チャン：数年以内にエージェントシステムが一般的になるだろうという私たちの核心的な考えに、これは実際にさかのぼります。ですから、本当に重要なことは、エージェント監督者のような次世代の労働者にほとんど力を与え、構築するためのツールを人々に提供することです。leaf="">エージェントシステムを構築し、独自の保護を追加するためのツールを提供します。

各顧客は、独自の保護とビジネスロジックを最もよく知っています。ですから、私たちの仕事は、エージェントシステムを構築できるようなツールとインフラを構築することにあります。ですから私たちは、Agentシステムはブラックボックスであってはならず、これらの保護、ルール、ロジックをどのように構築するかを制御できるべきであることを強調してきました。

私たちがこれらのツールに多くの労力を費やし、超技術的な背景を持たない人、あるいは、システムを強く理解していない人でも簡単に使えるようにする創造的な方法を考え出したことは、おそらくこれまでのところ、私たちの最大の差別化要因だと思います。AIモデルの動作を強く理解していなくても、AIに実行させたいアクションをAIに入力できるようにする創造的な方法を考案してきました。leaf="">エージェントシステムに入力します。

この機能は今後ますます重要になると思います。もし人々が同様のツールを評価するのであれば、これは最も重要な基準の1つになるはずです。

自然言語駆動のビジネスロジック

デリック・ハリス:顧客または企業どのような種類のオートメーション、特にこのエージェントシステムを使用するための準備として何ができるでしょうか？たとえば、そのようなシステムをサポートできるように、データシステム、ソフトウェアアーキテクチャ、ビジネスロジックをどのように設計すればよいのでしょうか？

多くのAIテクノロジーは、最初は斬新なものだと感じますが、既存のレガシーシステムに入ると、多くの混乱が生じます。

ジェシー・チャン:。今、誰かがゼロから構築している場合、仕事を楽にするベストプラクティスがたくさんあります。たとえば、ナレッジベースの構築方法です。私たちはこれについて少し書き、AIが情報を取り込みやすくし、その精度を向上させる方法をいくつか説明しました。具体的な提案の1つは、複数の回答を含む大きな記事ではなく、知識ベースをモジュール式のセクションに分割することでした。

APIをセットアップする際、より適したものにすることが可能です。エージェントシステムが、答えを見つけるために多くの計算をする必要なく、情報を簡単に取り込むことができるように、許可と出力を設定します。これらは戦術的なステップの一部ですが、エージェントシステムを使うために必ずやらなければならないことがあるとは言いません。

デリック はりs:優れたドキュメンテーションは常に重要であり、基本的に情報を効果的に整理することです。

キンバリー・タン。あなたたちが人々にチャンネルを合わせる方法を教えようとしているように聞こえるエージェントシステムを顧客や特定のユースケースに最適な方法で動作させるには、UIUXデザインに関する多くの実験が必要かもしれません。.

気になるのですが、みなさんはこれについてどう思いますか？エージェント好みの世界では、UIそしてUXはどうあるべきか？のようになるのでしょうか？今後数年でどのように変化すると思いますか？

ジェシー・チャン：問題を解決したとは言えません。現在のクライアントにとって局所的に最適な解決策を見つけたかもしれませんが、私たちにとっても、他の多くの人にとっても、これはまだ進行中の研究分野です。

核心的な問題は、エージェントシステムがあるという、前に述べたことに帰着します。まず第一に、それが何をしているのか、どのように意思決定をしているのかをどのように明確に見ることができるのでしょうか？そして、その情報を使って、何を更新する必要があり、どのようなフィードバックをAIに与えるべきかを決定するにはどうすればよいでしょうか。これらはUI要素が収束する場所であり、特に2番目の部分です。

私たちは、時間の経過とともに、UIとUXが収束していくと考えています。leaf="">UXはますます自然に言語化されていくでしょう。なぜなら、それがエージェントシステムが考える方法だからです。="">LLMs）のトレーニングは基本的にそれに基づいている。

限定的な観点から言えば、超知的なエージェントがいれば、それは基本的に人間のようなものです。人間のようなもので、物事を見せたり、説明したり、フィードバックを与えたりすれば、それは自分の心の中にいることになる。span leaf="">で更新されている。とても有能な人があなたのチームに加わり、あなたが彼に何かを教え、彼は仕事を始め、そしてあなたは彼にフィードバックを与え続け、新しいもの、新しい文書、図などを見せることができると想像できます。

限界では、このような方向に進むと思います：物事はより会話的になり、より自然言語に基づくようになり、人々は過去のように欲しいものを捕らえる複雑な決定木でシステムを構築することはありません。しかし、そのようなアプローチは崩壊しやすい。以前はLLMがなかったので、そうしなければなりませんでしたが、エージェントシステムがますます強力になるにつれて、LLMを使用しなければならなくなりました。span leaf="">UIとUXはより会話的になるでしょう。

キンバリー・タン:1年ほど前のことですデカゴン始まった当初は、LLMは多くのユースケースに非常に適用できると広く信じられていましたし、実際、いくつかのいわゆる「GPTラッパー"、つまり、APIを通すだけでよい。サポート問題を即座に解決するベースモデルへの呼び出し。

しかし、のようなシステムを使用することを選択する企業があることは明らかです。Decagonのようなシステムを使用することを選択する企業では、そのようなアプローチに直行するのではなく、そうでないことが証明されています。その理由を説明していただけませんか？インハウスを構築する際に直面する課題を、予想以上に複雑なものにしているのは一体何なのでしょうか？コンセプトに対する誤解は何なのでしょうか？

ジェシー・チャン：GPTラッパー。は間違いではなく、PurcellはAWSラッパーである、とかいう言い方もできる。通常、人々がこの言葉を使うとき、それは侮蔑的な意味を意味する。

私の個人的な意見としては、エージェントシステムを構築する場合、定義上、間違いなくAWSを活用することになると思います。LLMをツールとして活用することになります。AWSやGCPに基づいて構築するのと同じように、すでにあるものを基に構築しているのです。

しかし、本当に問題になるのは、LLMで十分なソフトウェアを構築しない場合です。leaf="">"重い、または違いを生み出すほど複雑ではありません。

私たちにとって、振り返ってみると、私たちが売っているのは基本的にソフトウェアです。LLMをソフトウェアの一部として、またツールの1つとして使っていることを除けば、私たちは本当に普通のソフトウェア会社と同じです。しかし、人々がこのような製品を購入するとき、主にソフトウェアそのものが欲しいのです。彼らは、AIを監視できるツールを求めており、AIすべての会話の詳細を深く掘り下げることができることを望んでいます。システムを継続的に構築し、調整することができる。

それが私たちのソフトウェアの核心です。Agentシステム自体でも、人々がぶつかる問題は、デモを行うのはクールだが、本番に対応させ、本当に顧客と向き合おうとするなら、を防ぐなど、多くの長年の問題を解決しなければならないということです。「幻覚現象や、大混乱を引き起こそうとする悪質な行為者への対処など、多くの長年の問題を解決しなければなりません。私たちはまた、遅延が十分に低いこと、トーンが適切であることなどを確認する必要がありました。

私たちは、いくつかの実験を行い、初期バージョンを構築した多くのチームと話をしました。ああ、それは本当だ、私たちは後の段階でこれらの詳細を構築し続けるような人間にはなりたくない。< span leaf="">"また、カスタマーサービスチームに常に新しいロジックを追加し続けるような存在にもなりたくない。ですから、この時点では、他の人と協力するという選択肢の方が適切だと思われます。

キンバリー・タン:悪質業者への対処の必要性など、長年の課題についても言及されましたね。リスナーの多くは、AIエージェントの使用を検討しているとき、を導入することを懸念していると思います。LLMが新たなセキュリティ攻撃経路につながるか、エージェントを導入することを懸念しています。システムは新たなセキュリティリスクをもたらすかもしれません。このような問題をどのようにお考えですか？また、エージェントを扱う際に、トップクラスの企業セキュリティを確実に維持するためのベストプラクティスは何でしょうか？

ジェシー・チャン?セキュリティーに関しては、以前にも述べたように、保護が必要であるなど、明らかな対策があります。核心的な問題は、LLMの懸念は、決定論的ではないということです。

しかし、良いニュースは、APIを呼び出すことになると、実際には、機密で複雑な操作のほとんどを決定論的な壁の後ろに置くことができるということです。= "">を呼び出す場合、計算はそこで行われます。つまり、LLMに完全に依存することなく処理できるため、多くのコア問題を回避できます。

しかし、例えば、悪質な行為者が妨害したり、誰かがシステムを幻覚化しようとしたりする状況は依然として存在します。私たちが一緒に仕事をしている多くの大手顧客では、セキュリティ・チームが中に入って、基本的に私たちの製品に対してレッド・チームを行うことを確認しています！「テストに何週間も費やし、脆弱性を見つけようとして、システムに対してありとあらゆる攻撃を仕掛け続けます。AIエージェントがより一般的になるにつれて、このような光景を目にする機会はますます増えていくでしょう。システムが効果的かどうかをテストする最善の方法の1つは、レッドチームテストを経て、防御を突破できるかどうかを確認するために何かを投げつけることだからです。

また、レッドチーム・ツールを開発したり、この種のテストを自分で行えるようにしたりする新興企業も出てきています。私たちが一緒に仕事をしている企業の多くは、販売サイクルの後期になると、自社のセキュリティ・チームを持つか、外部のチームと協力してシステムのストレス・テストを行います。私たちにとって、そのようなテストに合格することは必須条件です。つまり、最終的にはこうなる。これは顧客に勧めていることですか？私たちがAILLMアプリケーションのユーザーとアプリケーションを実行する人々に責任を負わせることの重要性を強調しました。単にモデルそのものを非難するのではなく、アプリケーションを実行する人々について。つまり、ユーザーはレッドチームテストを実施し、特定のユースケースと攻撃経路を特定し、OpenAIあるいは、すでにセキュリティを導入している他の企業に頼るのではなく、保護する必要がある脆弱性を決定するのです。