ソース:Higress
01
OneAPI は、オープンソースのホスティング・プラットフォームである GitHub 上で 20,000 個のスターを持つ AI ゲートウェイ・ツールですが、最新バージョンのイメージをインストールすると一定の割合で CPU[html?最新バージョンのイメージをインストールすると、一定の割合でCPU[1]が消費されることに気づいたユーザーによって発見されました。
最終的に、DockerHubのミラーは、XMR Monroeマイニングスクリプトをミラーに仕込むことで汚染されており、CPUが高負荷になる原因となっていることが判明しました:
現在のところ、DockerHub によるシークレットのプッシュ が遅延の原因であることが確認されています。span>ハッカーが複数のミラー版にマイニングスクリプトを仕込むきっかけとなったキーリーク:
熱い暗号通貨市場のため、マイニングスクリプト関連のセキュリティ事件も増加しています。ハッカーが人気のあるオープンソースプロジェクトのDockerHubリポジトリに侵入しようとしています。
パロアルトネットワークスのセキュリティ研究者であるアビブ・サッソン(Aviv Sasson)氏は、2000万回ダウンロードされたマイニング用トロイの木馬が埋め込まれた30のDockerイメージを発見しました。これは、ハッカーが20万ドル相当の暗号通貨を採掘するのに役立ったと推定されています。
マイニングスクリプトが埋め込まれたDockerイメージは、孤立した現象ではなく、真剣に取り組む必要のあるセキュリティ問題です。-read-ignore="true">2.1. DockerHubDockerHubは世界最大のコンテナイメージホスティングサービスで、ソフトウェアベンダーやオープンソースプロジェクトからの10万以上のコンテナイメージを提供しています。
コンテナイメージは、ソフトウェアとその実行環境の完全なパッケージです。インストール時の複雑な設定プロセスが不要になります。
コンテナ・イメージ・ホスティング・サービスは、ソフトウェアのコンテナ・イメージを保存および共有するためのオンライン・プラットフォームです。これは、さまざまなソフトウェア パッケージを備えた、アプリの「大型ショップ」と考えてください。
DockerHubは無料なので、多くのオープンソースソフトウェアプロジェクトがここでコンテナイメージを公開することを選択しています。これにより、ユーザーは簡単にこのソフトウェアを入手、インストール、使用することができます。
2.2. AIゲートウェイ
トロイの木馬でハッキングされたOneAPIは、オープンソースのAIゲートウェイツールです。
AIベンダーの数が増えるにつれ、LLMモデルの機能は収束してきました。使用されているさまざまなニーズに対応するため、AIゲートウェイと呼ばれるツールが登場しました。このツールは、統一された方法でユーザーの質問を受け取り、処理のために異なるLLMモデルに転送することができます。
AIゲートウェイを使用するためのいくつかの一般的な使用シナリオがあります:
サービス全体の安定性を向上させる:1つのモデルに問題が発生した場合、別のモデルに切り替えることができます。
コストを削減する: 高価なモデルを、ChatGPTの代わりにDeepSeekを使用するなど、必要に応じて安価なモデルに置き換えることができます。ul>また、この切り替えはユーザーには感知できず、使用体験に影響はありません。AIゲートウェイを通じて、様々なモデルリソースをより柔軟かつ効率的に活用することができる。そのため、AIアプリケーション開発者に広く採用されています。
03 同様のリスクを防ぐ方法
03 同様のリスクを防ぐ方法
この記事の著者は、同じくオープンソースのAIゲートウェイ・プロジェクトであるHigressのメンテナンス・メンバーの一人です。OneAPIを追っているうちに、この問題に遭遇しましたので、このようなリスクを防ぐためのHigressの経験を共有したいと思います。
Higressは、AliCloudによって開発されたオープンソースのゲートウェイソフトウェア[1] です。AIゲートウェイのみをサポートするツールであるOneAPIとは異なり、HigressはAPIゲートウェイ機能の上にAIゲートウェイ機能を構築し、個人的なプロジェクトではなく、AliCloudのAPIゲートウェイ商用製品を支える研究開発チームによって保守されている。
HigressはイメージストレージにAliCloud Container Image Serviceを使用しており、独自の公式Helmリポジトリ(K8s環境のパッケージ管理)を持っている。
DockerHub app.text="">2 つ目のポイント、そしてオープンソースのイメージポイズニングを防ぐための核心は、次のスクリーンショットに示されています:
AliCloud Containerをベースとしたイメージサービスのクラウドネイティブなデリバリーチェーン機能により、イメージがプッシュされた直後に悪意のあるスクリプトをスキャンすることができ、リスクが見つかった場合はイメージを即座に削除することができます。
各新規リリースが人に頼らず自動化され、Higressコミュニティが各リリース後にGitHub Action経由でコンテナイメージとインストーラを自動的に作成し、イメージリポジトリキーがGitHub Secretに保存されることも重要です。イメージリポジトリキーはGitHub Secretストアに基づく。リリースへのアクセスはコミュニティ内の他の共同作業者に与えることができますが、イメージリポジトリへのパスワードを提供する必要はありません。
04 どのようにするのか?似たようなリスクを素早く防ぐ ハイグレスAIゲートウェイを体験する
ハイグレスAIゲートウェイは、1行のコマンドインストールをサポートしています:
または、このステップをスキップして、Higressのコンソールで対応するベンダーのAPIキーを設定することもできます。
一度設定すれば、OpenAIのSDKなどで直接使用することができます:
import json
from openai import OpenAI
client = OpenAI(
api_key=xxxxx, # ? APIキーの二次サブレットは、Higress
base_url="http://127.0.0.1:8080/v1"
)
completion = client.chat.completions..create(
# model="qwen-max",
# model="gemini-1.5-pro",
model="deepseek-chat", # ? 任意のモデル名を記入できます。Higressはモデル名に基づいて対応するプロバイダにルーティングします
messages=[
{"role": "user", "content": "hello"}
# model="deepseek-chat", # ?nbsp; ],
stream=True
)
for chunk in completion:
print(chunk.choices[0].delta)
各モデルと各コンシューマーのトークン消費と呼び出し待ち時間は、モニターパネルで確認できます:
APIキーガバナンス:以下の設定をサポートします。APIキープール:マルチキーバランシングを実現するためのAPIキープールの設定をサポートし、APIキーはフローが制限されるなど利用できない場合に自動的にブロックされ、利用可能になると自動的に回復します。
コンシューマー管理:実際のサプライヤーAPIキーを呼び出し元に公開することなく、APIキーの二次サブリースを実現するコンシューマーを作成できます。
フード付きモデル:フード付きモデルの構成をサポートします。たとえば、DeepSeekモデルへのリクエストが失敗したときに、OpenAIモデルに自動的にダウングレードします。
モデル グレースケール: モデル スムージング スケーリング グレースケールをサポートします。です。
Higressのプラグインマーケットプレイスには、キューワードテンプレート、AIキャッシング、データ無感覚化、コンテンツセキュリティなど、すぐに使えるプラグインが他にもたくさんあります:
プラグインのコードもすべてオープンソースで、独自のプラグインの開発をサポートしています。これは、長い接続を切断することなくリアルタイムセッションを行うRealTime APIなどのシナリオに非常に適しています。