Mistral AI、GPT 3.5を上回るオープンな大規模言語モデル「Mixtral」をリリース

Decryptによると、パリを拠点とする新興企業Mistral AIは、オープンな大規模言語モデル（LLM）であるMixtralをリリースした。同社は最近、評価額20億ドルを主張し、ベンチャーキャピタルのアンドリーセン・ホロウィッツ（a16z）から大規模なシリーズA投資を受け、技術大手のNvidiaとSalesforceも参加した。 ミクストラルは、スパース混合エキスパート（MoE）と呼ばれる手法を使用しており、ミストラルによると、このモデルは前身のミストラル7bや、より強力な競合他社よりも強力で効率的だという。MoEは、開発者が複雑な問題を解決するために複数の仮想エキスパートモデルを訓練する機械学習技術である。各エキスパート・モデルは特定のトピックや分野について訓練されており、問題を促されると、モデルはエージェントのプールからエキスパート・グループを選び、どの出力がより専門知識に適しているかを決定する。 Mistral AIは、Mixtralは合計467億のパラメータを持つが、トークンあたり129億のパラメータしか使用しないため、129億のモデルと同じスピードとコストで入力を処理し、出力を生成できると主張している。同社はまた、MixtralはほとんどのベンチマークでLlama 2 70Bを6倍高速推論で上回り、ほとんどの標準的なベンチマークでGPT 3.5と同等か上回ると述べている。 Mixtralは、寛容なApache 2.0ライセンスの下でライセンスされており、開発者は自由にモデルを検査し、実行し、修正し、カスタムソリューションを構築することができます。しかし、Mistralは「オープンウェイト」のみをリリースしており、コアモデルのライセンスはMistral AIと競合するために使用することを妨げているため、Mixtralが100％オープンソースかどうかについては議論がある。このスタートアップは、オープンソースのプロジェクトでは当然のことである、トレーニングデータセットとモデル作成に使用されたコードを提供していない。 Mistral AIによると、Mixtralは英語以外の外国語でも非常にうまく動作するように微調整されており、フランス語、ドイツ語、スペイン語、イタリア語、英語をマスターしているという。Mixtral 8x7B Instructと呼ばれるインストラクション・バージョンもリリースされ、MT-Benchベンチマークで8.3という最高得点を獲得し、同ベンチマークで現在最高のオープンソース・モデルとなった。MixtralはHugging Faceからダウンロード可能で、ユーザーはオンラインでインストラクト版を使用することもできる。