xAIがGrok-1のソースコードを正式公開

マスク氏の人工知能企業xAIは、3140億パラメータのハイブリッド・エキスパート・モデルGrok-1の重みとアーキテクチャを公開したことを発表した。Grok-1は、xAIがゼロからトレーニングした大規模な言語モデルで、重みの25％が与えられたトークンでアクティブになるハイブリッド・エキスパート・モデル・アーキテクチャを採用している。このモデルの基本的な重みとネットワークアーキテクチャは、Apache 2.0ライセンスの下で公開されている。