アップル、オープンソースの言語モデルOpenELMをリリース

WWDC24に先立ち、アップルはHugging Faceプラットフォーム上で「オープンソースのトレーニングと推論フレームワークによる効率的な言語モデル」をリリースした。OpenELMと呼ばれるオープンソースの言語モデルで、そのソースコードは、事前にトレーニングされたモデルの重みとトレーニングレシピとともに、アップルのGithubリポジトリで公開されている。 OpenELMは、Transformerモデルの各レイヤーに効率的にパラメータを割り当てるために、階層的なスケーリング戦略を使用し、それによって精度を向上させると説明されている。例えば、約10億個のパラメータを使用した場合、OpenELMはOLMoと比較して2.36％の精度向上を達成し、事前訓練されたトークンの数は50％しか必要としない。 モデルの重みと推論コード、およびプライベートデータセットでの事前トレーニングのみを提供していた以前のリリースとは異なり、Appleのリリースには、トレーニングログ、複数のチェックポイント、および事前トレーニング設定を含む、パブリックデータセットでの言語モデルのトレーニングと評価のための完全なフレームワークが含まれています。 さらに、Appleデバイス上での推論と微調整のために、モデルをMLXライブラリに変換するコードも公開された。この完全なリリースは、オープンリサーチコミュニティを強化・強化し、将来のオープンリサーチへの道を開くことを目的としている。(ITハウス)