ハーバードとグーグルの共同研究、次世代AIを育成するために100万冊の本を出版へ

ハーバード 同大学はグーグルと共同で、AIの訓練を進めるために100万冊のパブリックドメインの書籍からなるデータセットを公開した。

この多様なコレクションは、複数のジャンル、言語、そしてディケンズ、ダンテ、シェイクスピアのような象徴的な作家の作品にまたがっている。

このイニシアチブは、AIのトレーニングデータに関連する一般的な高コストに対処するもので、AI開発のイノベーションを促進するための貴重なリソースとなる。

テック・ジャイアンツがイニシアチブを支援

ハーバード・インスティテューショナル・データ・イニシアチブ（IDI）は、グーグルの広範なブックスキャン・プロジェクトから得られた包括的なデータセットを提供する画期的な取り組みを主導している、グーグル 本だ。

このコレクションは、チェコ語の数学の教科書からウェールズ語のポケット辞書まで、幅広いテキストに及んでおり、AIトレーニングのための豊富な知識を提供している。

当初3月に予告されていたIDIは、AIのためのリーガル・データのための信頼できるパイプ役を創設する計画を発表した。

ハイテク大手のマイクロソフトとオープンAI このイニシアチブは、大企業だけでなく、大規模な言語モデルを訓練したい研究所やAIの新興企業にも、高品質で一般にアクセス可能なデータを提供することを目的としている。

IDIのグレッグ・レッパート専務理事は、このデータセットは競争条件を公平にし、法外な研修費用に直面している中小企業の障壁を減らすことを目的としていると強調した。

また、データセットは品質と正確さを保証するために厳格な審査を受けていることを保証した。

さらなるリソースが必要

のポテンシャルを比較した。ハーバード データセットをオープンソースのLinuxオペレーティング・システムと比較した場合、その成功は、リソース、専門知識、そして彼が「魔法の一振り」と呼ぶ、このイニシアチブが挑戦しようとしている企業によるものの組み合わせにかかっていると指摘する。

このデータセットには、100万冊の本が含まれている。グーグル グーグル社の「ブック・プログラム」は、あらゆる本をスキャンするという、いまや野心的なプロジェクトの初期のデジタル・タイムカプセルと見る向きもある。

レパートはこのデータセットの可能性について楽観的で、新興企業と大企業の双方にとって貴重なリソースになると考えているが、Fudzillaのような批評家は、大手企業がジェネレーティブAI競争で優位を保つための微妙な方法だと見ている。

2022年11月のChatGPTの立ち上げは、同様のAIモデルを開発しようとする世界的な動きに火をつけ、これらのシステムを改良するためのデータに対する需要の高まりを生み出した。

しかし、このデータ・ハンガーは法的な懸念を引き起こし、ウォール・ストリート・ジャーナルやニューヨーク・タイムズといった大手出版社が訴訟を起こしている。オープンAI そして、同意なしにデータを使用したパープレックス。

AIの開発が加速する中、オープンアクセスと知的財産権のバランスは、依然として重要かつ論争の的となっている。