次世代AIの進化が止まらない！「Llama 3」で変わる未来の生活とは？
- Meta社の大規模言語モデル「Llama 3」が登場
- 既存の「Llama 1」「Llama 2」を超える性能
- 「Llama 3」は今後、更に進化する可能性
Meta社が開発した最新かつ最も高度な大規模言語モデル、Llama 3が発表されました。このモデルは、質問応答、要約、翻訳、プログラミングなど幅広いタスクで人間のようなテキストを理解し生成することに優れています。現在、Facebook、Messenger、Instagram、WhatsAppなどに組み込まれたAIアシスタントで利用されています。
「Llama 3 8B」「Llama 3 8B-Instruct」「Llama 3 70B」「Llama 3 70B-Instruct」という4つのバージョンがリリースされ、それぞれ8Bが80億パラメータ、70Bが700億パラメータを持ちます。「Instruct」バージョンは人の指示に特に忠実に従うため、チャットボットとしての使用に適しています。
なお、Metaは4000億パラメータを持つ「Llama 3」のバージョンを2024年にリリースすることを計画しています。このモデルは、公開されているソースから15兆以上のトークンで訓練されており、これは「Llama 2」と比べて約7倍となっています。また、新しいトークナイザーを使用しており、以前の32,000トークンから改善された128,256トークンの語彙を備えています。
比較的小さなパラメータサイズにもかかわらず、言語理解の度合いは高く、「Llama 3 8B」は66.6 MMLU、「Llama 3 70B」は79.5 MMLUのスコアを記録しています。ただし、1兆パラメータを有する
ただしテキストのみを理解することに限られており、画像や動画、オーディオといった他のメディアは扱えません。さらに、主に英語に焦点を当てており、多言語の能力はまだ開発中です。
Llama 3に関する議論もあります。Metaはモデルの重み、コード、一部のトレーニングデータを公開していますが、700億回以上月間アクティブなユーザーを持つ企業はMetaからの商用ライセンスを取得する必要があります。この制約に対し、オープンソースの原則に違反しているとの指摘もあります。
えっと、そのLlamaっていうのは、チャットボットとかに使うってこと? それってどんな便利なことがあるの?
はい、Llamaはチャットボットにも使われていて、自然な会話を生成することができるんですよ。例えば質問に答えたり、翻訳や要約も上手にできるので、私たちのコミュニケーションがもっとスムーズになります。それに、「Instruct」バージョンは指示に特に忠実なので、より正確な対話が期待できるんです。
確かに、そのLlamaっていうのはすごいんだよ。Meta社が作った新しい言語モデルで、人間みたいにテキスト理解して生成することができるんだ。FacebookとかInstagramに入ってるAIアシスタントで使われているやつさ。
で、いくつかバージョンがあって、8Bと70Bのパラメータサイズがあるんだけど、「Instruct」っていう特別なバージョンは、私たちの指示にめちゃくちゃ忠実に動くから、チャットボットとして便利なんだよ。だから、普段使ってるSNSとかで自然な返事がもらえるわけ。
それに、Metaはもっと大きな4000億パラメータのバージョンも作るって計画してるらしいから、これからさらに便利になるってことだね。ただし、まだテキストだけの理解で、画像や動画は対応してないけどね。それと、主に英語中心だから、そこはこれからの課題になるんじゃないかな。
Llama3については、Metaが色々情報公開してるけど、商用で使いたい企業はライセンス取得が必要みたいだから、オープンソースの原則とは少しズレがあるかもしれないね。
とにかく、これがどう進化していくかは、注目されるポイントだよ。
