次世代AI革命!Ai2がTülu3-405Bモデルを発表しオープンソースを加速する!

- Allen Institute for AI (Ai2)が新たにTülu3-405Bを発表
- 4050億パラメータを有し、DeepSeek-V3を上回る性能を示す
- 数学的推論や安全性のベンチマークでGPT-4oと競合
- 新たなトレーニング手法「RLVR」を採用
- 研究者向けにオープンソースとして提供
このたび、Allen Institute for AI(Ai2)が新しいAIモデル「Tülu3-405B」を発表した。
このモデルは4050億パラメータを有し、数学的推論や安全性においてDeepSeek-V3を上回る性能を持つことが確認されている。さらに、OpenAIのGPT-4oとも競合できるとされている。
Tülu3-405Bの開発に際しては新しいトレーニング手法「Reinforcement Learning with Verifiable Rewards (RLVR)」が採用された。この手法は、解答が確認できる問題、特に数学問題の解決においてスキルを向上させることが独自性をもたらしている。
Ai2の評価によれば、Tülu3-405Bは、他のあらゆるオープンソースのポストトレーニングモデルよりも優れた性能を発揮している。特に、同モデルは
MetaのLlama-405BやNous Hermes 3 405Bを超える結果を示した。
4050億パラメータモデルのトレーニングは非常に困難であり、256のGPUが32のノードで運用される必要があった。Ai2のエンジニアは、
「トレーニングには32ノード(256 GPU)が並行して稼働し、推論にはvLLMを用いて16-wayのテンソル平行化を行った」と報告している。
この過程で、NCCLのタイムアウトや同期の問題が生じることがあったが、注意深く監視し、対処する必要があったという。さらに、ハイパーパラメータの調整も難航し、「大規模モデルには低い学習率が必要」という原則に従った。
Tülu3-405Bは、単なる新しいオープンソースAIモデルのリリースではなく、モデルのトレーニングに関する重要な声明でもある。適切な方法でトレーニングを行うことで、より大きなモデルが効果的に能力を発揮できることを示唆している。
Tülu3-405Bは、研究者や開発者が自由に利用できるようにオープンソースとして提供されている。Google Cloudでホストされ、近くはVertexでも利用可能になる予定だ。このモデルのデモもAi2 Playgroundを通じて提供される。
えっと、このTülu3-405Bってやつ、そんなにすごいの?
どのくらい日常生活に役立つのか気になるんだけど!
それとも、使い方によっては危険なこともあるのかな?
Tülu3-405Bは、非常に高性能なAIモデルで、特に数学的推論に強いんです。
だから、研究や開発の現場で役立つ可能性が高いですよ。ただ、誤った使い方をすると、意図しない結果を引き起こすこともあるので注意が必要ですね。
例えば、生成された情報が不正確な場合などです。
最近発表されたTülu3-405Bは、特に数学的推論や安全性の性能が非常に高い新しいAIモデルです。
このモデルは4050億のパラメータを持ち、いくつかの先行モデルを超える実力があるとされています。
新たに採用された「RLVR」というトレーニング手法も、モデルの特性に大きく貢献しています。
開発には大規模なリソースが必要で、256のGPUを用いたトレーニングが行われた様子です。
オープンソースとして提供されることで、研究者たちが自由に利用できる環境も整っています。
ただし、使い方には注意が必要で、誤用が意図しない結果を招くことも考えられますね。
これからの研究や開発において、Tülu3-405Bの活用が期待されますが、その潜在能力を活かすためには、適切な利用が求められるでしょう。