IBM Think 2025で発表される次世代グラニットモデルの魅力を先行体験！
- IBMは、Granite 4.0 Tiny Previewをオープンソースコミュニティに発表した。
- このモデルは、IBMの新しい言語モデルファミリーの中で最も小型。
- 高い計算効率を持ち、消費者向けハードウェアで動作可能。
IBMは「IBM Think 2025」で、Granite 4.0 Tiny Previewの提供を開始した。
これはGranite 4.0ファミリーの中で最も小さなモデルの試作版である。
このモデルは、IBMのクラウドベースのデータおよび生成AIプラットフォーム「Watsonx」向けに設計されたAI基盤モデルの一つである。
Granite 4.0 Tinyは、FP8精度で非常にコンパクトかつ計算効率に優れている。
長いコンテキスト（128K）を持つタスクを複数のセッションで同時に実行可能であり、消費者向けハードウェア、特にGPUでも動作する。
部分的にのみ訓練されているにもかかわらず、既にIBM Granite 3.3 2B Instructに匹敵するパフォーマンスを提供している。
IBMは、Granite 4.0 Tinyの最終的な性能がGranite 3.3 8B Instructに達すると予想している。
今夏にはGranite 4.0 Tinyが正式リリースされる予定だ。
このモデルは、Apache 2.0ライセンスのもとでHugging Face上に公開される。
IBMの意図は、GPUリソースに制約のある開発者がこのモデルを試行できるようにすることである。
Granite 4.0は、従来のトランスフォーマーアーキテクチャではなく、新しいハイブリッドMoE（Mixture of Experts）アーキテクチャを採用している。
このモデルは7Bの総パラメータを持ち、推論時には1Bのパラメータのみがアクティブとなる。
Mambaモデルとの共同研究により、Granite 4の革新が実現した。
Mambaは2023年に導入された状態空間モデルで、トランスフォーマーと比較して効率性と速度に優れた特性を持つ。
従来のトランスフォーマーは計算コストがコンテキストに対して二次的にスケールするが、Mambaは一次的にスケールするため、計算リソースの効率が向上する。
この新たなアーキテクチャにより、Granite 4.0 Tinyは今日の言語モデルの中でも最もメモリ効率の良いものとなっている。
えっと、このGranite 4.0 Tinyって、どんなことができるの?
何がすごくて、俺たちの生活にどう役立つの?
それと、なんでこの新しいアーキテクチャが必要なの?
従来のモデルと何が違うんだろう?
このGranite 4.0 Tinyは、非常に計算効率が高いモデルで、
消費者向けのハードウェアでも動作可能なんです。
長い文脈を同時に処理できるので、
例えば、チャットボットやアプリでの対話がスムーズになりますよ。
新しいアーキテクチャは、計算リソースをより効率的に使うために必要なんです。
従来のモデルは計算コストが増えますが、
新しい設計では低コストで性能を保てるのが大きな違いです。
さて、Granite 4.0 Tinyについてお話ししましょう。
この新しいモデルは非常に小型でありながら、計算効率が高い特性があるんです。
消費者向けのハードウェアでも動作するため、開発者は手軽に最新のAI技術を試すことができるようになりますね。
特に長いコンテキストを処理できることが重要です。
例えば、複数のセッションでの対話をスムーズに行えますよ。
今後、正式リリースされることで、さらに多くの人々がこの技術を活用できる期待があります。
また、新しいハイブリッドMoEアーキテクチャを採用しており、従来のトランスフォーマーと比較して効率性が向上しています。
この設計により、計算コストを抑えつつ、パフォーマンスを保つことができるのです。
このように、Granite 4.0 TinyはAIの発展に大きく寄与するでしょう。
皆さん、これからも注目していきましょう！
