「Liquid AI、新型LFMモデルで業界巨頭を圧倒！」
Liquid AIは、新しいLiquid Foundation Models（LFMs）を発表しました。これらのモデルは、従来のトランスフォーマーモデルとは全く異なるアーキテクチャを採用しています。トランスフォーマーモデルは、Vaswaniらの2017年の論文「Attention is All You Need」で紹介されていますが、LiquidのLFMsは第一原理から構築されています。
LiquidのLFMsは、LFM 1.3B、LFM 3B、LFM 40 MoEの3種類があります。MoEは「Mixture of Experts」を意味し、Bはパラメータの数を示しています。Liquidは、LFMsが他の大規模言語モデルと比較して、より少ないメモリで優れた性能を発揮すると主張しています。特に、LFM 1.3BはMetaのLlama 3.1-8BやMicrosoftのPhi-3.5 3.8Bを複数のベンチマークで上回りました。
LFMsの主な利点は、長いコンテキストの処理中でもメモリ使用量が大幅に増加しない点です。これにより、大量の逐次データ処理が必要なアプリケーションに最適です。LiquidのLFMsはオープンソースではなく、Liquidの推論プレイグラウンドやLambda Chat UI、API、Perplexity AIを通じてのみアクセス可能です。
Liquid AIは今後もAI技術の進歩に貢献するため、研究成果や技術レポートを公開すると述べています。しかし、現時点ではモデルをオープンソース化する予定はありません。Liquidの創業者であるDaniela Rus、Mathias Lechner、Alexander Amini、Ramin Hasaniは、液体ニューラルネットワークの先駆者として知られています。
Liquid AIは昨年末にステルスモードを終了し、二段階のシードラウンドで3750万ドルを調達し、評価額は3億300万ドルに達しました。AI市場で急速に革新を続けるLiquidのAIモデルは、新たな競争環境の中で注目を集めています。
Liquid Foundation Modelsって、新しいAIの技術みたいだけど、
一体どんなメリットがあるの？
トランスフォーマーモデルと何が違うんだ？
全然わかんないんだけど!
Liquid Foundation Models（LFMs）は
新しいアーキテクチャを採用しているので
従来のトランスフォーマーモデルよりも
少ないメモリで優れた性能を発揮します。
長いコンテキストの処理中でも
メモリ使用量があまり増えない点が
大きな違いです。
ユータ君、
Liquid Foundation Models (LFMs) の大きなメリットは、従来のトランスフォーマーモデルとは異なるアーキテクチャを採用している点にあります。
従来のモデルでは、特に長いコンテキストを処理する際にメモリ使用量が増加しやすいですが、LFMsはその点で非常に効率的です。
具体的には、LFMsは「Mixture of Experts」アーキテクチャを使用し、複数のベンチマークで他の大規模言語モデルを上回る性能を発揮しています。
これにより、たとえば長文処理が必要なアプリケーションなどでは、より少ないメモリで高速かつ効率的に対応できます。
Liquid AIのモデルはオープンソースではありませんが、APIやUIを通じてアクセス可能です。
この新技術がAIの進化にどれほど寄与するか、今後も注視すべきですね。
