Microsoftは、大規模言語モデル(LLM)の能力の多くを備えながら、サイズが小さく、少ないデータで学習できる新しいクラスの小型言語モデル(SLM)「Phi-3」ファミリーを発表しました。
Phi-3モデルは、Microsoftの研究者が開発した革新的なトレーニング手法により、同サイズや1つ上のサイズのモデルを上回る性能を発揮します。
以下で詳しく解説していきます。
Phi-3-miniは何がすごい?
公開されたPhi-3-miniはどういった点で優れているのでしょうか。
以下では新たに公開された小規模言語モデル (SLM) や既存の大規模言語モデル(LLM)との違いなどを解説します。
小規模言語モデル (SLM) を開発
Phi-3モデルは、Microsoftの研究者が開発した新たなトレーニング手法により、同サイズや1つ上のサイズのモデルを上回る性能を発揮しています。
つまり、少ないリソースでより高い性能が得られるということです。
Phi-3ファミリーの最初のモデルである「Phi-3-mini」は、3.8億のパラメータ(モデルの調整可能な変数)を持ち、Microsoft Azure AI Model CatalogやHugging Face、Ollamaで公開されます。
パラメータ数が多いほどモデルの表現力が高くなりますが、Phi-3-miniは2倍のサイズのモデルよりも優れた性能を示しています。
また、より大きなモデルであるPhi-3-small(70億パラメータ)とPhi-3-medium(140億パラメータ)も近日中に提供される予定です。
小規模言語モデル(SLM)と大規模言語モデル(LLM)の用途の違いは?
SLMは、シンプルなタスクに適しており、リソースが限られている組織でも使いやすく、特定のニーズに合わせて微調整することができます。
一方、LLMは、高度な推論や複雑なタスクの調整が必要なアプリケーションに適しています。
しかし、これはLLMからSLMにシフトする、LLMの方が優れているといったものではなく、適材適所でLLMとSLMが使い分けられると言えるでしょう。
小規模言語モデル(SLM)の登場による新たな可能性とは?
小規模言語モデル(SLM)の登場により、これまでAIを活用できなかった場面でも、より手軽にAIを利用できるようになると期待されています。
例えば、ネットワーク接続が不安定な環境でもAIを活用できるようになったり、生成の速度が大幅に向上するなどです。
これまではある程度のスペックがないと、生成AIを利用できなかったのが、よりスペックや場所、通信環境を選ばずに利用できるようになるでしょう。
いつから利用可能?
Phi-3-mini (3.8億パラメータ) Phi-3ファミリーの最初のモデルであるPhi-3-miniは、発表と同時に以下のプラットフォームで利用可能になりました。
- Microsoft Azure AI Model Catalog
- Hugging Face
- Ollama
より大きなモデルであるPhi-3-smallとPhi-3-mediumは、近日中にMicrosoft Azure AI Model Catalogなどで提供開始予定です。ただし、具体的な日付は明記されていません。