近年、FacebookやInstagramをはじめとするMeta社の製品群が、AI技術を駆使して急速に進化しています。
これらの進化の中心にあるのが、大規模言語モデル（LLM）や深層学習モデル「Transformer」などの最先端技術です。その最新の成果の一つが、「Llama2」です。この記事では、「Llama2」とは何か、どのように機能し、どれほどの可能性を秘めているのかを徹底解説します。
「Llama2」は、これまでのモデルを凌ぐ性能を示すベンチマークを得るなどで、AIの進化が新たなステージに突入したと多くの注目を集めています。
また、パラメータ数やトークンの取り扱い方にも注目が集まっています。本稿では、これらの技術的詳細に加えて、Llama2が日本語に対応しているかどうか、実際の使用方法やChatGPTとの比較に至るまで、幅広く詳しくご紹介します。
Llama2とは
概要
Llama2は、FacebookやInstagramを運営するMeta社が開発した大規模言語モデル（LLM）です。LLMは膨大な量のテキストデータで訓練されたAIモデルであり、人間レベルの文章生成、翻訳、質問応答など、様々なタスクを実行することができます。
Llama2はTransformerと呼ばれる深層学習モデルをベースに構築されており、以下の3つのモデルが提供されています。
- 70億パラメータモデル (7B)
- 処理速度が速く、軽量なモデル
- 短文生成や簡単な質問応答などに適している
- 130億パラメータモデル (13B)
- 70億パラメータモデルよりも高い性能と汎用性を持つ
- 長文生成や複雑な質問応答などに適している
- 700億パラメータモデル (70B)
- 3つのモデルの中で最も高い性能を持つ
- 創造的な文章生成や高度な質問応答などに適している
Llama2の性能は？
Llama2は前身のLlama1をはじめ他のLLMと比較し、多くの点で優れたパフォーマンスを示しています。たとえば、文章生成、翻訳、質問への回答、文章の創造性といったタスクにおいて性能向上がみられます。
また、LLMはパラメータ数が大きいほど計算リソースを要し、高性能なハードウェアが必要になります。ところが、700億パラメータのLlama2は1,750億パラメータのChatGPTに匹敵する性能を持つため、コスト面においても優れています。
Llama2の仕組みは？
Llama2の性能の高さは、その学習方法に由来します。事前学習したモデルを、入力プロンプトの意図に合う出力を得るためのSFTでファインチューニングし、さらに人間のフィードバックによるRLHFでさらにファインチューニングしていきます。
事前学習
学習コーパスから偏りやハルシネーションの元になるデータを除外し、事実に基づくデータを抽出し学習します。この事前学習データは2兆トークンにおよびます。
SFT（Supervised Fine-Tuning）
データセットの作成においては、アノーテーションをを行うベンダーやプラットフォームによってモデル性能が大きく異なることを指摘し、Meta社のデータは使用せずベンダーが作成した高品質なデータを使用しました。
RLHF（Reinforcement Learning with Human Feedback）
モデルの出力を人間が評価することで人間が好むデータを収集し、これをもってモデルに調整をかけていきます。このデータは報酬モデルの学習に使用され、学習したモデルにより自動でデータが作成されるようになります。
Llama2でできること
Llama2は、以下のような様々なタスクを実行することができます。
- 文章生成
- 翻訳
- 質問応答
- 要約
- 文章校正
- コード生成
Llama2はオープンソースであるため、これらのタスクを実現するシステムを低コストで開発することが可能です。Llama2をベースにした新しいサービスの創出が期待されます。
Llama2は日本語対応している？
Llama2は英語ベースのLLMであるため、出力は英語になります。日本語のプロンプトは理解しているようで、返される英語の回答は正しいことがあります。いずれにしろ、日本語で使うには実用性は低いといえます。
しかし、オープンソースであるためにLlama2をベースにした日本語LLMの開発も行われています。東大の松尾研究室発のAIスタートアップ「株式会社ELYZA」は日本語を学習した「ELYZA-japanese-Llama-2-13b」をオープンソースで発表しています。
Llama2の使用方法は？
Llama2は、Meta社のウェブサイトから無料で利用することができます。利用するには、以下の手順が必要です。
- 公式サイトで「Download models」を選択
- リクエストフォームに必要事項を入力
- 利用規約を読み「Accept and Continue」を選択
これによりモデルのダウンロードが可能になります。ただし、ダウンロードできるのはあくまでもコードなので、利用するにはPythonやGitHubなどエンジニアリングの知識が必要です。より詳細は公式ドキュメントを参照してください。
ChatGPTのような対話型AIツールを通してLlama2を使う方法は、次セクション「LLaMA2 Chatbotとは？」を参考にしてください。
Llama2 Chatbotとは？
Llama2 Chatbotは、Llama2をベースに開発されたAIチャットボットです。ユーザーとの自然な会話を通して、様々な情報の提供やタスクを支援を行ってくれます。
ただし、前述した通り、日本語で質問してもすべて英語での回答になります。日本語の質問をどの程度理解しているかも不明であるため、信頼に足る情報を得たい場合は質問にも英語を使用すべきです。
また、下図のような誤回答をみる限り、学習データが新しくないことも推測されます。
Llama2とChatGPTどちらが優れている？
Llama2とChatGPTは、どちらも高度な言語処理能力を持つLLMです。どちらが優れているかは、一概に判断することはできません。
実用性においては、現時点では日本語に完全対応しているChatGPTが優れていると言えます。しかし、性能や環境コストに関しては前述の通りLlama2の方が優秀ですし、日本語への対応状況によっては状況は変わってくると考えられます。
Llama2のまとめ
いかがでしたでしょうか？本記事では、Meta社のLLM「Llama2」について解説しました。
今回のポイントをまとめると、以下のようになります。
- 高性能であり他のLLMのライバルと注目されている
- 日本語には非対応だがオープンソースの利点を活かして日本語化が進められている
- ChatGPTのようなチャットボットをアカウント登録なしで使用可能
Llama2は従来のLLMと比較して高い性能と汎用性を備えており、今後さらに進化していくことが期待されています。オープンソースであることから、今後も注視すべき存在といえます。
- ChatGPTで〇〇を効率化したい
- スライドを作るならどのAIツールがおすすめ？
- おすすめのGPTsが知りたい
同じ悩みを解決した人がいるかもしれません。ぜひ質問してみてください！
