活性化関数とは？なぜ必要かと選び方をわかりやすく解説

AIやディープラーニングの解説でよく出てくる「活性化関数」。でも、「非線形」「勾配」「飽和」といった言葉が難しく、理解できた気がしない…という方も多いのではないでしょうか。

実はこの関数、ニューラルネットワークの中で“情報を通すか止めるか”を決めるスイッチのようなものです。どんな関数を使うかによって、学習の速さや精度、安定性が大きく変わります。

本記事を読めば、AI初心者でも活性化関数の仕組みと特徴がスッキリ理解でき、実務でどの関数を使うべきかを自分で判断できるようになります。

監修者プロフィール

森下浩志

日本最大級のAI情報プラットフォーム「romptn ai」編集長。著書に「0からはじめるStable Diffusion」「0からはじめるStable Diffusion モデル・拡張機能集編」など、AmazonベストセラーのAI関連書籍を多数執筆。AIにおける情報の非対称性を解消するための社内研修や出張講義も行う。

活性化関数とは？まず直感で押さえる

ニューラルネットワークは、入力されたデータを層ごとに変換して出力を導く仕組みです。
その中で活性化関数は非線形性を加える装置として機能します。

例えるなら、活性化関数は「直線しか描けないAI」に曲線を描く力を与える存在です。
これがあることで、画像・音声・文章のような複雑なパターンを学習できます。

また、活性化関数は重要な情報を通し、不要な情報を抑えるゲートとしても働きます。
小さな入力をゼロに近づけ、大きな入力を通すことで、学習が効率的に進むのです。

非線形が必要な理由

• 線形変換だけでは複雑な関係を学習できない
• 非線形を導入することで「条件によって変化する関係」を表現可能
• 活性化関数がなければ、層を重ねても単なる一次関数の延長になってしまう

ネットワーク内での位置づけと役割

活性化関数は「学習の安定性」を左右するパーツ。不適切な関数を選ぶと、勾配消失（学習が止まる）や勾配爆発（値が暴走する）を引き起こします。

主な活性化関数と性質で見る比較

活性化関数は、時代とともに「より滑らかで安定した学習」を目指して進化してきました。
以下では、主要な関数を3つの系統に分けて整理します。

① 旧来型：Sigmoid・tanh

• Sigmoid：出力0〜1の範囲。確率的解釈に向くが、勾配消失しやすい。
• tanh：出力−1〜1。ゼロ中心で安定するが、深い層では飽和しやすい。

深層モデルでは“勾配が途中で消える”問題を起こしやすく、現在では主に出力層で使われます。

② 現行標準：ReLU・Leaky ReLU・ELU

• ReLU（Rectified Linear Unit）：0以下を0に切り捨てる。高速で主流。
• Leaky ReLU：負の値にもわずかな傾きを持たせ、学習停止を防ぐ。
• ELU：負側を滑らかに処理し、出力をゼロ中心化。

シンプルで安定。現在でも「まず試す関数」として最有力。

③ 近年型：GELU・SiLU（Swish）・Mish

• GELU：入力を確率的に通す。BERTやGPTで標準採用（Google Research, 2019）。
• SiLU（Swish）：Sigmoid×xの滑らか関数。EfficientNetなどで利用（Google Brain, 2019）。
• Mish：精度が高いが計算コストが重く、研究段階。

これら“滑らか系”は勾配が安定し、特にTransformer系のモデルに適しています。

性質で比較

出力層の選び方

どの関数を選ぶべきか？（実務・トラブル別ガイド）

タスク別のおすすめ

• 画像処理（CNN・ViT）：ReLUまたはSiLU／GELU
• 言語モデル（Transformer）：GELU（標準）
• 表形式データ（MLP・TabNet）：ReLU／ELU（ノイズ耐性あり）

学習トラブル別チェックリスト

切り替え時の注意点

• 初期化法：ReLU系→He初期化、tanh系→Xavier初期化
• Batch Normalization：滑らか関数（GELU／SiLU）では省略可能
• 学習率：GELUへ切り替える場合は約20〜30％下げる

関数は単独で最適化するものではなく、「初期化・正規化・学習率」とセットで考えるのがポイントです。

図で見る：活性化関数の出力カーブ

以下は主要関数の出力イメージです。曲線の形が「情報の通し方」を直感的に示しています。

出力値 ↑
  1.0 ── Sigmoid（滑らかに0〜1）
   │      /
   │     /
  0 ────┼──────── ReLU（0以下を遮断）
   │   /
   │  /
 -1.0 ┴──────────── tanh（−1〜1で対称）
        入力値 →

観察ポイント

• 滑らかさ：勾配が途切れずに流れるか
• ゼロ中心性：出力が0を基準に分布しているか
• 負値処理：負の入力を完全に切っていないか

よくある誤解と注意点

誤解①：「関数を変えれば精度が劇的に上がる」

→ 精度はデータ・構造・最適化の総合結果。関数は“学習を安定させる潤滑油”。

誤解②：「ReLUは万能」

→ 深層層では“死んだReLU問題”に注意。Leaky ReLUやELUが有効。

誤解③：「関数だけで最適化できる」

→ 初期化や正規化との組み合わせで初めて効果が発揮される。

覚えておきたい整理

FAQ（よくある質問）

Q1. 初心者が最初に選ぶなら？
→ ReLUが基本。学習が止まる場合はLeaky ReLUやELUを検討。

Q2. 死んだReLUはどれくらい問題？
→ 深いモデルでは深刻。GELUやLeaky ReLUで安定化。

Q3. GELUとSiLUの違いは？
→ GELUは確率的（言語モデル向け）、SiLUは単純で軽量（画像モデル向け）。

Q4. 出力層ではどれを使う？
→

Q5. PyTorchではどう指定する？

import torch.nn as nn
act = nn.GELU()   # 他: nn.ReLU(), nn.SiLU(), nn.ELU() など

まとめ

• 非線形性を導入して複雑な関係を学習
• 性質で比較（滑らかさ・ゼロ中心性）すれば迷わない
• ReLU系が基本、GELUやSiLUが新世代標準
• トラブル時は関数と初期化をセットで見直す

活性化関数は、ニューラルネットの表現力と安定性を決める鍵です。単なる数学関数ではなく、学習の“流れ”を整える設計要素として理解しましょう。