G検定の合格を目指す皆さん、こんにちは！強化学習の学習は進んでいますか？ G検定ではディープラーニングだけでなく、強化学習に関する知識も問われます。特に、エージェントがどのように行動を決定していくのか、その基本的な戦略を理解しておくことは非常に重要です。
この記事では、強化学習の基礎を既に少し学んだ方（エージェント、環境、報酬といった言葉は聞いたことがある方）を対象に、最も基本的で重要な行動選択戦略の一つであるε-greedy（イプシロングリーディ）方策について、その仕組みからG検定対策のポイントまで、徹底的に解説していきます。
この記事を読めば、あなたはこうなれます！
- ε-greedy方策の仕組みと目的が明確に理解できる！
- 「探索」と「活用」のトレードオフの重要性が分かる！
- パラメータεが行動選択にどう影響するかが分かる！
- G検定でε-greedy方策に関する問題が出ても、自信を持って答えられる！
- 他の探索戦略についても学ぶ意欲が湧く！
さあ、一緒にε-greedy方策をマスターして、G検定合格に一歩近づきましょう！
そもそもε-greedy方策とは？ なぜ必要？
強化学習において、エージェントは試行錯誤を通じて最適な行動を学習していきます。その過程で重要になるのが、「どの行動を選ぶか？」という方策（Policy）です。
ε-greedy方策は、数ある方策の中でも最もシンプルで基本的なものの一つです。その目的は、強化学習における永遠の課題とも言える「探索（Exploration）」と「活用（Exploitation）」のバランスを取ることにあります。
- 探索（Exploration） まだ試したことのない行動や、効果が未知の行動をあえて選んでみること。これにより、もしかしたら現在最良と思っている行動よりも、もっと良い報酬を得られる行動が見つかるかもしれません。未知の可能性を探る行動です。
- 活用（Exploitation） これまでの経験から最も良い結果が得られると学習した行動（最も高い行動価値（Q値）を持つ行動）を選ぶこと。得られた知識を最大限に利用して、現時点での報酬を最大化しようとする行動です。
- *補足：行動価値（Q値）*とは、ある状態において、特定の行動を取ることで、将来にわたって得られると予想される累積報酬の期待値のことです。Q値が高い行動ほど「良い行動」だと考えられます。
常に「活用」だけをしていると、偶然初期に見つけたそこそこ良い行動（局所最適解）に囚われ、本当の最適解を見逃してしまう可能性があります。かといって、常に「探索」ばかりしていては、せっかく学習した知識を活かせず、効率的に報酬を得ることができません。
このジレンマを解決するために、ε-greedy方策は確率的に探索と活用を切り替える、というシンプルなアイデアを採用しています。
ε-greedy方策の行動選択メカニズム
では、具体的にε-greedy方策はどのように行動を選択するのでしょうか？そのプロセスは非常にシンプルです。
まず、0から1の間の値で、ε（イプシロン）というパラメータを設定します。これが「探索」を行う確率になります。（例：ε = 0.1）
行動を選択するたびに、0から1までの一様乱数 r を生成します。
- もし r<ϵ ならば（確率 ε で）：「探索」行動 👉 現在の状態 St で取りうる全ての行動の中から、ランダムに一つ行動 At を選択します。
- もし r≥ϵ ならば（確率 1−ϵ で）：「活用」行動 👉 これまでの学習で得られた行動価値（Q値）が最大となる行動 At を選択します。もしQ値が最大となる行動が複数ある場合は、通常、それらの中からランダムに一つ選択します。
フローチャートで見てみよう！
[行動選択開始]
|
v
[乱数 r を生成 (0~1)]
|
v
[ r < ε ? ] –(Yes 確率 ε)–> [ランダムな行動を選択] –> [行動 A_t 決定]
|
(No 確率 1-ε)
|
v
[Q値が最大の行動を選択] –> [行動 A_t 決定]
|
v
[行動 A_t を実行]
数式で表現すると？
時刻 t における状態を St、行動を At、状態 St で行動 a を取ったときの行動価値を Q(St,a) とすると、ε-greedy方策による行動選択は以下のように表せます。
At←{argmaxaQ(St,a)ランダムな行動(確率 1−ϵ で)(確率 ϵ で)
ここで、argmaxaQ(St,a) は、Q(St,a) を最大にする行動 a を選択することを意味します。
なぜε-greedy方策が使われるのか？主な目的とメリット
ε-greedy方策が多くの強化学習アルゴリズムで基礎として採用されるのには、明確な理由があります。
- 探索と活用のバランス これが最大の目的です。確率εによって探索の度合いをコントロールし、学習の初期段階から最適解探索まで、柔軟に対応しようとします。
- 未知の最適行動の発見 ランダムな探索により、初期の知識だけでは見つけられなかった、より高い報酬をもたらす可能性のある行動を発見できます。
- 局所最適解からの脱出 活用だけでは陥りがちな「そこそこ良い」だけの解（局所最適解）から抜け出し、全体で最も良い解（大域的最適解）を探す機会を与えます。
- 実装の容易さ アルゴリズムが非常にシンプルで、既存のQ学習などのアルゴリズムに容易に組み込めます。
- 理論的な収束保証 εをゼロより大きい値（ε>0）に設定し、十分な時間をかければ、全ての行動を無限回試すことが保証されるため、理論的には最適方策を見つけ出すことができます（特定の条件下で）。
パラメータε（イプシロン）の役割と決め方
ε-greedy方策の挙動を左右するのが、パラメータεの値です。この値が探索と活用のバランスを直接コントロールします。
- εが大きい場合（例：ε = 0.8 → 80%で探索）
- 探索の頻度が高くなります。
- メリット 未知の行動をたくさん試すため、環境の情報を早く広く集められます。局所最適解に陥りにくいです。
- デメリット 学習が進んで最適な行動が分かってきても、ランダムな行動を取り続けるため、なかなか報酬が安定しません。学習効率が悪くなることがあります。
- εが小さい場合（例：ε = 0.1 → 10%で探索）
- 活用の頻度が高くなります。
- メリット 学習した最も良い行動を多く選択するため、安定して高い報酬を得やすくなります。
- デメリット 探索の機会が少ないため、初期にたまたま見つけた行動が最適でない場合、それよりも良い行動を見逃す可能性があります。
ε減衰（ε-decreasing / Annealing）
実用上、εの値を固定するのではなく、学習の進行に合わせて徐々に小さくしていく方法（ε減衰）がよく用いられます。
- 学習初期 εを比較的高く設定し（例：ε=1.0や0.5）、積極的に探索して環境の情報を広く集めます。
- 学習後期 エージェントが環境について学習し、有望な行動が分かってきたら、εを徐々に小さくしていきます（例：ε=0.1や0.01）。これにより、活用の割合を増やし、最適な行動を選択する頻度を高めていきます。
これにより、初期の広範な探索と、後期の効率的な活用の両立を目指します。
εの値による影響まとめ
| ε の値 (例) | 探索の頻度 | 活用の頻度 | 学習初期の影響 | 学習後期の性能 |
|---|---|---|---|---|
| 0 | 0% (なし) | 100% (最大) | 探索せず、最初に選んだ行動に固執しやすい | 最初に良い解を見つけないと低いまま |
| 0.1 | 10% (低い) | 90% (高い) | 活用中心だが、たまに探索する | 安定して高い性能を出しやすい |
| 0.5 | 50% (中) | 50% (中) | 探索と活用のバランスが良い | 最適行動が分かっても探索が多く非効率 |
| 1 | 100% (最大) | 0% (なし) | 常にランダム、知識が蓄積されにくい | 常にランダムなため性能は低い |
具体例で理解を深める
概念だけでは分かりにくいので、具体的な例でε-greedy方策の動きを見てみましょう。
例1：多腕バンディット問題
これは強化学習の古典的な問題設定です。複数の腕（レバー）を持つスロットマシンがあり、各腕を引くと異なる確率で報酬（当たり）が出ます。エージェントは、どの腕が最も報酬確率が高いかを知らない状態で、試行錯誤しながら報酬を最大化しようとします。
イメージ図
[エージェント] —> [どの腕を引くか選択？]
| |
| [腕1] [腕2] [腕3] (それぞれ報酬確率が異なる)
| |
<—————— [報酬を得る or 得られない]
ε-greedy方策の適用 (ε=0.1 の場合)
- エージェントは行動（腕を引く）を選択する際、90%（1-ε）の確率で、これまでの経験上、最も平均報酬が高かった腕を選択します（活用）。
- 残りの10%（ε）の確率で、どの腕が良いかに関わらず、ランダムにいずれかの腕を選択します（探索）。
- これを繰り返すことで、最初はどの腕が良いか分かりませんが、徐々に各腕の良さ（Q値）を学習し、より報酬の高い腕を効率的に引けるようになっていきます。探索によって、たまたま最初に引いて印象が悪かった腕でも、実はもっと報酬確率が高かった、という発見をする可能性があります。
簡単なシミュレーション結果（イメージ）
仮に3つの腕があり、真の報酬確率がそれぞれ [腕1 0.2, 腕2 0.8, 腕3 0.5] だとします。ε=0.1で100回試行した場合、以下のような結果になるかもしれません。
| 腕 | 真の報酬確率 | 推定Q値 (100回後) | 選択回数 |
|---|---|---|---|
| 腕1 | 0.2 | 0.21 | 8 |
| 腕2 | 0.8 | 0.79 | 85 |
| 腕3 | 0.5 | 0.52 | 7 |
- 腕2が最も報酬確率が高いことを学習し、多く選択（活用）しています。
- 腕1や腕3も、探索によって少数回選択されています。
例2：迷路探索問題
エージェントがスタートからゴールまで、迷路の中を移動する問題を考えます。各マス（状態）で上下左右のいずれかに移動（行動）できます。
ε-greedy方策の適用 (ε減衰を用いる場合)
- 学習初期 (εが高い) エージェントはまだ迷路の構造を知りません。高い確率でランダムに移動（探索）し、壁にぶつかったりしながら、様々な経路を試します。これにより、ゴールに繋がる道や、袋小路などの情報を集めます。
- 学習中期 (εが中程度) ゴールに近づく移動（Q値が高い行動）が分かってきます。活用する頻度が増えますが、まだ探索も行い、もしかしたらもっと近道があるかもしれないと探します。
- 学習後期 (εが低い) ゴールまでの最適な経路（Q値が最大となる一連の行動）がほぼ分かってきます。低い確率でしか探索せず、ほとんどの場合、学習した最短経路を通ってゴールを目指します（活用）。
このように、ε-greedy（特にε減衰）を使うことで、エージェントは未知の環境を効率的に探索し、最終的に最適な行動戦略を学習することができます。
ε-greedyだけじゃない！他の探索戦略との比較
ε-greedy方策はシンプルで強力ですが、万能ではありません。例えば、以下のような欠点も指摘されています。
- 探索の非効率性 探索時は完全にランダムに行動を選ぶため、明らかに悪いと分かっている行動も選んでしまう可能性があります。
- Q値の差を考慮しない 活用時にはQ値が最大のものだけを選び、2番目に良い行動などは全く考慮されません。
これらの点を改善するために、以下のような他の探索戦略も提案されています。
- ソフトマックス（Softmax）方策
- Q値に基づいて、確率的に行動を選択します。
- Q値が高い行動ほど選択される確率が高くなりますが、Q値が低い行動もゼロではない確率で選択されます。
- Q値の差が小さいときはよりランダムに、差が大きいときはより最適な行動を選びやすくなります。ε-greedyより滑らかな探索が可能です。
- UCB（Upper Confidence Bound）方策
- 各行動のQ値だけでなく、その不確実性（まだ試行回数が少ないかどうか）も考慮して行動を選びます。
- 「もしかしたらすごく良いかもしれないけれど、まだあまり試していない行動」を優先的に探索する傾向があります（Optimism in the face of uncertainty）。バンディット問題などで有効性が示されています。
- その他の高度な戦略
- ノイズネットワーク ニューラルネットワークの重みにノイズを加えて探索を促します。
- 方策勾配法 方策自体をパラメータ化し、勾配を使って直接最適な方策を学習します。確率的な方策を用いることで探索も行います。
ε-greedy方策は、これらのより高度な探索戦略を理解するための基礎となる重要な概念です。
G検定対策ポイント＆例題
G検定では、強化学習の基本的な概念が問われます。ε-greedy方策は、シラバスの「強化学習」の項目、特に「バンディットアルゴリズム」や「価値関数に基づく手法」の基礎として非常に重要です。
押さえておくべき重要ポイント
- 定義 確率εでランダムに行動（探索）、確率1-εでQ値最大の行動（活用）を選択する方策であること。
- 目的 探索と活用のトレードオフをバランスさせること。
- メカニズム 乱数とεを比較して行動を決定するプロセス。
- εの役割 εの値が大きいほど探索寄り、小さいほど活用寄りになること。ε減衰の考え方。
- 利点 未知の最適行動発見、局所最適解回避、実装容易性。
- 欠点/他の戦略 探索が非効率な場合があること。ソフトマックスやUCBなど他の戦略との違いの概要。
想定例題
ここで、G検定で出題されそうな簡単な例題を解いてみましょう。
例題
ある強化学習エージェントが、多腕バンディット問題においてε-greedy方策を用いています。パラメータεの値が0.3に設定されている場合、このエージェントが次のステップで「活用（Exploitation）」に基づいて行動を選択する確率は何%ですか？
(A) 0.3% (B) 3% (C) 30% (D) 70%
解説
ε-greedy方策では、確率εで「探索（ランダムな行動）」を行い、確率 1−ϵ で「活用（Q値最大の行動）」を行います。 問題では ϵ=0.3 と与えられています。 したがって、「活用」を行う確率は 1−ϵ=1−0.3=0.7 です。 これをパーセンテージで表すと、0.7×100=70% となります。
正解は (D) 70% です。
このような基本的な計算問題や、ε-greedy方策の目的・特徴を問う選択問題が出題される可能性があります。また、「ε減衰はなぜ有効か？」や「ソフトマックス方策との違いは何か？」といった、少し踏み込んだ内容が問われる可能性も考慮しておきましょう。
まとめ
今回は、強化学習における基本的な行動選択戦略であるε-greedy方策について、その仕組みからG検定対策のポイントまで詳しく解説しました。
この記事で学んだこと
- ε-greedy方策は、確率εで探索、確率1-εで活用を行うシンプルな戦略である。
- 探索と活用のトレードオフをバランスさせることが主な目的。
- パラメータεの値が探索と活用の度合いをコントロールし、ε減衰が効果的な場合が多い。
- 多腕バンディット問題や迷路探索などの具体例で動作をイメージできた。
- G検定では、定義、目的、メカニズム、εの役割などを正確に理解しておくことが重要。
ε-greedy方策は、強化学習の多くのアルゴリズムの基礎となる、まさに「キホン」の概念です。今回の内容をしっかり理解しておけば、G検定の強化学習分野に自信を持って臨めるだけでなく、今後さらに高度な強化学習手法を学ぶ上でも必ず役立ちます。
ぜひ、この記事の内容を復習し、G検定の問題集などで関連問題を解いてみてください。そして、ソフトマックス方策やUCB方策など、他の探索戦略にも興味を持っていただけたら嬉しいです！
コメント