G検定対策！ラッソ回帰を徹底解説 – 特徴選択から実装まで

G検定の学習、お疲れ様です！機械学習の分野、特に回帰問題を扱う上で「ラッソ回帰（LASSO）」は非常に重要な手法の一つです。特に、特徴量の数が非常に多い高次元データを扱う際に、その真価を発揮します。

G検定では、ラッソ回帰の定義や仕組み、そしてよく似た手法であるリッジ回帰やElastic Netとの違いが問われる傾向にあります。

この記事では、線形回帰の基礎知識がある方を対象に、

• ラッソ回帰とは何か、その核心であるL1正則化の仕組み
• なぜラッソ回帰が重要なのか？（メリット）
• 利用する上での注意点（デメリット）
• リッジ回帰やElastic Netとの明確な違い（G検定頻出！）
• Pythonでの簡単な実装方法
• G検定対策として押さえるべき重要ポイント

について、図も交えながら徹底的に解説していきます。この記事を読めば、ラッソ回帰に関するG検定の問いに自信を持って答えられるようになるはずです！

 ラッソ回帰とは？ – L1正則化による特徴選択の仕組み

まずは、ラッソ回帰がどのような手法なのか、その基本的な考え方から見ていきましょう。

 ラッソ回帰の基本的な定義と目的

ラッソ回帰（LASSO）は、「Least Absolute Shrinkage and Selection Operator」の略称で、線形回帰モデルにL1正則化と呼ばれる仕組みを取り入れた回帰手法です。

その主な目的は、以下の2つを同時に達成することです。

1. 予測精度の向上: モデルが学習データに過剰に適合してしまう「過学習」を抑制し、未知のデータに対する予測精度（汎化性能）を高めます。
2. モデルの解釈性向上: データに含まれる多くの特徴量の中から、本当に予測に重要な特徴量だけを自動的に選び出し（特徴選択）、モデルをシンプルで理解しやすいものにします。

 線形回帰のおさらいと限界

ラッソ回帰を理解するために、まずは基本となる線形回帰について簡単におさらいしましょう。線形回帰は、説明変数（特徴量）xと目的変数yの関係を直線的な式 y=w0​+w1​x1​+w2​x2​+…+wp​xp​ でモデル化する手法でしたね。目的は、予測値と実際の値の誤差（具体的には残差平方和 RSS: Residual Sum of Squares）を最小にするような係数（重み）wを見つけることでした。

しかし、線形回帰にはいくつかの限界があります。

• 高次元データでの過学習: 説明変数の数 p がサンプル数 n に対して多い場合、モデルが複雑になりすぎて学習データに過剰に適合し、未知のデータに対する予測精度が著しく低下する「過学習」を起こしやすくなります。
• 多重共線性: 説明変数間に強い相関（例：身長と体重）があると、係数の推定が不安定になり、モデルの信頼性が低下します。
• 解釈性の低下: 説明変数の数が多いと、どの変数が結果にどれだけ影響しているのかを解釈するのが困難になります。

これらの課題を解決するために登場したのが「正則化」という考え方です。

 正則化とは？過学習を防ぐ鍵

正則化とは、モデルの複雑さにペナルティを与えることで、過学習を防ぐためのテクニックです。具体的には、線形回帰の目的である「残差平方和（RSS）の最小化」に加えて、「係数（重み）が大きくなりすぎないようにする」という制約（ペナルティ項）をコスト関数に加えます。

コスト関数 = RSS (データへの適合度) + ペナルティ項 (モデルの複雑さ)

このペナルティ項により、モデルはデータに適合しようとしつつも、係数が無駄に大きくなることを避け、よりシンプルで汎化性能の高いモデルを目指します。ラッソ回帰やリッジ回帰は、このペナルティ項の計算方法が異なります。

 L1ノルムとラッソ回帰の核心

ラッソ回帰が用いるペナルティ項がL1正則化であり、その計算にはL1ノルムが使われます。

• L1ノルム: ベクトルの各要素の絶対値の和です。係数ベクトル w=(w1​,w2​,…,wp​) に対して、L1ノルムは ∣w1​∣+∣w2​∣+…+∣wp​∣ となります。

ラッソ回帰のコスト関数は以下のように表されます。

ラッソ回帰のコスト関数 = RSS + λ × (係数のL1ノルム)

ここで、λ（ラムダ）は正則化パラメータと呼ばれ、ペナルティの強さを調整するハイパーパラメータです。λが大きいほどペナルティが強くなり、係数はより小さく（ゼロに近く）なろうとします。

【キーポイント：L1正則化が係数をゼロにする仕組み】

なぜL1正則化は係数をゼロにできるのでしょうか？これはL1ノルムの数学的な性質に由来します。リッジ回帰で使われるL2ノルム（係数の二乗和）と比較すると理解しやすいです。

(図解①: L1/L2正則化比較図)

上の図のように、L1ノルムの制約を表す領域（ひし形）は軸上に「角」を持っています。コスト関数を最小化する過程で、損失関数の等高線がこの「角」の部分で制約領域に接する可能性が高くなります。角で接するということは、対応する軸の係数が完全にゼロになることを意味します。

一方、L2ノルムの制約領域（円）は滑らかであり、軸上で接することは稀です。そのため、リッジ回帰では係数はゼロに近づきますが、完全にはゼロになりにくいのです。

この係数をゼロにする性質こそが、ラッソ回帰の最大の特徴である自動的な特徴選択を可能にする鍵となります。

 ラッソ回帰のメリット：なぜG検定で重要なのか？

ラッソ回帰がG検定で重要視される理由は、その強力なメリットにあります。

 自動的な特徴選択：不要な説明変数を削減

ラッソ回帰の最大のメリットは、モデル構築の過程で自動的に不要な特徴量（説明変数）を見つけ出し、モデルから除外してくれる点です。

前述の通り、L1正則化は重要度の低い特徴量に対応する係数をゼロにします。係数がゼロになった変数は、予測計算において全く影響を与えなくなるため、実質的にモデルから取り除かれたことになります。

特に、遺伝子データや顧客データなど、特徴量の数が膨大になる高次元データを扱う際に、どの変数が本当に重要なのかを事前に判断するのは困難です。ラッソ回帰は、データに基づいて自動で変数を選び出してくれるため、分析の効率を大幅に向上させます。

 スパースなモデル：解釈しやすい結果を得る

特徴選択の結果、ラッソ回帰によって得られるモデルは、多くの係数がゼロとなり、非ゼロの係数を持つ変数が少数になります。このようなモデルを「スパース（疎）なモデル」と呼びます。

(図解②: スパース性のイメージ図)

スパースなモデルは、予測に寄与している変数が限られているため、どの変数が結果に影響を与えているのかが明確になり、モデルの解釈が非常に容易になります。ビジネスの現場などで、「なぜこの予測結果になったのか？」を説明する必要がある場合に、非常に役立ちます。

 過学習の抑制：汎化性能の向上

ラッソ回帰は正則化手法の一種であるため、過学習を抑制し、未知のデータに対する予測精度（汎化性能）を高める効果があります。

L1正則化によってモデルの複雑さが適切にコントロールされ、学習データに含まれるノイズまで拾ってしまうことを防ぎます。特に、特徴量が多い場合に過学習のリスクが高まりますが、ラッソ回帰はそのような状況で効果を発揮します。

 ラッソ回帰の注意点と対策

多くのメリットを持つラッソ回帰ですが、利用する上で注意すべき点もあります。

 多重共線性がある場合の挙動

説明変数間に強い相関（多重共線性）がある場合、ラッソ回帰はその相関のある変数群の中から一つだけをランダムに選択し、他の変数の係数をゼロにしてしまう傾向があります。

例えば、「昨日の最高気温」と「今日の最高気温」のように相関の強い変数が複数あった場合、ラッソはどちらか一方だけを選び、もう一方は無視してしまうかもしれません。もし、相関のある変数群が全体として予測に寄与している場合、この挙動は情報損失につながり、予測精度を低下させる可能性があります。

• 対策: 多重共線性が疑われる場合は、後述するElastic Netの利用を検討するのが有効です。Elastic Netは相関のある変数群をまとめて選択する傾向があります。

 データスケールの影響：標準化の重要性

ラッソ回帰のペナルティは係数の絶対値（L1ノルム）に基づいて計算されるため、入力される特徴量のスケール（単位や値の範囲）が異なると、正則化の効果が不均一になってしまいます。

例えば、「年齢（数十のオーダー）」と「年収（数百〜数千万のオーダー）」が混在している場合、スケールの大きい「年収」の係数の方がより強いペナルティを受け、本来重要であっても係数がゼロにされやすくなる可能性があります。

• 対策: ラッソ回帰を適用する前には、必ず特徴量の標準化（Standardization）や正規化（Normalization）を行い、各特徴量のスケールを揃えることが非常に重要です。Scikit-learnでは StandardScaler などを使って簡単に行えます。

 ハイパーパラメータλ（アルファ）の調整

ラッソ回帰の性能は、正則化の強度を調整するハイパーパラメータ λ（ラムダ）（Scikit-learnでは alpha と呼ばれることが多い）の値に大きく依存します。

• λ が大きすぎる: ペナルティが強すぎて、重要な変数まで係数がゼロになってしまい、モデルが必要な情報を捉えきれない「過小適合（Underfitting）」になる可能性があります。
• λ が小さすぎる: 正則化の効果が弱まり、線形回帰に近づき、過学習（Overfitting）のリスクが高まります。

(図解③: ハイパーパラメータλによる係数の変化図 – Lasso Path)

最適化: 最適なλの値を見つけるためには、交差検定（Cross Validation, CV）を用いるのが一般的です。データを訓練用と検証用に分割し、様々なλの値でモデルを学習・評価して、最も汎化性能が高くなるλを探します。Scikit-learnには LassoCV や GridSearchCV といった便利なツールがあります。

 特徴量数（p）がサンプル数（n）より多い場合 (p > n)

遺伝子データなど、特徴量の数 p がサンプル数 n よりも多い「p > n」と呼ばれる状況では、ラッソ回帰は最大でも n 個の特徴量しか選択できないという理論的な制約があります。もし、n 個を超える数の特徴量が予測に重要である場合、ラッソ回帰だけではそれら全てを捉えきれない可能性がある点に留意が必要です。

ただし、このような高次元データにおいて、重要な少数の特徴量を見つけ出すこと自体がラッソの主な目的の一つであるため、p > n の状況でも有効な場面は多いです。

 ラッソ回帰 vs リッジ回帰 vs Elastic Net – G検定頻出ポイント！

G検定では、ラッソ回帰と他の正則化手法、特にリッジ回帰とElastic Netとの違いを理解しているかがよく問われます。それぞれの特徴と使い分けをしっかり押さえましょう。

 リッジ回帰（L2正則化）との違い

リッジ回帰 (Ridge Regression) は、線形回帰にL2正則化を用いる手法です。

• 正則化項: L2ノルム（係数の二乗和） ∑wi2​ をペナルティとして加えます。
• 特徴:
  • 係数をゼロに近づけますが、ラッソのように完全にゼロにすることはほとんどありません。
  • したがって、特徴選択は行いません。全ての変数がモデルに残ります。
  • 多重共線性に対して比較的安定しており、相関の高い変数があっても係数が極端に大きくなるのを防ぎます。

 Elastic Net（L1+L2正則化）との違い

Elastic Net (エラスティックネット) は、L1正則化とL2正則化の両方を組み合わせた手法です。

• 正則化項: L1ノルムとL2ノルムの両方にそれぞれ係数を掛けてペナルティとして加えます。 コスト関数 = RSS + λ_1 × (L1ノルム) + λ_2 × (L2ノルム)
• 特徴:
  • ラッソ回帰の特徴選択能力と、リッジ回帰の多重共線性への安定性を併せ持ちます。
  • ラッソの欠点であった「相関の高い変数群から一つしか選ばない」問題を緩和し、相関のある変数群をグループとして選択する傾向があります。
  • 調整すべきハイパーパラメータがL1とL2の比率も含めて2つになります。

 使い分けのポイント（比較表）

これらの手法をどのように使い分けるべきか、ポイントをまとめます。

特徴	線形回帰	リッジ回帰 (L2)	ラッソ回帰 (L1)	Elastic Net (L1+L2)
正則化	なし	L2ノルム (二乗和)	L1ノルム (絶対値和)	L1ノルム + L2ノルム
特徴選択	しない	しない	する (係数が0になる)	する (係数が0になる)
スパース性	なし	なし	高い	中程度
係数が0になる?	ならない	なりにくい	なりやすい	なりやすい
多重共線性	影響を受けやすい	比較的安定	不安定 (一つを選択)	安定 (グループ選択)
主な目的	基本的な回帰	過学習抑制、多重共線性緩和	特徴選択、スパースモデル	特徴選択 + 多重共線性対応
使い所	変数が少ない場合	全ての特徴量を使いたい場合	重要な変数を見つけたい場合	相関の強い変数が多い場合

G検定のポイント:

• ラッソはL1、リッジはL2。この違いが特徴選択の有無につながる。
• ラッソは係数が0になる。リッジは0になりにくい。
• Elastic Netは両方の良いとこ取りで、多重共線性に強い特徴選択が可能。

 Python (Scikit-learn) によるラッソ回帰の実装

ここでは、Pythonの機械学習ライブラリ Scikit-learn を用いてラッソ回帰を実装する簡単な流れを紹介します。

Python

import numpy as np

from sklearn.linear_model import Lasso, LassoCV

from sklearn.model_selection import train_test_split, GridSearchCV

from sklearn.preprocessing import StandardScaler

from sklearn.metrics import mean_squared_error

# — 1. データの準備 (例) —

# X: 説明変数 (Numpy配列 or Pandas DataFrame)

# y: 目的変数 (Numpy配列 or Pandas Series)

# (データ読み込み・生成処理)

# X, y = …

# — 2. データの分割 —

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# — 3. データの前処理 (標準化) —

scaler = StandardScaler()

X_train_scaled = scaler.fit_transform(X_train) # 訓練データでfit & transform

X_test_scaled = scaler.transform(X_test)     # テストデータはtransformのみ

# — 4. ラッソ回帰モデルの学習 —

# — 4a. 特定のalphaで学習 —

# alphaは正則化パラメータλに対応 (値が大きいほど正則化が強い)

lasso = Lasso(alpha=0.1)

lasso.fit(X_train_scaled, y_train)

# — 4b. 交差検定で最適なalphaを探索 (LassoCV) —

# 自動で複数のalphaを試し、最適なものを選択

lasso_cv = LassoCV(cv=5, random_state=42) # cv=5は5分割交差検定

lasso_cv.fit(X_train_scaled, y_train)

optimal_alpha = lasso_cv.alpha_ # 最適なalpha

print(f”Optimal alpha: {optimal_alpha}”)

# 最適なalphaで学習したモデルを使用

best_lasso = Lasso(alpha=optimal_alpha)

best_lasso.fit(X_train_scaled, y_train)

# — 4c. グリッドサーチで最適なalphaを探索 (GridSearchCV) —

# 試したいalphaの候補を指定

param_grid = {‘alpha’: np.logspace(-4, 1, 100)} # 10^-4 から 10^1 まで100個の候補

grid_search = GridSearchCV(Lasso(), param_grid, cv=5, scoring=’neg_mean_squared_error’)

grid_search.fit(X_train_scaled, y_train)

optimal_alpha_grid = grid_search.best_params_[‘alpha’]

print(f”Optimal alpha (GridSearch): {optimal_alpha_grid}”)

best_lasso_grid = grid_search.best_estimator_

# — 5. モデルの評価 —

# (ここではLassoCVで見つけたモデルを使用)

y_pred = lasso_cv.predict(X_test_scaled)

mse = mean_squared_error(y_test, y_pred)

print(f”Mean Squared Error on Test Set: {mse}”)

# — 6. 結果の確認 —

# 選択された特徴量の係数を確認 (0になっているものが多いはず)

print(“Coefficients:”, lasso_cv.coef_)

print(“Intercept:”, lasso_cv.intercept_)

ポイント:

• StandardScaler で標準化を忘れずに行う。
• Lasso クラスで特定の alpha を指定して学習できる。
• LassoCV や GridSearchCV を使うと、交差検定により最適な alpha を自動で探索してくれるので便利。
• 学習後の coef_ 属性で、各特徴量の係数を確認できる（ここで多くの係数が0になっているのがスパース性の現れ）。

 G検定対策まとめ：ラッソ回帰の重要ポイント

最後に、G検定対策としてラッソ回帰について押さえておくべき最重要ポイントをまとめます。

1. L1正則化による「特徴選択」と「スパース性」: ラッソ回帰はL1ノルム（絶対値和）をペナルティに使うことで、不要な変数の係数を完全に0にし、自動的に特徴選択を行う。結果として得られるモデルはスパースになる。
2. リッジ回帰（L2正則化）との違い: リッジ回帰はL2ノルム（二乗和）を使い、係数を0に近づけるが0にはしにくい。特徴選択は行わない。
3. Elastic Net: L1とL2の両方を使い、特徴選択と多重共線性への対応を両立する。相関の高い変数群をまとめて扱える。
4. ハイパーパラメータλ (alpha) の役割と調整: 正則化の強さを決める重要なパラメータ。値は交差検定 (Cross Validation) を用いてデータから決定するのが一般的。
5. データの前処理（標準化）の必要性: ラッソ回帰は特徴量のスケールの影響を受けるため、適用前に標準化が必須。

これらのポイントをしっかり理解しておけば、G検定でラッソ回帰に関する問題が出ても、自信を持って解答できるはずです！

 まとめ

ラッソ回帰は、線形回帰にL1正則化を導入することで、過学習を抑制しつつ、自動的な特徴選択を可能にする強力な機械学習手法です。特に、特徴量が多いデータから重要な情報を見つけ出し、解釈しやすいスパースなモデルを構築する際に威力を発揮します。

G検定においては、その仕組み（特にL1正則化）、リッジ回帰やElastic Netとの違い、そして利用上の注意点（標準化、ハイパーパラメータ調整）が問われるポイントとなります。

この記事で解説した内容とキーポイントをしっかり復習し、G検定合格に向けて学習を進めてください。応援しています！