12.Pythonではじめるデータ分析：宿泊価格予測入門-前処理編-

2025年2月4日

どうもニコイチです。前回の記事では、データ同士の「仲良し度」である相関関係を探る方法を学びました。今回は、いよいよデータを「モデリング」という本格的な分析に進めるための準備段階、「前処理」について学んでいきましょう！

今回の記事でも、引き続き「宿泊価格について_demo.csv」データを使って、データ分析の腕を磨いていきましょう。

全編はこちらから

いきかちガジェットゲームLab：ガ…

0.Pythonではじめるデータ分析：宿泊価格予測入門-全編- | いきかちガジェットゲームLab：ガジェット・ゲー… 宿泊予約サービスにおける物件の適正価格を予測するデータ分析の基礎を学びます。本ガイドでは、データ分析の基本的な流れから、予測モデルの作成まで、実践的なステップを…

今回のテーマ：データを「使える」状態にする

前回、相関分析を通じて、データの中に色々な関係性があることを見てきました。しかし、そのままでは機械学習などの「モデリング」に直接使えないデータも多いんです。そこで必要になるのが「前処理」という魔法のステップです！

前処理って何？データのおめかし大作戦！

前処理とは、例えるなら、料理をする前の下ごしらえのようなものです。野菜を洗ったり、肉を切ったりするように、データもそのままでは使いにくい部分があるので、モデリングをする前に手を加える必要があります。

前処理ってなんで必要なの？データをもっと輝かせるために

前処理が必要な理由は大きく分けて2つあります。

データをモデリングできる状態にするため:
- 機械学習のモデルは、数字で表現されたデータを理解します。もしデータの中に文字の情報（例えば、部屋タイプ）が含まれている場合、エンコーディングという技術を使って、文字を数字に変換する必要があります。これは、言葉の通じない人に話しかける代わりに、翻訳機を使うようなイメージです。
予測の精度を上げるため:
- データの中には、予測にあまり役立たない情報や、逆にノイズになるような情報が含まれていることがあります。前処理を行うことで、これらの情報を整理し、予測に必要な情報を際立たせることができます。これは、汚れたメガネを拭いて、景色をクリアに見えるようにするイメージです。

予測精度を上げるための前処理には、主に以下の３つの方法があります。

特徴量の生成・加工: 既存のデータから、予測に役立ちそうな新しい情報を作り出したり、既存のデータをより扱いやすい形に変換したりします。
特徴量の選択: たくさんの情報（特徴量）の中から、本当に予測に必要なものだけを選び出します。
次元削減: 複雑なデータを、できるだけ情報を失わずに、よりシンプルな形に変換します。

特徴量って何？モデルを動かす「材料」

ここで、データ分析でよく使われる言葉「特徴量」を紹介します。特徴量とは、前回まで「説明変数」と呼んでいたものの別名です。機械学習の分野では、こちらの言葉がよく使われます。例えるなら、料理で使う様々な「食材」のようなものです。良い食材を選ぶことが美味しい料理を作る上で重要なように、良い特徴量を選ぶことは、精度の高い予測モデルを作る上で非常に重要になります。

今回のテーマ：特徴量を「選んで」「作る」！

今回は、前処理の中でも特に重要な「特徴量の選択」と「特徴量の生成・加工」について、基本的な考え方を学んでいきましょう。

特徴量の選択：予測に「本当に必要なもの」を見極める

たくさんの特徴量がある場合、全てを使うことが必ずしも良い結果に繋がるとは限りません。不要な情報が多いと、モデルが複雑になりすぎて、かえって予測精度が落ちてしまうことがあります。これは、たくさんの材料を使いすぎると、料理の味がぼやけてしまうのに似ています。

そこで重要になるのが「特徴量の選択」です。これは、データの中から、予測に最も関連性の高い特徴量だけを選び出す作業です。

実際に、Pythonで特徴量を選択してみましょう。以前の記事で学んだように、DataFrameから特定のカラムを選ぶことで、特徴量を選択することができます。

import pandas as pd

# CSVファイルを読み込む
data = pd.read_csv('宿泊価格について_demo.csv')

# 分析に使う特徴量を選択する
selected_features = data[['accommodates', 'room_type', 'review_scores_rating', 'number_of_reviews', 'bathrooms', 'y']]

# 選択した特徴量を確認する
print(selected_features.head())

この例では、accommodates、room_type、review_scores_rating、number_of_reviews、bathrooms、そして目的変数である y（宿泊価格）を選択しました。このように、分析の目的に合わせて、必要な特徴量を選び出すことが、特徴量選択の基本的な考え方です。

特徴量の生成・加工：データから「新しい価値」を生み出す

特徴量の生成とは、既存のデータから新しい特徴量を作り出すことです。例えば、宿泊施設の緯度と経度の情報があれば、そこから主要な観光スポットからの距離を計算して、新たな特徴量として加えることができます。これは、既存の材料を組み合わせて、新しい料理を作るようなイメージです。今回のデータセットでは、具体的な生成の例は挙げませんが、後続の記事で実践していきます。

特徴量の加工とは、既存の特徴量をより扱いやすい形に変換することです。例えば、宿泊施設の面積が非常に大きな値で表現されている場合、対数変換などを行うことで、値の範囲を小さくし、モデルが学習しやすくすることがあります。これは、大きすぎる食材を、調理しやすい大きさに切り分けるようなイメージです。今回のデータセットでは、具体的な加工の例は挙げませんが、後続の記事で実践していきます。

初心者がつまずきやすいポイント

前処理の必要性を理解していない: 「データはそのまま使える」と思いがちですが、多くの場合、前処理はモデリングの精度を大きく左右する重要なステップです。
闇雲に特徴量を削除する: どの特徴量が重要なのか判断せずに、安易に多くの特徴量を削除してしまうと、予測に必要な情報まで失ってしまう可能性があります。特徴量の意味を理解することが大切です。
前処理の効果を理解せずに適用する: 標準化や対数化などの処理は、データの分布を変化させます。それぞれの処理がデータにどのような影響を与えるのか理解せずに適用すると、意図しない結果を招くことがあります。