はじめに
「線形回帰を使おうと思っているけれど、本当にこの方法で合っているのだろう」
「どんな場合に線形回帰では対応できず、別の回帰モデルを選ぶべきなのだろう」と迷っていませんか。
たとえば、予測モデルを作ろうとして説明変数や目的変数を用意したものの、目的変数が0か1だったり、件数データだったりして、サンプルコードのまま線形回帰を実行してよいのか判断できず迷ってしまうことがありますよね。
この記事では、線形回帰が使えない代表的なケースや、その理由をわかりやすく整理したうえで、ロジスティック回帰やポアソン回帰など、状況に応じた回帰モデルの選び方を順を追って説明していきます。
線形回帰じゃダメ？
線形回帰はすべての分析で使えないわけではありません。
ここでは、線形回帰が問題なく使えるケースと、別の回帰モデルを選ぶべきケースの違いを整理し、モデル選択で確認したいポイントを順を追って説明していきます。
線形回帰そのものがダメなわけではない
線形回帰は、目的変数が連続値で、説明変数との関係がおおむね直線で表せる場合に適した手法です。
一方、0か1の二値データや回数を表すカウントデータでは、線形回帰が適さないことがあります。
線形回帰そのものに問題があるのではなく、扱うデータに合っているかを確認して使うことが大切です。
目的変数の種類とモデルの前提が合っているかが重要
線形回帰を使えるかどうかは、目的変数の種類やモデルの前提を確認して判断します。
たとえば、売上や身長のような連続値には線形回帰を使えますが、0か1の二値データやカウントデータには別のモデルが適しています。
分析を始める前にデータの特徴を確認し、それに合った手法を選ぶようにしましょう。
線形回帰ではダメになりやすいケース
線形回帰は便利な手法ですが、データの特徴やモデルの前提に合わない場合は、予測や推定結果の信頼性が低下することがあります。
ここでは、線形回帰では適切な分析が難しくなりやすい代表的なケースと、その理由を順を追って説明していきます。
目的変数が0か1の二値データになっている
目的変数が「成功・失敗」「購入・未購入」のような0か1の二値データの場合、線形回帰は基本的に適していません。
予測値が0〜1の範囲を外れたり、誤差に関する前提を満たしにくくなったりするためです。
このようなデータを分析するときは、二値データに対応したモデルを選ぶ必要があります。
予測値が本来あり得ない範囲に出てしまう
線形回帰の予測値には上限や下限がないため、確率を予測すると-0.2や1.3のような値が出ることがあります。
確率は0〜1の範囲で表すため、このような値はそのまま確率として解釈できません。
そのため、予測値の範囲が決まっているデータには、線形回帰が適さない場合があります。
二値データでは誤差の分散が一定にならない
二値データでは、予測確率によって誤差のばらつきが変わるため、線形回帰が前提とする「誤差の分散が一定」という条件を満たしません。
そのまま線形回帰を使うと、標準誤差や検定結果を適切に評価できないことがあります。
そのため、二値データに合ったモデルを使うことが大切です。
説明変数と目的変数の関係を直線で表しにくい
説明変数と目的変数の関係が曲線的に変化する場合は、1本の直線でうまく表せないことがあります。
そのまま線形回帰を使うと、データの特徴を十分に捉えられず、予測にずれが生じる可能性があります。
散布図や残差などを確認し、直線的な関係として扱えるかを判断しましょう。
目的変数が正規分布していないと線形回帰はダメなのか
「目的変数が正規分布していないと線形回帰は使えない」と考えられることがありますが、実際には目的変数そのものの正規性は必須条件ではありません。
ここでは、目的変数の正規性に関する誤解を整理したうえで、実際に確認すべきポイントを順を追って説明していきます。
目的変数そのものの正規性は必須ではない
線形回帰では、目的変数そのものが正規分布している必要はありません。
目的変数の分布に偏りがあっても、モデルの前提が満たされていれば線形回帰を使える場合があります。
そのため、ヒストグラムが正規分布に見えないという理由だけで、線形回帰を使えないと判断する必要はありません。
確認すべきなのは残差やモデルの前提
線形回帰では、目的変数の分布よりも、残差やモデルの前提を確認することが大切です。
残差に大きな偏りがないか、分散が一定か、正規性に大きな問題がないかなどを確認します。
これらの前提がおおむね満たされていれば、目的変数が正規分布していなくても線形回帰を使える場合があります。
線形回帰が使えないときは何を使えばいい？
線形回帰が適さない場合でも、分析そのものを諦める必要はありません。
ここでは、代表的なデータの種類ごとに適した回帰モデルと、連続値であってもモデルの見直しが必要になるケースを順を追って説明していきます。
0か1の二値データなら
目的変数が0か1の二値データなら、ロジスティック回帰が選択肢になります。
予測結果が0〜1の範囲に収まるため、「1になる確率」として解釈できるのが特徴です。
成功・失敗や購入・未購入などを分析したい場合に適しています。
回数などのカウントデータなら
発生件数や来店回数など、0以上の整数で表されるカウントデータには、ポアソン回帰がよく使われます。
予測値が負になることを避けながら、回数と説明変数の関係を分析できます。
ただし、データのばらつきなどによっては、ほかのモデルが適している場合もあります。
連続値でも前提が合わない場合はモデルを見直す
目的変数が連続値でも、説明変数との関係が直線的でなかったり、残差の分散が大きく変化したりする場合は注意が必要です。
そのまま線形回帰を使うのではなく、まずデータや残差の特徴を確認しましょう。
前提に合わない場合は、データに適した別のモデルや分析方法を検討します。
線形回帰を使っていいか判断するポイント
線形回帰を使うかどうかは、目的変数が連続値であることだけで判断できるものではありません。
ここでは、線形回帰を適用する前と適用した後に確認したいポイントを順を追って説明していきます。
まず目的変数が何を表しているか確認する
線形回帰を使う前に、まず目的変数の種類を確認しましょう。
売上や身長のような連続値には使えますが、0か1の二値データや回数を表すカウントデータには基本的に適していません。
最初に目的変数を確認しておくと、線形回帰を選んでよいか判断しやすくなります。
説明変数と目的変数の関係を確認する
線形回帰では、説明変数と目的変数の関係がおおむね直線で表せることが大切です。
散布図を作り、データの並び方に大きな曲がりや偏りがないか確認してみましょう。
直線では捉えにくい関係が見られる場合は、別のモデルも検討する必要があります。
予測値や残差を確認してモデルが合っているか判断する
モデルを作成した後は、予測値と残差を確認して、データに合っているかを判断します。
残差が0を中心にばらついていれば大きな問題はありませんが、曲線状や扇形などの偏ったパターンが見られる場合は注意が必要です。
このような場合は、線形回帰の前提が満たされているかを改めて確認しましょう。
説明変数同士の相関が強すぎないか確認する
複数の説明変数を使う場合は、説明変数同士の相関が強すぎないかも確認します。
相関が強いと、それぞれの影響を分けて捉えにくくなり、回帰係数が不安定になることがあります。
相関係数やVIFなどを確認し、多重共線性に問題がないか確かめておくと安心です。
まとめ
線形回帰を使うときに大切なのは、「線形回帰が使えるか」を一律に考えるのではなく、データの特徴に合っているかを確認することです。
目的変数の種類や説明変数との関係を確認し、モデルを作成した後は残差などにも目を向けることで、より適切に判断できます。
もし0か1の二値データやカウントデータなど、線形回帰の前提に合わないデータであれば、ロジスティック回帰やポアソン回帰といった別の方法も選択肢になります。
まずは目的変数がどのようなデータなのかを整理し、その特徴に合った回帰モデルを選ぶところから始めてみましょう。