単回帰分析とは、1個（単一）の説明変数（原因系）と目的変数（結果系）の関係を数式化することですが、基本的には直線近似を前提としています。そこで今回は、この回帰直線の意味を考えてみたいと思います。
いろいろな教科書にも記載されている通り、この直線の方程式は最小二乗法を使って決定されます。よく勘違いされることの一つが、どの部分の最小二乗法であるかの点です。
1．回帰直線はyの残差を最小とする
回帰直線の方程式は、各座標から「垂線の足」までの距離（の二乗の和）を最小化していると勘違いされることがよくあります。通常の回帰分析ではxに対するyをみたいので、図1の青線ではなく、赤線の距離（の二乗和）を最小化したものとなっています。傾きが45度ならば両直線の方程式は一致しますが、そうでなければ異なります。
図1．回帰直線はyの残差を最小にする
2．回帰と逆回帰の結果は異なる
もう一つありがちな勘違いは、「回帰直線を使ってxからyを推定した値は、yからxを推定した値と一致する」というものですが、これは一致しません。つまり逆回帰と回帰は一致しないので、yからxを推定するには、座標軸を入れ替えないといけません。結果から原因を推定するのに相当します。
通常の回帰分析ではxの値からyを推定しており、この時の直線方程式は図2の赤線距離の二乗和を最小化しています。一方yからxを推定する時には、黒線距離の二乗和を最小にする必要があります。青色の線は、回帰と逆回帰とでは異なるのです。
図2．回帰と逆回帰の関係
...
