20. 主成分・因子・多変量の構造

複数科目の得点やセンサーの測定値では、似た変数が同じ情報を繰り返し持っています。主成分分析（PCA）は観測変数の線形結合で、分散をなるべく失わず低次元に表す方法です。

共分散行列 $\Sigma$ に対し、長さ1の $a$ で $\operatorname{Var}(a^TX)=a^T\Sigma a$ を最大にします。ラグランジュ未定乗数法から $\Sigma a=\lambda a$。最大固有値の固有ベクトルが第1主成分で、以後は直交制約の下で選びます。

標準化変数の相関行列が $\begin{pmatrix}1&0.8\\0.8&1\end{pmatrix}$ なら、固有値は1.8と0.2、固有ベクトルは $(1,1)/\sqrt2$ と $(1,-1)/\sqrt2$。第1主成分は共通の高さ、第2主成分は差を表し、第1の寄与率は $1.8/2=90\%$ です。

• 青実線：第1方向・長い軸
• 橙破線：第2方向・短い軸
• 灰色曲線：マハラノビス距離1の楕円

チャートを読み込んでいます。数値は本文・表でも確認できます。

グラフの数値を表で確認する

主成分	固有値	寄与率（%）	固有ベクトル
第1	1.8	90	(1,1)/√2
第2	0.2	10	(1,−1)/√2

学習用のデータ・理論値。狭い画面ではグラフを横にスクロールできます。

測定単位が違うなら相関行列で行うかを検討します。標準化は各変数を等しく重視する選択で、常に正しいわけではありません。固有ベクトルの符号は反転しても同じ解です。主成分得点と負荷量の定義も区別します。

$X=\mu+\Lambda F+\varepsilon$、$\operatorname{Cov}(F)=I$、独自因子の共分散 $\Psi$ を対角とすると $\Sigma=\Lambda\Lambda^T+\Psi$。PCAが全分散を要約するのに対し、因子分析は共通分散と独自分散を分けます。

探索的因子分析（EFA）は負荷の構造を探り、確証的因子分析（CFA）は事前に定めた構造を評価します。直交回転なら $\Lambda Q$ も同じ共分散を与えるため、回転・識別の条件が必要です。因子数は適合、解釈可能性、並行分析などを合わせて検討し、固有値1の基準だけで決めません。

クラスター分析は距離と連結法で結果が変わります。k-meansは群内平方和を最小化するため、尺度、外れ値、初期値に注意します。階層法の樹形図は類似性を示すもので、確定した自然分類の証拠ではありません。マハラノビス距離は $d^2=(x-\mu)^T\Sigma^{-1}(x-\mu)$ で相関を考慮しますが、共分散推定が不安定な高次元では正則化が必要です。

主成分の固有値が4、1、1なら第1主成分の寄与率は？

解答・解説

$4/(4+1+1)=2/3$、約66.7%。4を変数の数3で割るのではありません。