ক
কলন

পর্ব ১৬ · লিনিয়ার অ্যালজেব্রা

SVD ও PCA

যেকোনো ম্যাট্রিক্স তিনটি ভাগে — rotation, scale, rotation।

শেখার লক্ষ্য

  • SVD decomposition
  • truncated SVD
  • PCA-র algorithm

পূর্বপ্রয়োজন

eigenvalue, orthogonal matrix।

SVD

A = U Σ Vᵀ

U,V orthonormal; Σ diagonal singular value (≥0 অবরোহী)। যেকোনো A-তে কাজ করে।

Low-rank approximation

Top-k singular value রেখে A_k বানালে A-র সবচেয়ে ভালো rank-k approximation (Eckart–Young)। Image/embedding compression।

PCA

  • ডেটা center করো।
  • Covariance C=XᵀX/(n−1)।
  • C-র top eigenvectors = principal axes।
  • Project: Z=X·V_k।