ক
কলন

পর্ব ১৬ · লিনিয়ার অ্যালজেব্রা

ম্যাট্রিক্স ক্যালকুলাস

Backprop-এর হাড়-পাঁজর — ভেক্টর/ম্যাট্রিক্সের সাপেক্ষে অন্তরজ।

শেখার লক্ষ্য

  • layout convention
  • মূল identity
  • chain rule matrix form

পূর্বপ্রয়োজন

partials, gradient, ম্যাট্রিক্স।

Layout ও basic

∂(Ax)/∂x = A, ∂(xᵀAx)/∂x = (A+Aᵀ)x

Numerator vs denominator layout convention আগে স্থির করো; এ বইয়ে denominator layout (gradient column vector)।

প্রয়োজনীয় identity

∂‖x‖²/∂x = 2x, ∂tr(AX)/∂X = Aᵀ
∂det(X)/∂X = det(X)·(X⁻¹)ᵀ
∂log det X/∂X = (X⁻¹)ᵀ

Chain rule (matrix)

L = f(g(W)) হলে ∂L/∂W = (∂g/∂W)ᵀ · ∂L/∂g। Backprop ঠিক এটাই — layer-by-layer matrix product জমা করে।