পর্ব ২০ · ডিপ লার্নিং-এ ক্যালকুলাস
এআই-তে চেইন রুল
Multivariate ও tensor-valued চেইন রুল
শেখার লক্ষ্য
- Vector/matrix চেইন রুল
- Jacobian ও Hessian
- Autodiff modes
Vector Chain Rule
y = f(g(x)) যেখানে x ∈ ℝⁿ, g : ℝⁿ→ℝᵐ, f : ℝᵐ→ℝᵏ:
Jacobian-এর গুণ — চেইন রুলের matrix রূপ।
Forward-mode vs Reverse-mode
Forward-mode: input থেকে output বরাবর গ্রেডিয়েন্ট ছড়ায়; ইনপুট কম হলে সস্তা।
Reverse-mode (backprop): output থেকে input বরাবর; ML-এ output স্কেলার (loss), input লক্ষ-লক্ষ → reverse-mode efficient।
Hessian ও দ্বিতীয়-ক্রম পদ্ধতি
Hessian H = ∇²L — curvature তথ্য দেয়।
Newton-step: θ ← θ − H⁻¹∇L; দ্রুত converge কিন্তু H computation ব্যয়বহুল।
K-FAC, Shampoo — approximate second-order optimizer।
এআই-সংযোগ
JAX-এর jvp/vjp ঠিক forward/reverse mode-এর উন্মোচন।
Influence function, meta-learning (MAML)-এ ২য়-ক্রম গ্রেডিয়েন্ট দরকার।