পর্ব ১৩ · বহু-চলকীয় ক্যালকুলাস

গ্রেডিয়েন্ট

সর্বাধিক বৃদ্ধির দিক

শেখার লক্ষ্য

f(x₁, …, xₙ)-এর gradient ∇f একটি ভেক্টর যা সকল পার্শিয়াল অন্তরজ ধারণ করে:

\nabla f = (\partial f/\partial x_1, \partial f/\partial x_2, \ldots, \partial f/\partial x_n)

∇f একটি বিন্দুতে f-এর সর্বাধিক বৃদ্ধির দিক নির্দেশ করে।

‖∇f‖ = ঐ দিকে পরিবর্তনের হার (সর্বাধিক ঢাল)।

−∇f = সর্বাধিক হ্রাসের দিক (gradient descent এই দিকে চলে)।

Gradient descent: θ ← θ − α∇L(θ)। সর্বাধিক হ্রাসের দিকে ছোট পদক্ষেপ নিয়ে loss কমানো।

Adam, RMSprop, SGD-with-momentum — সবই gradient-ভিত্তিক।

Saliency map (CV): ∂L/∂x_pixel — ইনপুট পিক্সেলের gradient দেখিয়ে মডেলের মনোযোগ ব্যাখ্যা।