লস ফাংশন

• Regression vs classification loss
• MSE, MAE, Huber-এর গণিত
• Cross-entropy ও softmax-এর সংযোগ

লস ফাংশন L(θ) মডেলের prediction ও সত্য মানের মধ্যে পার্থক্য পরিমাপ করে। ট্রেনিং মানেই L(θ)-কে minimize করা।

ডেরিভেটিভ: ∂L/∂ŷᵢ = −2(yᵢ − ŷᵢ)/n — error-এর সমানুপাতিক।

Gaussian noise ধরে নিলে MSE = negative log-likelihood।

MAE = (1/n)Σ|yᵢ − ŷᵢ| — outlier-resistant, কিন্তু 0-তে non-differentiable।

Huber loss: ছোট error-এ quadratic, বড় error-এ linear — দুইয়ের সুবিধা।

Binary: L = −[y log ŷ + (1−y) log(1−ŷ)]।

Softmax + cross-entropy-এর গ্রেডিয়েন্ট সরল: ∂L/∂zᵢ = ŷᵢ − yᵢ — তাই deep nets-এ এটি সর্বজনীন।

• Regression: MSE, MAE, Huber।
• Classification: Cross-entropy, focal loss।
• Generative: KL divergence, ELBO (VAE), Wasserstein (WGAN)।
• Contrastive: InfoNCE — আধুনিক self-supervised learning-এর ভিত্তি।