Entropy, KL ও cross-entropy
তথ্যের পরিমাপ — কেন classification loss = −log p।
~২ মিনিট
শেখার লক্ষ্য
- Shannon entropy
- KL divergence properties
- Cross-entropy ও NLL
পূর্বপ্রয়োজন
probability, log।
Entropy
Distribution-এর গড় 'বিস্ময়'। Uniform-এ সর্বোচ্চ।
KL divergence
Always ≥0, =0 ⇔ p=q। Symmetric নয়; metric নয়।
Cross-entropy ও training
কীবোর্ড: ← আগের · → পরের · / খুঁজুন · g শব্দকোষ