ক
কলন

পর্ব ১৭ · প্রোবাবিলিটি ও পরিসংখ্যান

Entropy, KL ও cross-entropy

তথ্যের পরিমাপ — কেন classification loss = −log p।

শেখার লক্ষ্য

  • Shannon entropy
  • KL divergence properties
  • Cross-entropy ও NLL

পূর্বপ্রয়োজন

probability, log।

Entropy

H(p)=−∑ p(x) log p(x)

Distribution-এর গড় 'বিস্ময়'। Uniform-এ সর্বোচ্চ।

KL divergence

D_{KL}(p‖q)=∑ p(x) log(p(x)/q(x))

Always ≥0, =0 ⇔ p=q। Symmetric নয়; metric নয়।

Cross-entropy ও training

H(p,q)=H(p)+D_{KL}(p‖q)=−∑ p log q