ক
কলন

পর্ব ১৭ · প্রোবাবিলিটি ও পরিসংখ্যান

প্রত্যাশা, ভ্যারিয়েন্স, কোভ্যারিয়েন্স

Randomness-এর গড় ও বিচ্ছুরণ — loss-এর expectation থেকেই training।

শেখার লক্ষ্য

  • E[X], Var[X], Cov(X,Y) সংজ্ঞা
  • linearity ও independence-এর ভূমিকা
  • estimator-এর bias/variance

পূর্বপ্রয়োজন

random variable, integral।

Expectation

E[X]=∑x p(x) বা ∫x f(x)dx

Linearity: E[aX+bY]=aE[X]+bE[Y] (independence-এর দরকার নেই)।

Variance ও covariance

Var[X]=E[(X−μ)²]=E[X²]−μ²
Cov(X,Y)=E[(X−μ_X)(Y−μ_Y)]

Independent ⇒ Cov=0; উল্টা সবসময় সত্য নয়।

AI-সংযোগ

Loss = E_{x∼data}[ℓ(f(x),y)]। SGD-তে minibatch দিয়ে এই expectation-এর unbiased estimate। Bias-variance tradeoff overfitting/underfitting বোঝায়।