পর্ব ১৯ · মেশিন লার্নিং-এ ক্যালকুলাস
অপ্টিমাইজেশন → ML সেতু
কেন ML মূলত একটি optimization problem।
শেখার লক্ষ্য
- ERM framework
- stochastic vs full gradient
- generalization-এর গণিত
পূর্বপ্রয়োজন
loss, gradient descent, probability।
Empirical Risk Minimization
Loss = data fit term + regularizer।
Stochastic gradient
Full gradient O(N) প্রতি step — বড় ডেটায় অসম্ভব। Minibatch unbiased estimate: noise injects exploration, escape saddle।
Generalization
Train loss vs test loss-এর gap = generalization error। Bias-variance, Rademacher, PAC-Bayes — পরের পর্বে আরও।