পর্ব ১৮ · অপ্টিমাইজেশন গণিত

কনভেক্সিটি

যে আকৃতিতে স্থানীয় ন্যূনতমই বৈশ্বিক ন্যূনতম

শেখার লক্ষ্য

Convex set ও convex function-এর সংজ্ঞা
First/second-order শর্ত
কেন ML-এ convexity এত গুরুত্বপূর্ণ

Convex Set

একটি সেট C convex যদি যেকোনো দুই বিন্দু x, y ∈ C-এর মধ্যবর্তী রেখাংশও C-তে থাকে।

\forall \lambda \in [0,1]:\ \lambda x + (1-\lambda) y \in C

উদাহরণ: ডিস্ক, অর্ধতল, ellipsoid — convex। চাঁদের আকৃতি বা ‘V’ — non-convex।

Convex Function

f convex যদি তার ডোমেইন convex হয় এবং:

f(\lambda x + (1-\lambda) y) \leq \lambda f(x) + (1-\lambda) f(y)

জ্যামিতিকভাবে: chord সবসময় ফাংশনের উপরে বা গায়ে থাকে।

শর্তসমূহ

First-order: f convex ⇔ f(y) ≥ f(x) + ∇f(x)·(y−x) — tangent plane নিচে থাকে।
Second-order: f দু'বার অন্তরযোগ্য হলে convex ⇔ Hessian H ≽ 0 (positive semidefinite)।
Strictly convex: H ≻ 0 — অনন্য ন্যূনতম।

কেন এত গুরুত্বপূর্ণ?

Linear regression, logistic regression, SVM, Lasso — সবই convex। এ কারণে এদের training নির্ভরযোগ্য।

এআই-সংযোগ

Deep neural network-এর loss সাধারণত non-convex — অসংখ্য saddle point ও local minima। তবুও SGD ভালো সমাধান খুঁজে পায় কারণ উচ্চ মাত্রায় বেশিরভাগ critical point saddle, প্রকৃত খারাপ local minima বিরল।

Convex relaxation: কঠিন non-convex সমস্যাকে convex-এ রূপান্তর (যেমন L0 → L1 in Lasso)।

সারসংক্ষেপ

Convex set: রেখাংশ ভিতরে থাকে।
Convex function: chord উপরে; H ≽ 0।
Local min = global min — অপ্টিমাইজেশনের স্বপ্ন।