Bias of an estimator

Bias (statistics)

পরিসংখ্যানে, একটি এস্টিমেটরের বায়াস (বা বায়াস ফাংশন) হলো এই এস্টিমেটরের প্রত্যাশিত মান (expected value) এবং যে প্যারামিটারটি অনুমান করা হচ্ছে তার প্রকৃত মানের (true value) মধ্যে পার্থক্য। শূন্য বায়াস বিশিষ্ট একটি এস্টিমেটর বা সিদ্ধান্ত গ্রহণ বিধিকে আনবায়াসড (unbiased) বা পক্ষপাতহীন বলা হয়। পরিসংখ্যানে, "বায়াস" হলো একটি এস্টিমেটরের একটি বস্তুনিষ্ঠ বৈশিষ্ট্য। বায়াস এবং কনসিস্টেন্সি (consistency) সম্পূর্ণ ভিন্ন ধারণা: কনসিস্টেন্ট এস্টিমেটরগুলো প্যারামিটারের প্রকৃত মানের দিকে সম্ভাব্যতা অনুযায়ী ধাবিত হয়, কিন্তু সেগুলো বায়াসড বা আনবায়াসড উভয়ই হতে পারে (আরও জানতে দেখুন বায়াস বনাম কনসিস্টেন্সি)।

অন্যান্য সব শর্ত সমান থাকলে, একটি বায়াসড এস্টিমেটরের চেয়ে একটি আনবায়াসড এস্টিমেটরকে অগ্রাধিকার দেওয়া হয়, যদিও বাস্তবে বায়াসড এস্টিমেটরগুলো (সাধারণত ছোট বায়াসসহ) প্রায়শই ব্যবহৃত হয়। যখন একটি বায়াসড এস্টিমেটর ব্যবহার করা হয়, তখন বায়াসের সীমা গণনা করা হয়। একটি বায়াসড এস্টিমেটর বিভিন্ন কারণে ব্যবহৃত হতে পারে: কারণ জনসংখ্যার (population) বিষয়ে অতিরিক্ত অনুমান ছাড়া কোনো আনবায়াসড এস্টিমেটর বিদ্যমান থাকে না; কারণ একটি এস্টিমেটর গণনা করা কঠিন (যেমন unbiased estimation of standard deviation-এর ক্ষেত্রে); কারণ একটি বায়াসড এস্টিমেটর কেন্দ্রীয় প্রবণতার (central tendency) বিভিন্ন পরিমাপের সাপেক্ষে আনবায়াসড হতে পারে; কারণ একটি বায়াসড এস্টিমেটর আনবায়াসড এস্টিমেটরের তুলনায় কোনো কোনো লস ফাংশন (বিশেষ করে mean squared error) এর নিম্ন মান প্রদান করে (বিশেষত shrinkage estimator-এ); অথবা কারণ কিছু ক্ষেত্রে আনবায়াসড হওয়া একটি অত্যন্ত কঠোর শর্ত এবং একমাত্র আনবায়াসড এস্টিমেটরগুলো কার্যকর নয়।

বায়াসকে গড় (প্রত্যাশিত মান)-এর পরিবর্তে মধ্যমা (median)-এর সাপেক্ষেও পরিমাপ করা যেতে পারে, সেক্ষেত্রে মিডিয়ান-আনবায়াসড এবং সাধারণ মিন-আনবায়াসড বৈশিষ্ট্যের মধ্যে পার্থক্য করা হয়। মিন-আনবায়াসড বৈশিষ্ট্যটি অরৈখিক ডেটা রূপান্তরের ক্ষেত্রে বজায় থাকে না, যদিও মিডিয়ান-আনবায়াসড বৈশিষ্ট্যটি বজায় থাকে (দেখুন Effect of transformations); উদাহরণস্বরূপ, নমুনা ভেদাঙ্ক (sample variance) হলো পপুলেশন ভেদাঙ্কের জন্য একটি বায়াসড এস্টিমেটর। এগুলো নিচে চিত্রিত করা হয়েছে।

একটি প্যারামিটারের জন্য সবসময় একটি আনবায়াসড এস্টিমেটর বিদ্যমান থাকে না। উদাহরণস্বরূপ, একটি দ্বিপদী দৈব চলকের (binomial random variable) প্যারামিটারের বিপরীতকের জন্য কোনো আনবায়াসড এস্টিমেটর নেই।

সংজ্ঞা

ধরা যাক আমাদের একটি পরিসংখ্যানগত মডেল আছে, যা একটি বাস্তব সংখ্যা θ দ্বারা প্যারামিটারাইজড, যা পর্যবেক্ষিত ডেটার জন্য একটি সম্ভাব্যতা বিন্যাস প্রদান করে, $P_{\theta }(x)=P(x\mid \theta )$, এবং একটি পরিসংখ্যান $\hat{\theta }$ যা যেকোনো পর্যবেক্ষিত ডেটা $x$-এর ওপর ভিত্তি করে θ-এর একটি এস্টিমেটর হিসেবে কাজ করে। অর্থাৎ, আমরা ধরে নিই যে আমাদের ডেটা কিছু অজানা বিন্যাস $P(x\mid \theta )$ অনুসরণ করে (যেখানে θ একটি নির্দিষ্ট, অজানা ধ্রুবক যা এই বিন্যাসের অংশ), এবং তারপর আমরা একটি এস্টিমেটর $\hat{\theta }$ তৈরি করি যা পর্যবেক্ষিত ডেটাকে এমন মানে ম্যাপ করে যা আমরা আশা করি θ-এর কাছাকাছি হবে। θ-এর সাপেক্ষে $\hat{\theta }$-এর বায়াস নিম্নরূপে সংজ্ঞায়িত করা হয় $$\mathrm{Bias}(\hat{\theta },\theta )={\mathrm{Bias}}_{\theta }\left[\hat{\theta }\right]={\mathrm{E}}_{x\mid \theta }\left[\hat{\theta }\right]-\theta ={\mathrm{E}}_{x\mid \theta }[\hat{\theta }-\theta ],$$

যেখানে ${\mathrm{E}}_{x\mid \theta }$ বলতে বিন্যাস $P(x\mid \theta )$-এর ওপর প্রত্যাশিত মান বোঝায় (অর্থাৎ, সমস্ত সম্ভাব্য পর্যবেক্ষণ $x$-এর ওপর গড়)। দ্বিতীয় সমীকরণটি সত্য কারণ θ শর্তাধীন বিন্যাস $P(x\mid \theta )$-এর সাপেক্ষে পরিমাপযোগ্য।

একটি এস্টিমেটরকে আনবায়াসড বলা হয় যদি প্যারামিটার θ-এর সমস্ত মানের জন্য এর বায়াস শূন্য হয়, অথবা সমতুল্যভাবে, যদি এস্টিমেটরের প্রত্যাশিত মান প্যারামিটারের প্রত্যাশিত মানের সাথে মিলে যায়। আনবায়াসডনেস সবসময় বজায় থাকবে এমন নিশ্চয়তা নেই। উদাহরণস্বরূপ, যদি $\hat{\theta }$ প্যারামিটার θ-এর জন্য একটি আনবায়াসড এস্টিমেটর হয়, তবে সাধারণত এটি নিশ্চিত নয় যে g($\hat{\theta }$) হলো g(θ)-এর জন্য একটি আনবায়াসড এস্টিমেটর, যদি না g একটি রৈখিক ফাংশন হয়।

একটি এস্টিমেটরের বৈশিষ্ট্য সম্পর্কিত একটি সিমুলেশন পরীক্ষায়, এস্টিমেটরের বায়াস mean signed difference ব্যবহার করে মূল্যায়ন করা যেতে পারে।

উদাহরণ

নমুনা ভেদাঙ্ক

মূল নিবন্ধ: Sample variance নমুনা ভেদাঙ্ক বায়াস এবং ঝুঁকি সম্পর্কে দুটি ভিন্ন সমস্যা তুলে ধরে। প্রথমত, যে "নায়েভ" (naive) এস্টিমেটরটি n দ্বারা ভাগ করে, তা নিম্নমুখী বায়াসযুক্ত কারণ নমুনার গড় একই ডেটা থেকে অনুমান করা হয়। n/(n−1) (Bessel’s correction) দ্বারা গুণ করলে একটি আনবায়াসড এস্টিমেটর পাওয়া যায়। দ্বিতীয়ত, আনবায়াসডনেস মানেই সর্বনিম্ন mean squared error নয়।

ধরা যাক X₁, ..., X_n হলো independent and identically distributed (i.i.d.) দৈব চলক, যার প্রত্যাশা μ এবং ভেদাঙ্ক σ²। যদি নমুনা গড় এবং অসংরক্ষিত নমুনা ভেদাঙ্ক নিম্নরূপে সংজ্ঞায়িত করা হয়

$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i{S}^2=\frac{1}{n}\sum _{i=1}^n{(X_i-\bar{X})}^2$$

তবে S² হলো σ²-এর একটি বায়াসড এস্টিমেটর। এটি law of total variance থেকে সরাসরি অনুসরণ করে কারণ

$$\underset{{\sigma }^2}{\underbrace{\mathrm{Var}(X)}}=\underset{E[S^2]}{\underbrace{\mathrm{E}[\mathrm{Var}(X\mid \overline{X})]}}+\underset{{\sigma }^2/n}{\underbrace{\mathrm{Var}(\mathrm{E}[X\mid \overline{X}])}},⟹E[S^2]=\frac{n-1}{n}{\sigma }^2.$$

অন্য কথায়, অসংরক্ষিত নমুনা ভেদাঙ্কের প্রত্যাশিত মান পপুলেশন ভেদাঙ্ক σ²-এর সমান হয় না, যদি না একটি নরমালাইজেশন ফ্যাক্টর দ্বারা গুণ করা হয়। ভেদাঙ্কের বায়াসড (অসংরক্ষিত) এবং আনবায়াসড অনুমানের মধ্যে অনুপাতকে Bessel's correction বলা হয়। অন্যদিকে, নমুনা গড় হলো পপুলেশন গড় μ-এর একটি আনবায়াসড এস্টিমেটর। উপরের সমীকরণের ডানদিকের দ্বিতীয় পদের সমতা Bienaymé's identity-এর মাধ্যমে বোঝা যায়,

$$\begin{array}{rl}\mathrm{Var}(\mathrm{E}[X\mid \overline{X}])& =\mathrm{Var}\left(\bar{X}\right)=\mathrm{Var}\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)\\ & =\frac{1}{n^2}\sum _{i=1}^n\mathrm{Var}\left(X_i\right)=\frac{1}{n^2}n{\sigma }^2=\frac{{\sigma }^2}{n}.\end{array}$$

অসংরক্ষিত নমুনা ভেদাঙ্ক, S², বায়াসড হওয়ার কারণ হলো নমুনা গড় হলো μ-এর জন্য একটি ordinary least squares (OLS) এস্টিমেটর: $\bar{X}$ হলো সেই সংখ্যা যা সমষ্টি ${\sum }_{i=1}^n(X_i-\bar{X}{)}^2$-কে যতটা সম্ভব ছোট করে। অর্থাৎ, যখন এই সমষ্টিতে অন্য কোনো সংখ্যা বসানো হয়, তখন সমষ্টি কেবল বৃদ্ধি পেতে পারে। বিশেষ করে, পছন্দ $\mu \ne \bar{X}$ দেয়,

$$\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2<\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2,$$ এবং তারপর $$\begin{array}{rl}\mathrm{E}[S^2]& =\mathrm{E}[\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2]<\mathrm{E}[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2]={\sigma }^2.\end{array}$$

উপরের আলোচনাটি জ্যামিতিক পরিভাষায় বোঝা যেতে পারে: ভেক্টর $\overrightarrow{C}=(X_1-\mu ,\dots ,X_n-\mu )$-কে $\overrightarrow{u}=(1,\dots ,1)$ দিক বরাবর এবং সেই দিকের অর্থোগোনাল কমপ্লিমেন্ট হাইপারপ্লেনে প্রজেক্ট করে "গড় অংশ" এবং "ভেদাঙ্ক অংশ"-এ বিভক্ত করা যেতে পারে। কেউ $\overrightarrow{u}$ বরাবর অংশের জন্য $\overrightarrow{A}=(\bar{X}-\mu ,\dots ,\bar{X}-\mu )$ এবং পরিপূরক অংশের জন্য $\overrightarrow{B}=(X_1-\bar{X},\dots ,X_n-\bar{X})$ পায়। যেহেতু এটি একটি অর্থোগোনাল ডিকম্পোজিশন, পিথাগোরাসের উপপাদ্য বলে $|\overrightarrow{C}{|}^2=|\overrightarrow{A}{|}^2+|\overrightarrow{B}{|}^2$, এবং প্রত্যাশা গ্রহণ করলে আমরা পাই $n{\sigma }^2=n\mathrm{E}[(\bar{X}-\mu {)}^2]+n\mathrm{E}[S^2]$, যেমনটি উপরে আছে (কিন্তু $n$ গুণ)। যদি $\overrightarrow{C}$-এর বিন্যাস ঘূর্ণনশীলভাবে প্রতিসম হয়, যেমনটি যখন $X_i$ গাউসিয়ান থেকে নমুনা নেওয়া হয়, তখন গড়ে, $\overrightarrow{u}$ বরাবর মাত্রাটি $|\overrightarrow{C}{|}^2$-এ সমানভাবে অবদান রাখে যেমন $\overrightarrow{u}$-এর লম্ব $n-1$ দিকগুলো, যাতে $\mathrm{E}[(\bar{X}-\mu {)}^2]=\frac{{\sigma }^2}{n}$ এবং $\mathrm{E}[S^2]=\frac{n-1}{n}{\sigma }^2$ হয়। এটি প্রকৃতপক্ষে সাধারণভাবে সত্য, যেমনটি উপরে ব্যাখ্যা করা হয়েছে।

পয়সন সম্ভাব্যতা অনুমান

একটি বায়াসড এস্টিমেটর যেকোনো আনবায়াসড এস্টিমেটরের চেয়ে ভালো হওয়ার একটি অনেক বেশি চরম উদাহরণ পয়সন বিন্যাস থেকে আসে। ধরা যাক X-এর একটি পয়সন বিন্যাস আছে যার প্রত্যাশা λ। অনুমান করা বাঞ্ছনীয় $$\mathrm{P}(X=0{)}^2=e^{-2\lambda }$$

১ আকারের একটি নমুনা দিয়ে। (উদাহরণস্বরূপ, যখন একটি টেলিফোন সুইচবোর্ডে ইনকামিং কলগুলোকে একটি পয়সন প্রক্রিয়া হিসেবে মডেল করা হয়, এবং λ হলো প্রতি মিনিটে কলের গড় সংখ্যা, তখন e^−2λ (অনুমানযোগ্য) হলো পরবর্তী দুই মিনিটে কোনো কল না আসার সম্ভাবনা।)

যেহেতু একটি আনবায়াসড এস্টিমেটর δ(X)-এর প্রত্যাশা estimand-এর সমান, অর্থাৎ $$\mathrm{E}(\delta (X))=\sum _{x=0}^{\mathrm{\infty }}\delta (x)\frac{{\lambda }^x{e}^{-\lambda }}{x!}=e^{-2\lambda },$$

ডেটার একমাত্র ফাংশন যা একটি আনবায়াসড এস্টিমেটর গঠন করে তা হলো $$\delta (x)=(-1{)}^x.$$

এটি বোঝার জন্য, লক্ষ্য করুন যে প্রত্যাশার জন্য উপরের রাশি থেকে e^−λ বিয়োজন করার সময়, যে সমষ্টিটি অবশিষ্ট থাকে তা e^−λ-এর একটি টেইলর সিরিজ প্রসারণও, যা e^−λe^−λ = e^−2λ প্রদান করে (দেখুন Characterizations of the exponential function)।

যদি X-এর পর্যবেক্ষিত মান ১০০ হয়, তবে অনুমানটি ১, যদিও অনুমান করা পরিমাণের প্রকৃত মান খুব সম্ভবত ০-এর কাছাকাছি, যা বিপরীত চরম। এবং, যদি X ১০১ হিসেবে পর্যবেক্ষিত হয়, তবে অনুমানটি আরও অযৌক্তিক: এটি −১, যদিও অনুমান করা পরিমাণটি অবশ্যই ধনাত্মক হতে হবে।

(বায়াসড) ম্যাক্সিমাম লাইকলিহুড এস্টিমেটর $$e^{-2X}$$

এই আনবায়াসড এস্টিমেটরের চেয়ে অনেক ভালো। এর মান কেবল সবসময় ধনাত্মকই নয়, এটি আরও নির্ভুল এই অর্থে যে এর mean squared error $$e^{-4\lambda }-2e^{\lambda (1/e^2-3)}+e^{\lambda (1/e^4-1)}$$

ছোট; আনবায়াসড এস্টিমেটরের MSE-এর সাথে তুলনা করুন $$1-e^{-4\lambda }.$$

MSE-গুলো প্রকৃত মান λ-এর ফাংশন। ম্যাক্সিমাম-লাইকলিহুড এস্টিমেটরের বায়াস হলো: $$e^{\lambda (1/e^2-1)}-e^{-2\lambda }.$$

বিচ্ছিন্ন সুষম বিন্যাসের সর্বোচ্চ মান

মূল নিবন্ধ: Maximum of a discrete uniform distribution ম্যাক্সিমাম-লাইকলিহুড এস্টিমেটরগুলোর বায়াস যথেষ্ট হতে পারে। এমন একটি কেস বিবেচনা করুন যেখানে ১ থেকে n পর্যন্ত সংখ্যাযুক্ত nটি টিকিট একটি বাক্সে রাখা হয় এবং একটি দৈবভাবে নির্বাচন করা হয়, যা একটি মান X দেয়। যদি n অজানা হয়, তবে n-এর ম্যাক্সিমাম-লাইকলিহুড এস্টিমেটর হলো X, যদিও n দেওয়া থাকলে X-এর প্রত্যাশা মাত্র (n + 1)/2; আমরা কেবল নিশ্চিত হতে পারি যে n অন্তত X এবং সম্ভবত আরও বেশি। এই ক্ষেত্রে, স্বাভাবিক আনবায়াসড এস্টিমেটর হলো 2X − 1।

মিডিয়ান-আনবায়াসড এস্টিমেটর

মিডিয়ান-আনবায়াসড এস্টিমেটরের তত্ত্ব ১৯৪৭ সালে জর্জ ডব্লিউ. ব্রাউন দ্বারা পুনরুজ্জীবিত হয়েছিল:

একটি এক-মাত্রিক প্যারামিটার θ-এর একটি অনুমানকে মিডিয়ান-আনবায়াসড বলা হবে, যদি, নির্দিষ্ট θ-এর জন্য, অনুমানের বিন্যাসের মধ্যমা θ মানে থাকে; অর্থাৎ, অনুমানটি যতবার ওভারএস্টিমেট করে ঠিক ততবারই আন্ডারএস্টিমেট করে। এই প্রয়োজনীয়তাটি বেশিরভাগ উদ্দেশ্যের জন্য মিন-আনবায়াসড প্রয়োজনীয়তার মতোই কাজ করে এবং এর অতিরিক্ত বৈশিষ্ট্য রয়েছে যে এটি এক-থেকে-এক রূপান্তরের অধীনে ইনভ্যারিয়েন্ট।

মিডিয়ান-আনবায়াসড এস্টিমেটরের আরও বৈশিষ্ট্য লেহম্যান, বার্নবাম, ভ্যান ডার ভার্ট এবং ফ্যানজাগল দ্বারা উল্লেখ করা হয়েছে। বিশেষ করে, মিডিয়ান-আনবায়াসড এস্টিমেটর এমন ক্ষেত্রে বিদ্যমান যেখানে মিন-আনবায়াসড এবং ম্যাক্সিমাম-লাইকলিহুড এস্টিমেটর বিদ্যমান নেই। এগুলো এক-থেকে-এক রূপান্তরের অধীনে ইনভ্যারিয়েন্ট।

সম্ভাব্যতা বিন্যাসের জন্য মিডিয়ান-আনবায়াসড এস্টিমেটর তৈরির পদ্ধতি রয়েছে যেগুলোর মনোটোন লাইকলিহুড-ফাংশন আছে, যেমন এক-প্যারামিটার এক্সপোনেনশিয়াল ফ্যামিলি, যাতে নিশ্চিত করা যায় যে সেগুলো সর্বোত্তম (মিন-আনবায়াসড এস্টিমেটরের জন্য বিবেচিত সর্বনিম্ন-ভেদাঙ্ক বৈশিষ্ট্যের অনুরূপ অর্থে)। এমন একটি পদ্ধতি হলো মিন-আনবায়াসড এস্টিমেটরের জন্য রাও-ব্ল্যাকওয়েল পদ্ধতির একটি অ্যানালগ: পদ্ধতিটি মিন-আনবায়াসড অনুমানের জন্য রাও-ব্ল্যাকওয়েল পদ্ধতির চেয়ে সম্ভাব্যতা বিন্যাসের একটি ছোট ক্লাসের জন্য কাজ করে কিন্তু লস-ফাংশনের একটি বড় ক্লাসের জন্য।

অন্যান্য লস ফাংশনের সাপেক্ষে বায়াস

যেকোনো সর্বনিম্ন-ভেদাঙ্ক মিন-আনবায়াসড এস্টিমেটর স্কয়ার্ড-এরর লস ফাংশন-এর সাপেক্ষে (মিন-আনবায়াসড এস্টিমেটরগুলোর মধ্যে) ঝুঁকি (প্রত্যাশিত ক্ষতি) হ্রাস করে, যেমনটি Gauss পর্যবেক্ষণ করেছিলেন। একটি সর্বনিম্ন-average absolute deviation মিডিয়ান-আনবায়াসড এস্টিমেটর পরম লস ফাংশনের সাপেক্ষে (মিডিয়ান-আনবায়াসড এস্টিমেটরগুলোর মধ্যে) ঝুঁকি হ্রাস করে, যেমনটি Laplace পর্যবেক্ষণ করেছিলেন। পরিসংখ্যানে অন্যান্য লস ফাংশন ব্যবহৃত হয়, বিশেষ করে robust statistics-এ।

রূপান্তরের প্রভাব

ইউনিভ্যারিয়েট প্যারামিটারগুলোর জন্য, মিডিয়ান-আনবায়াসড এস্টিমেটরগুলো রূপান্তরের অধীনে মিডিয়ান-আনবায়াসড থাকে যা ক্রম বজায় রাখে (বা ক্রম উল্টে দেয়)। লক্ষ্য করুন যে, যখন একটি মিন-আনবায়াসড এস্টিমেটরের ওপর একটি রূপান্তর প্রয়োগ করা হয়, তখন ফলাফলটি তার সংশ্লিষ্ট পপুলেশন পরিসংখ্যানের মিন-আনবায়াসড এস্টিমেটর হওয়ার প্রয়োজন নেই। Jensen's inequality দ্বারা, রূপান্তর হিসেবে একটি convex function ধনাত্মক বায়াস প্রবর্তন করবে, যেখানে একটি concave function ঋণাত্মক বায়াস প্রবর্তন করবে, এবং মিশ্র কনভেক্সিটির একটি ফাংশন নির্দিষ্ট ফাংশন এবং বিন্যাসের ওপর নির্ভর করে যেকোনো দিকে বায়াস প্রবর্তন করতে পারে। অর্থাৎ, একটি অরৈখিক ফাংশন f এবং একটি প্যারামিটার p-এর মিন-আনবায়াসড এস্টিমেটর U-এর জন্য, কম্পোজিট এস্টিমেটর f(U)-এর f(p)-এর মিন-আনবায়াসড এস্টিমেটর হওয়ার প্রয়োজন নেই। উদাহরণস্বরূপ, পপুলেশন ভেদাঙ্ক-এর আনবায়াসড এস্টিমেটরের বর্গমূল পপুলেশন মানক বিচ্যুতি-এর মিন-আনবায়াসড এস্টিমেটর নয়: আনবায়াসড নমুনা ভেদাঙ্ক-এর বর্গমূল, সংশোধিত নমুনা মানক বিচ্যুতি, বায়াসড। বায়াসটি এস্টিমেটরের স্যাম্পলিং বিন্যাস এবং রূপান্তর উভয়ের ওপরই নির্ভর করে এবং গণনা করা বেশ জটিল হতে পারে – এই ক্ষেত্রে আলোচনার জন্য দেখুন unbiased estimation of standard deviation।

বায়াস, ভেদাঙ্ক এবং মিন স্কয়ার্ড এরর

মূল নিবন্ধ: Bias–variance tradeoff আরও দেখুন: Accuracy (trueness and precision)

একটি প্যারামিটার β₀-এর জন্য দুটি বিকল্প এস্টিমেটরের স্যাম্পলিং বিন্যাস। যদিও β₁^{^} আনবায়াসড, এটি স্পষ্টভাবে বায়াসড β₂^{^}-এর চেয়ে নিকৃষ্ট।

Ridge regression হলো এমন একটি কৌশলের উদাহরণ যেখানে সামান্য বায়াস অনুমোদন করলে ভেদাঙ্ক উল্লেখযোগ্যভাবে হ্রাস পেতে পারে এবং সামগ্রিকভাবে আরও নির্ভরযোগ্য অনুমান পাওয়া যেতে পারে।

যদিও বায়াস একটি এস্টিমেটর এবং একটি অন্তর্নিহিত প্যারামিটারের মধ্যে প্রত্যাশিত গড় পার্থক্য পরিমাপ করে, একটি স্যাম্পলের দৈবতার কারণে একটি সসীম স্যাম্পলের ওপর ভিত্তি করে একটি এস্টিমেটর প্যারামিটার থেকে ভিন্ন হওয়ার আশা করা যেতে পারে। একটি এস্টিমেটর যা বায়াস হ্রাস করে তা মিন স্কয়ার এরর হ্রাস করবে এমন নয়। উভয় ধরনের পার্থক্য প্রতিফলিত করার জন্য ব্যবহৃত একটি পরিমাপ হলো mean square error, $$\mathrm{MSE}(\hat{\theta })=\mathrm{E}[(\hat{\theta }-\theta {)}^2].$$ এটি বায়াসের বর্গ এবং ভেদাঙ্কের যোগফলের সমান দেখানো যেতে পারে: $$\begin{array}{rl}\mathrm{MSE}(\hat{\theta })=& (\mathrm{E}[\hat{\theta }]-\theta {)}^2+\mathrm{E}[(\hat{\theta }-\mathrm{E}[\hat{\theta }]{)}^2]\\ =& (\mathrm{Bias}(\hat{\theta },\theta ){)}^2+\mathrm{Var}(\hat{\theta })\end{array}$$

যখন প্যারামিটারটি একটি ভেক্টর হয়, তখন একটি অনুরূপ ডিকম্পোজিশন প্রযোজ্য হয়: $$\mathrm{MSE}(\hat{\theta })=\mathrm{trace}(\mathrm{Cov}(\hat{\theta }))+{\Vert \mathrm{Bias}(\hat{\theta },\theta )\Vert }^2$$ যেখানে $\mathrm{trace}(\mathrm{Cov}(\hat{\theta }))$ হলো এস্টিমেটরের covariance matrix-এর ট্রেস (কর্ণের যোগফল) এবং ${\Vert \mathrm{Bias}(\hat{\theta },\theta )\Vert }^2$ হলো বর্গ vector norm।

উদাহরণ: পপুলেশন ভেদাঙ্ক অনুমান

উদাহরণস্বরূপ, ধরা যাক উপরের মতো পপুলেশন ভেদাঙ্কের জন্য

$$T^2=c\sum _{i=1}^n{(X_i-\bar{X})}^2=cn{S}^2$$

আকারের একটি এস্টিমেটর খোঁজা হচ্ছে, কিন্তু এবার MSE হ্রাস করার জন্য:

$$\begin{array}{rl}\mathrm{MSE}=& \mathrm{E}[(T^2-{\sigma }^2{)}^2]\\ =& {(\mathrm{E}[T^2-{\sigma }^2])}^2+\mathrm{Var}(T^2)\end{array}$$

যদি চলক X₁ ... X_n একটি সাধারণ বিন্যাস অনুসরণ করে, তবে nS²/σ²-এর n − ১ ডিগ্রি অফ ফ্রিডমসহ একটি chi-squared distribution আছে, যা দেয়:

$$\mathrm{E}[n{S}^2]=(n-1){\sigma }^2\text{ and }\mathrm{Var}(n{S}^2)=2(n-1){\sigma }^4.$$

এবং তাই

$$\mathrm{MSE}=(c(n-1)-1{)}^2{\sigma }^4+2c^2(n-1){\sigma }^4$$

সামান্য বীজগণিতের মাধ্যমে নিশ্চিত করা যেতে পারে যে এটি c = 1/(n + 1) যা এই সম্মিলিত লস ফাংশনটিকে হ্রাস করে, c = 1/(n − ১)-এর পরিবর্তে যা কেবল বায়াসের বর্গকে হ্রাস করে।

আরও সাধারণভাবে, এটি কেবল সমস্যার সীমাবদ্ধ ক্লাসেই যে এমন একটি এস্টিমেটর থাকবে যা প্যারামিটারের মান নির্বিশেষে MSE হ্রাস করবে।

যাইহোক, এটি খুব সাধারণ যে একটি bias–variance tradeoff অনুভূত হতে পারে, যাতে বায়াসের সামান্য বৃদ্ধি ভেদাঙ্কের বৃহত্তর হ্রাসের জন্য বিনিময় করা যেতে পারে, যার ফলে সামগ্রিকভাবে আরও কাঙ্ক্ষিত এস্টিমেটর পাওয়া যায়।

বেইজিয়ান দৃষ্টিভঙ্গি

বেশিরভাগ বেইজিয়ান তাদের অনুমানের আনবায়াসডনেস (অন্তত উপরের আনুষ্ঠানিক স্যাম্পলিং-তত্ত্ব অর্থে) নিয়ে খুব একটা উদ্বিগ্ন নন। উদাহরণস্বরূপ, জেলম্যান এবং সহ-লেখকরা (১৯৯৫) লিখেছেন: "একটি বেইজিয়ান দৃষ্টিকোণ থেকে, আনবায়াসডনেসের নীতিটি বড় স্যাম্পলের সীমার মধ্যে যুক্তিসঙ্গত, কিন্তু অন্যথায় এটি সম্ভাব্য বিভ্রান্তিকর।"

মৌলিকভাবে, বেইজিয়ান পদ্ধতি এবং উপরের স্যাম্পলিং-তত্ত্ব পদ্ধতির মধ্যে পার্থক্য হলো স্যাম্পলিং-তত্ত্ব পদ্ধতিতে প্যারামিটারটিকে স্থির হিসেবে নেওয়া হয়, এবং তারপর ডেটার পূর্বাভাসিত স্যাম্পলিং বিন্যাসের ওপর ভিত্তি করে একটি পরিসংখ্যানের সম্ভাব্যতা বিন্যাস বিবেচনা করা হয়। তবে একজন বেইজিয়ানের জন্য, এটি ডেটা যা জানা এবং স্থির, এবং এটি অজানা প্যারামিটার যার জন্য Bayes' theorem ব্যবহার করে একটি সম্ভাব্যতা বিন্যাস তৈরির চেষ্টা করা হয়:

$$p(\theta \mid D,I)\propto p(\theta \mid I)p(D\mid \theta ,I)$$

এখানে দ্বিতীয় পদটি, অজানা প্যারামিটার মান θ দেওয়া থাকলে ডেটার লাইকলিহুড, কেবল প্রাপ্ত ডেটা এবং ডেটা তৈরির প্রক্রিয়ার মডেলিংয়ের ওপর নির্ভর করে। তবে একটি বেইজিয়ান গণনায় প্রথম পদটিও অন্তর্ভুক্ত থাকে, θ-এর জন্য prior probability, যা ডেটা আসার আগে θ সম্পর্কে বিশ্লেষক যা জানেন বা সন্দেহ করেন তার সবকিছু বিবেচনায় নেয়। এই তথ্য স্যাম্পলিং-তত্ত্ব পদ্ধতিতে কোনো ভূমিকা পালন করে না; প্রকৃতপক্ষে এটি অন্তর্ভুক্ত করার যেকোনো প্রচেষ্টাকে কেবল ডেটা দ্বারা নির্দেশিত যা তার থেকে "বায়াস" হিসেবে বিবেচনা করা হবে। বেইজিয়ান গণনাগুলো পূর্বের তথ্য অন্তর্ভুক্ত করে, তাই এটি মূলত অনিবার্য যে তাদের ফলাফলগুলো স্যাম্পলিং তত্ত্বের শর্তে "আনবায়াসড" হবে না।

কিন্তু বেইজিয়ান পদ্ধতির ফলাফলগুলো স্যাম্পলিং তত্ত্ব পদ্ধতি থেকে ভিন্ন হতে পারে এমনকি যদি বেইজিয়ান একটি "অতথ্যবহুল" প্রায়র (prior) গ্রহণ করার চেষ্টা করেন।

উদাহরণস্বরূপ, অজানা গড়সহ একটি সাধারণ বিন্যাসের অজানা পপুলেশন ভেদাঙ্ক σ²-এর অনুমান আবার বিবেচনা করুন, যেখানে প্রত্যাশিত লস ফাংশনে c অপ্টিমাইজ করা বাঞ্ছনীয়

$$\mathrm{ExpectedLoss}=\mathrm{E}\left[{(cn{S}^2-{\sigma }^2)}^2\right]=\mathrm{E}\left[{\sigma }^4{(cn\frac{S^2}{{\sigma }^2}-1)}^2\right]$$

এই সমস্যার জন্য অতথ্যবহুল প্রায়রের একটি আদর্শ পছন্দ হলো জেফ্রিস প্রায়র, $p({\sigma }^2)\propto 1/{\sigma }^2$, যা ln(σ²)-এর জন্য একটি রিস্কেলিং-ইনভ্যারিয়েন্ট ফ্ল্যাট প্রায়র গ্রহণের সমতুল্য।

এই প্রায়র গ্রহণের একটি পরিণতি হলো যে S²/σ² একটি pivotal quantity হিসেবে থাকে, অর্থাৎ S²/σ²-এর সম্ভাব্যতা বিন্যাস কেবল S²/σ²-এর ওপর নির্ভর করে, S² বা σ²-এর মান থেকে স্বাধীন:

$$p(\frac{S^2}{{\sigma }^2}\mid S^2)=p(\frac{S^2}{{\sigma }^2}\mid {\sigma }^2)=g\left(\frac{S^2}{{\sigma }^2}\right)$$

যাইহোক, যখন

$${\mathrm{E}}_{p(S^2\mid {\sigma }^2)}\left[{\sigma }^4{(cn\frac{S^2}{{\sigma }^2}-1)}^2\right]={\sigma }^4{\mathrm{E}}_{p(S^2\mid {\sigma }^2)}\left[{(cn\frac{S^2}{{\sigma }^2}-1)}^2\right]$$

বিপরীতে

$${\mathrm{E}}_{p({\sigma }^2\mid S^2)}\left[{\sigma }^4{(cn\frac{S^2}{{\sigma }^2}-1)}^2\right]\ne {\sigma }^4{\mathrm{E}}_{p({\sigma }^2\mid S^2)}\left[{(cn\frac{S^2}{{\sigma }^2}-1)}^2\right]$$

— যখন প্রত্যাশাটি S² দেওয়া থাকলে σ²-এর সম্ভাব্যতা বিন্যাসের ওপর নেওয়া হয়, যেমনটি বেইজিয়ান ক্ষেত্রে হয়, σ² দেওয়া থাকলে S²-এর পরিবর্তে, কেউ আর σ⁴-কে ধ্রুবক হিসেবে নিতে পারে না এবং এটিকে ফ্যাক্টর আউট করতে পারে না। এর পরিণতি হলো, স্যাম্পলিং-তত্ত্ব গণনার তুলনায়, বেইজিয়ান গণনা σ²-এর বৃহত্তর মানগুলোর ওপর বেশি গুরুত্ব দেয়, সঠিকভাবে বিবেচনায় নিয়ে (যেমনটি স্যাম্পলিং-তত্ত্ব গণনা করতে পারে না) যে এই স্কয়ার্ড-লস ফাংশনের অধীনে σ²-এর বড় মানগুলোকে আন্ডারএস্টিমেট করার পরিণতি স্কয়ার্ড-লস শর্তে σ²-এর ছোট মানগুলোকে ওভারএস্টিমেট করার চেয়ে বেশি ব্যয়বহুল।

কাজ করা বেইজিয়ান গণনা σ²-এর পোস্টেরিয়র সম্ভাব্যতা বিন্যাসের জন্য n − ১ ডিগ্রি অফ ফ্রিডমসহ একটি scaled inverse chi-squared distribution দেয়। প্রত্যাশিত লস হ্রাস পায় যখন cnS² = <σ²>; এটি ঘটে যখন c = 1/(n − ৩)।

একটি অতথ্যবহুল প্রায়রের সাথেও, তাই, একটি বেইজিয়ান গণনা সংশ্লিষ্ট স্যাম্পলিং-তত্ত্ব গণনার মতো একই প্রত্যাশিত-লস হ্রাসকারী ফলাফল নাও দিতে পারে।

আরও দেখুন

• Consistent estimator
• Efficient estimator
• Estimation theory
• Expected loss
• Expected value
• Loss function
• Minimum-variance unbiased estimator
• Omitted-variable bias
• Optimism bias
• Ratio estimator
• Statistical decision theory

তথ্যসূত্র

• ব্রাউন, জর্জ ডব্লিউ. "অন স্মল-স্যাম্পল এস্টিমেশন।" দ্য অ্যানালস অফ ম্যাথমেটিক্যাল স্ট্যাটিস্টিকস, খণ্ড ১৮, সংখ্যা ৪ (ডিসেম্বর, ১৯৪৭), পৃষ্ঠা ৫৮২–৫৮৫। 2236236।
• লেহম্যান, ই. এল.. (ডিসেম্বর ১৯৫১). "আ জেনারেল কনসেপ্ট অফ আনবায়াসডনেস". দ্য অ্যানালস অফ ম্যাথমেটিক্যাল স্ট্যাটিস্টিকস. ২২ (৪) ৫৮৭–৫৯২. doi:10.1214/aoms/1177729549.
• বার্নবাম, অ্যালান. (মার্চ ১৯৬১). "আ ইউনিফাইড থিওরি অফ এস্টিমেশন, ১". দ্য অ্যানালস অফ ম্যাথমেটিক্যাল স্ট্যাটিস্টিকস. ৩২ (১) ১১২–১৩৫. doi:10.1214/aoms/1177705145.
• ভ্যান ডের ভার্ট, এইচ. আর.. (জুন ১৯৬১). সাম এক্সটেনশনস অফ দ্য আইডিয়া অফ বায়াস. দ্য অ্যানালস অফ ম্যাথমেটিক্যাল স্ট্যাটিস্টিকস. ৩২ (২) ৪৩৬–৪৪৭. doi:10.1214/aoms/1177705051.
• ফ্যানজাগল, জোহান. (১৯৯৪). "প্যারামেট্রিক স্ট্যাটিস্টিক্যাল থিওরি". ওয়াল্টার ডি গ্রুইটার.
• (২০১০). "ক্লাসিক্যাল ইনফারেন্স অ্যান্ড দ্য লিনিয়ার মডেল". ২এ. উইলি. ISBN 978-0-4706-8924-0..
• (১৯৯৩). "আনবায়াসড এস্টিমেটরস অ্যান্ড দেয়ার অ্যাপ্লিকেশনস". ১: ইউনিভ্যারিয়েট কেস. ক্লুওয়ার একাডেমিক পাবলিশার্স. ISBN 0-7923-2382-3.
• (১৯৯৬). "আনবায়াসড এস্টিমেটরস অ্যান্ড দেয়ার অ্যাপ্লিকেশনস". ২: মাল্টিভ্যারিয়েট কেস. ক্লুওয়ার একাডেমিক পাবলিশার্স. ISBN 0-7923-3939-8.
• (২০০৯). "রোবাস্ট অ্যান্ড নন-রোবাস্ট মডেলস ইন স্ট্যাটিস্টিকস". নোভা সায়েন্টিফিক পাবলিশার্স. ISBN 978-1-60741-768-2.

বহিঃসংযোগ

• আনবায়াসড এস্টিমেটর

inference expanded

---

উৎস: ইংরেজি উইকিপিডিয়ার “Bias of an estimator” নিবন্ধের অনুবাদ। মূল নিবন্ধ: https://en.wikipedia.org/wiki/Bias_of_an_estimator এই অনুবাদটি স্বয়ংক্রিয়ভাবে প্রস্তুত করা হয়েছে।