View source for Bias of an estimator

Bias (statistics)

[[পরিসংখ্যান|পরিসংখ্যানে]], একটি '''এস্টিমেটরের বায়াস''' (বা '''বায়াস ফাংশন''') হলো এই [[এস্টিমেটর|এস্টিমেটরের]] [[প্রত্যাশিত মান]] (expected value) এবং যে প্যারামিটারটি অনুমান করা হচ্ছে তার [[প্রকৃত মান|প্রকৃত মানের]] (true value) মধ্যে পার্থক্য। শূন্য বায়াস বিশিষ্ট একটি এস্টিমেটর বা সিদ্ধান্ত গ্রহণ বিধিকে '''''আনবায়াসড''''' (unbiased) বা পক্ষপাতহীন বলা হয়। পরিসংখ্যানে, "বায়াস" হলো একটি এস্টিমেটরের একটি বস্তুনিষ্ঠ বৈশিষ্ট্য। বায়াস এবং [[Consistent estimator|কনসিস্টেন্সি]] (consistency) সম্পূর্ণ ভিন্ন ধারণা: কনসিস্টেন্ট এস্টিমেটরগুলো প্যারামিটারের প্রকৃত মানের দিকে সম্ভাব্যতা অনুযায়ী ধাবিত হয়, কিন্তু সেগুলো বায়াসড বা আনবায়াসড উভয়ই হতে পারে (আরও জানতে দেখুন [[Consistent estimator#Bias versus consistency|বায়াস বনাম কনসিস্টেন্সি]])।

অন্যান্য সব শর্ত সমান থাকলে, একটি বায়াসড এস্টিমেটরের চেয়ে একটি আনবায়াসড এস্টিমেটরকে অগ্রাধিকার দেওয়া হয়, যদিও বাস্তবে বায়াসড এস্টিমেটরগুলো (সাধারণত ছোট বায়াসসহ) প্রায়শই ব্যবহৃত হয়। যখন একটি বায়াসড এস্টিমেটর ব্যবহার করা হয়, তখন বায়াসের সীমা গণনা করা হয়। একটি বায়াসড এস্টিমেটর বিভিন্ন কারণে ব্যবহৃত হতে পারে: কারণ জনসংখ্যার (population) বিষয়ে অতিরিক্ত অনুমান ছাড়া কোনো আনবায়াসড এস্টিমেটর বিদ্যমান থাকে না; কারণ একটি এস্টিমেটর গণনা করা কঠিন (যেমন [[unbiased estimation of standard deviation]]-এর ক্ষেত্রে); কারণ একটি বায়াসড এস্টিমেটর [[কেন্দ্রীয় প্রবণতার]] (central tendency) বিভিন্ন পরিমাপের সাপেক্ষে আনবায়াসড হতে পারে; কারণ একটি বায়াসড এস্টিমেটর আনবায়াসড এস্টিমেটরের তুলনায় কোনো কোনো [[লস ফাংশন]] (বিশেষ করে [[mean squared error]]) এর নিম্ন মান প্রদান করে (বিশেষত [[shrinkage estimator]]-এ); অথবা কারণ কিছু ক্ষেত্রে আনবায়াসড হওয়া একটি অত্যন্ত কঠোর শর্ত এবং একমাত্র আনবায়াসড এস্টিমেটরগুলো কার্যকর নয়।

বায়াসকে গড় (প্রত্যাশিত মান)-এর পরিবর্তে [[মধ্যমা|মধ্যমা]] (median)-এর সাপেক্ষেও পরিমাপ করা যেতে পারে, সেক্ষেত্রে ''মিডিয়ান''-আনবায়াসড এবং সাধারণ ''মিন''-আনবায়াসড বৈশিষ্ট্যের মধ্যে পার্থক্য করা হয়।
মিন-আনবায়াসড বৈশিষ্ট্যটি অরৈখিক [[Data transformation (statistics)|ডেটা রূপান্তরের]] ক্ষেত্রে বজায় থাকে না, যদিও মিডিয়ান-আনবায়াসড বৈশিষ্ট্যটি বজায় থাকে (দেখুন Effect of transformations); উদাহরণস্বরূপ, [[নমুনা ভেদাঙ্ক]] (sample variance) হলো পপুলেশন ভেদাঙ্কের জন্য একটি বায়াসড এস্টিমেটর। এগুলো নিচে চিত্রিত করা হয়েছে।

একটি প্যারামিটারের জন্য সবসময় একটি আনবায়াসড এস্টিমেটর বিদ্যমান থাকে না। উদাহরণস্বরূপ, একটি দ্বিপদী দৈব চলকের (binomial random variable) প্যারামিটারের বিপরীতকের জন্য কোনো আনবায়াসড এস্টিমেটর নেই।<ref>[https://math.stackexchange.com/questions/681638/for-the-binomial-distribution-why-does-no-unbiased-estimator-exist-for-1-p For the binomial distribution, why does no unbiased estimator exist for $1/p$?]. ''Mathematics Stack Exchange''.</ref>

==সংজ্ঞা==

ধরা যাক আমাদের একটি [[পরিসংখ্যানগত মডেল]] আছে, যা একটি বাস্তব সংখ্যা ''θ'' দ্বারা প্যারামিটারাইজড, যা পর্যবেক্ষিত ডেটার জন্য একটি সম্ভাব্যতা বিন্যাস প্রদান করে, <math>P_\theta(x) = P(x\mid\theta)</math>, এবং একটি পরিসংখ্যান <math>\hat\theta</math> যা যেকোনো পর্যবেক্ষিত ডেটা <math>x</math>-এর ওপর ভিত্তি করে ''θ''-এর একটি [[এস্টিমেটর]] হিসেবে কাজ করে। অর্থাৎ, আমরা ধরে নিই যে আমাদের ডেটা কিছু অজানা বিন্যাস <math>P(x\mid\theta)</math> অনুসরণ করে (যেখানে ''θ'' একটি নির্দিষ্ট, অজানা ধ্রুবক যা এই বিন্যাসের অংশ), এবং তারপর আমরা একটি এস্টিমেটর <math>\hat\theta</math> তৈরি করি যা পর্যবেক্ষিত ডেটাকে এমন মানে ম্যাপ করে যা আমরা আশা করি ''θ''-এর কাছাকাছি হবে। ''θ''-এর সাপেক্ষে <math>\hat\theta</math>-এর '''বায়াস''' নিম্নরূপে সংজ্ঞায়িত করা হয়<ref name=":0">Kozdron, Michael. (March 2016). [http://stat.math.uregina.ca/~kozdron/Teaching/Regina/252Winter16/Handouts/ch3.pdf Evaluating the Goodness of an Estimator: Bias, Mean-Square Error, Relative Efficiency (Chapter 3)]. ''stat.math.uregina.ca''.</ref>
<math display="block"> \operatorname{Bias}(\hat\theta, \theta) = \operatorname{Bias}_\theta\left[\,\hat\theta\,\right] = \operatorname{E}_{x\mid\theta}\left[\,\hat{\theta}\,\right] - \theta = \operatorname{E}_{x\mid\theta}\left[ \hat\theta - \theta \right],</math>

যেখানে <math>\operatorname{E}_{x\mid\theta}</math> বলতে বিন্যাস <math>P(x\mid\theta)</math>-এর ওপর [[প্রত্যাশিত মান]] বোঝায় (অর্থাৎ, সমস্ত সম্ভাব্য পর্যবেক্ষণ <math>x</math>-এর ওপর গড়)। দ্বিতীয় সমীকরণটি সত্য কারণ ''θ'' শর্তাধীন বিন্যাস <math>P(x\mid\theta)</math>-এর সাপেক্ষে পরিমাপযোগ্য।

একটি এস্টিমেটরকে '''আনবায়াসড''' বলা হয় যদি প্যারামিটার ''θ''-এর সমস্ত মানের জন্য এর বায়াস শূন্য হয়, অথবা সমতুল্যভাবে, যদি এস্টিমেটরের প্রত্যাশিত মান প্যারামিটারের প্রত্যাশিত মানের সাথে মিলে যায়।<ref name=":1">Taylor, Courtney. (January 13, 2019). [https://www.thoughtco.com/what-is-an-unbiased-estimator-3126502 Unbiased and Biased Estimators]. ''ThoughtCo''.</ref> আনবায়াসডনেস সবসময় বজায় থাকবে এমন নিশ্চয়তা নেই। উদাহরণস্বরূপ, যদি <math>\hat\theta</math> প্যারামিটার ''θ''-এর জন্য একটি আনবায়াসড এস্টিমেটর হয়, তবে সাধারণত এটি নিশ্চিত নয় যে g(<math>\hat\theta</math>) হলো ''g(θ)''-এর জন্য একটি আনবায়াসড এস্টিমেটর, যদি না ''g'' একটি রৈখিক ফাংশন হয়।<ref>(2005). "A modern introduction to probability and statistics: understanding why and how". Springer. ISBN 978-1-85233-896-1.</ref>

একটি এস্টিমেটরের বৈশিষ্ট্য সম্পর্কিত একটি সিমুলেশন পরীক্ষায়, এস্টিমেটরের বায়াস [[mean signed difference]] ব্যবহার করে মূল্যায়ন করা যেতে পারে।

==উদাহরণ==

===নমুনা ভেদাঙ্ক===
''মূল নিবন্ধ: Sample variance''
নমুনা ভেদাঙ্ক বায়াস এবং ঝুঁকি সম্পর্কে দুটি ভিন্ন সমস্যা তুলে ধরে। প্রথমত, যে "নায়েভ" (naive) এস্টিমেটরটি ''n'' দ্বারা ভাগ করে, তা নিম্নমুখী বায়াসযুক্ত কারণ নমুনার গড় একই ডেটা থেকে অনুমান করা হয়। ''n/(n−1)'' ([[Bessel’s correction]]) দ্বারা গুণ করলে একটি আনবায়াসড এস্টিমেটর পাওয়া যায়। দ্বিতীয়ত, আনবায়াসডনেস মানেই সর্বনিম্ন [[mean squared error]] নয়।

ধরা যাক ''X''<sub>1</sub>, ..., ''X''<sub>''n''</sub> হলো [[independent and identically distributed]] (i.i.d.) দৈব চলক, যার [[প্রত্যাশিত মান|প্রত্যাশা]] ''μ'' এবং [[ভেদাঙ্ক]] ''σ''<sup>2</sup>। যদি [[নমুনা গড়]] এবং অসংরক্ষিত [[নমুনা ভেদাঙ্ক]] নিম্নরূপে সংজ্ঞায়িত করা হয়

<math display="block">\overline{X}\,=\frac 1 n \sum_{i=1}^n X_i \qquad S^2 = \frac 1 n \sum_{i=1}^n \left(X_i - \overline{X}\right)^2 \qquad </math>

তবে ''S''<sup>2</sup> হলো ''σ''<sup>2</sup>-এর একটি বায়াসড এস্টিমেটর। এটি [[law of total variance]] থেকে সরাসরি অনুসরণ করে কারণ

<math display="block">
\underbrace{\operatorname{Var}(X)}_{\sigma^2}
= \underbrace{\operatorname{E}\left[\operatorname{Var}\left(X\mid\bar X\right)\right]}_{E[S^2]}
+ \underbrace{\operatorname{Var}\left(\operatorname{E}\left[X\mid\bar X\right]\right)}_{\sigma^2/n},
\quad
\implies
E[S^2] = \frac{n-1}{n}\sigma^2.
</math>

অন্য কথায়, অসংরক্ষিত নমুনা ভেদাঙ্কের প্রত্যাশিত মান পপুলেশন ভেদাঙ্ক ''σ''<sup>2</sup>-এর সমান হয় না, যদি না একটি নরমালাইজেশন ফ্যাক্টর দ্বারা গুণ করা হয়। ভেদাঙ্কের বায়াসড (অসংরক্ষিত) এবং আনবায়াসড অনুমানের মধ্যে অনুপাতকে [[Bessel's correction]] বলা হয়। অন্যদিকে, নমুনা গড় হলো পপুলেশন গড় ''μ''-এর একটি আনবায়াসড<ref name="JohnsonWichern2007">(2007). [https://books.google.com/books?id=gFWcQgAACAAJ Applied Multivariate Statistical Analysis]. Pearson Prentice Hall. ISBN 978-0-13-187715-3.</ref> এস্টিমেটর।<ref name=":1" /> উপরের সমীকরণের ডানদিকের দ্বিতীয় পদের সমতা [[Bienaymé's identity]]-এর মাধ্যমে বোঝা যায়,

<math display="block">
\begin{align}
\operatorname{Var}\left(\operatorname{E}[X\mid\bar X\right])
 &= \operatorname{Var}\left(\overline{X}\right)
  = \operatorname{Var}\left(\frac{1}{n} \sum_{i=1}^n X_i\right) \\[1ex]
 &= \frac{1}{n^2}\sum_{i=1}^n \operatorname{Var}\left(X_i\right)
  = \frac{1}{n^2}n\sigma^2
  = \frac{\sigma^2}{n}.
\end{align}
</math>

অসংরক্ষিত নমুনা ভেদাঙ্ক, ''S''<sup>2</sup>, বায়াসড হওয়ার কারণ হলো নমুনা গড় হলো ''μ''-এর জন্য একটি [[ordinary least squares]] (OLS) এস্টিমেটর: <math>\overline{X}</math> হলো সেই সংখ্যা যা সমষ্টি <math display="inline">\sum_{i=1}^n (X_i - \overline{X})^2</math>-কে যতটা সম্ভব ছোট করে। অর্থাৎ, যখন এই সমষ্টিতে অন্য কোনো সংখ্যা বসানো হয়, তখন সমষ্টি কেবল বৃদ্ধি পেতে পারে। বিশেষ করে, পছন্দ <math>\mu \ne \overline{X}</math> দেয়,

<math display="block">
        \frac 1 n \sum_{i=1}^n (X_i-\overline{X})^2  < \frac 1 n \sum_{i=1}^n (X_i-\mu)^2,
 </math>
এবং তারপর
<math display="block">
    \begin{align}
    \operatorname{E}[S^2]
        &= \operatorname{E}\bigg[ \frac 1 n \sum_{i=1}^n (X_i-\overline{X})^2 \bigg]
         < \operatorname{E}\bigg[ \frac 1 n \sum_{i=1}^n (X_i-\mu)^2 \bigg] = \sigma^2.
    \end{align}
  </math>

উপরের আলোচনাটি জ্যামিতিক পরিভাষায় বোঝা যেতে পারে: ভেক্টর <math>\vec{C}=(X_1 -\mu, \ldots, X_n-\mu)</math>-কে <math> \vec{u}=(1,\ldots, 1)</math> দিক বরাবর এবং সেই দিকের অর্থোগোনাল কমপ্লিমেন্ট হাইপারপ্লেনে প্রজেক্ট করে "গড় অংশ" এবং "ভেদাঙ্ক অংশ"-এ বিভক্ত করা যেতে পারে। কেউ <math> \vec{u}</math> বরাবর অংশের জন্য <math>\vec{A}=(\overline{X}-\mu, \ldots, \overline{X}-\mu)</math> এবং পরিপূরক অংশের জন্য <math>\vec{B}=(X_1-\overline{X}, \ldots, X_n-\overline{X})</math> পায়। যেহেতু এটি একটি অর্থোগোনাল ডিকম্পোজিশন, পিথাগোরাসের উপপাদ্য বলে <math> |\vec{C}|^2= |\vec{A}|^2+ |\vec{B}|^2</math>, এবং প্রত্যাশা গ্রহণ করলে আমরা পাই <math>  n \sigma^2 = n \operatorname{E}\left[ (\overline{X}-\mu)^2 \right] +n \operatorname{E}[S^2] </math>, যেমনটি উপরে আছে (কিন্তু <math>n</math> গুণ)।
যদি <math>\vec{C}</math>-এর বিন্যাস ঘূর্ণনশীলভাবে প্রতিসম হয়, যেমনটি যখন <math>X_i</math> গাউসিয়ান থেকে নমুনা নেওয়া হয়, তখন গড়ে, <math> \vec{u}</math> বরাবর মাত্রাটি <math> |\vec{C}|^2</math>-এ সমানভাবে অবদান রাখে যেমন <math> \vec{u}</math>-এর লম্ব <math>n-1</math> দিকগুলো, যাতে <math> \operatorname{E}\left[ (\overline{X}-\mu)^2 \right] =\frac{\sigma^2} n </math> এবং <math>\operatorname{E}[S^2] = \frac{n-1}{n} \sigma^2 </math> হয়। এটি প্রকৃতপক্ষে সাধারণভাবে সত্য, যেমনটি উপরে ব্যাখ্যা করা হয়েছে।

===পয়সন সম্ভাব্যতা অনুমান===

একটি বায়াসড এস্টিমেটর যেকোনো আনবায়াসড এস্টিমেটরের চেয়ে ভালো হওয়ার একটি অনেক বেশি চরম উদাহরণ [[পয়সন বিন্যাস]] থেকে আসে।<ref>(1986). "Counterexamples in Probability and Statistics". 168. Wadsworth & Brooks / Cole.</ref><ref>Hardy, M.. (1 March 2003). "An Illuminating Counterexample". ''American Mathematical Monthly''. 110 (3) 234–238. doi:[https://doi.org/10.2307/3647938 10.2307/3647938].</ref> ধরা যাক ''X''-এর একটি পয়সন বিন্যাস আছে যার প্রত্যাশা ''λ''। অনুমান করা বাঞ্ছনীয়
<math display="block">\operatorname{P}(X=0)^2=e^{-2\lambda}\quad</math>

১ আকারের একটি নমুনা দিয়ে। (উদাহরণস্বরূপ, যখন একটি টেলিফোন সুইচবোর্ডে ইনকামিং কলগুলোকে একটি পয়সন প্রক্রিয়া হিসেবে মডেল করা হয়, এবং ''λ'' হলো প্রতি মিনিটে কলের গড় সংখ্যা, তখন ''e''<sup>−2''λ''</sup> (অনুমানযোগ্য) হলো পরবর্তী দুই মিনিটে কোনো কল না আসার সম্ভাবনা।)

যেহেতু একটি আনবায়াসড এস্টিমেটর ''δ''(''X'')-এর প্রত্যাশা [[estimand]]-এর সমান, অর্থাৎ
<math display="block">\operatorname E(\delta(X))=\sum_{x=0}^\infty \delta(x) \frac{\lambda^x e^{-\lambda}}{x!} = e^{-2\lambda},</math>

ডেটার একমাত্র ফাংশন যা একটি আনবায়াসড এস্টিমেটর গঠন করে তা হলো
<math display="block">\delta(x)=(-1)^x. \, </math>

এটি বোঝার জন্য, লক্ষ্য করুন যে প্রত্যাশার জন্য উপরের রাশি থেকে e<sup>−''λ''</sup> বিয়োজন করার সময়, যে সমষ্টিটি অবশিষ্ট থাকে তা e<sup>−''λ''</sup>-এর একটি [[টেইলর সিরিজ]] প্রসারণও, যা e<sup>−''λ''</sup>e<sup>−''λ''</sup>&nbsp;=&nbsp;e<sup>−2''λ''</sup> প্রদান করে (দেখুন [[Characterizations of the exponential function]])।

যদি ''X''-এর পর্যবেক্ষিত মান ১০০ হয়, তবে অনুমানটি ১, যদিও অনুমান করা পরিমাণের প্রকৃত মান খুব সম্ভবত ০-এর কাছাকাছি, যা বিপরীত চরম। এবং, যদি ''X'' ১০১ হিসেবে পর্যবেক্ষিত হয়, তবে অনুমানটি আরও অযৌক্তিক: এটি −১, যদিও অনুমান করা পরিমাণটি অবশ্যই ধনাত্মক হতে হবে।

(বায়াসড) [[maximum likelihood|ম্যাক্সিমাম লাইকলিহুড এস্টিমেটর]]
<math display="block">e^{-2{X}}\quad</math>

এই আনবায়াসড এস্টিমেটরের চেয়ে অনেক ভালো। এর মান কেবল সবসময় ধনাত্মকই নয়, এটি আরও নির্ভুল এই অর্থে যে এর [[mean squared error]]
<math display="block">e^{-4\lambda}-2e^{\lambda(1/e^2-3)}+e^{\lambda(1/e^4-1)} \, </math>

ছোট; আনবায়াসড এস্টিমেটরের MSE-এর সাথে তুলনা করুন
<math display="block">1-e^{-4\lambda}. \, </math>

MSE-গুলো প্রকৃত মান ''λ''-এর ফাংশন। ম্যাক্সিমাম-লাইকলিহুড এস্টিমেটরের বায়াস হলো:
<math display="block">e^{\lambda(1/e^2-1)}-e^{-2\lambda}. \, </math>

===বিচ্ছিন্ন সুষম বিন্যাসের সর্বোচ্চ মান===
''মূল নিবন্ধ: Maximum of a discrete uniform distribution''
ম্যাক্সিমাম-লাইকলিহুড এস্টিমেটরগুলোর বায়াস যথেষ্ট হতে পারে। এমন একটি কেস বিবেচনা করুন যেখানে ১ থেকে ''n'' পর্যন্ত সংখ্যাযুক্ত ''n''টি টিকিট একটি বাক্সে রাখা হয় এবং একটি দৈবভাবে নির্বাচন করা হয়, যা একটি মান ''X'' দেয়। যদি ''n'' অজানা হয়, তবে ''n''-এর ম্যাক্সিমাম-লাইকলিহুড এস্টিমেটর হলো ''X'', যদিও ''n'' দেওয়া থাকলে ''X''-এর প্রত্যাশা মাত্র (''n''&nbsp;+&nbsp;1)/2; আমরা কেবল নিশ্চিত হতে পারি যে ''n'' অন্তত ''X'' এবং সম্ভবত আরও বেশি। এই ক্ষেত্রে, স্বাভাবিক আনবায়াসড এস্টিমেটর হলো 2''X''&nbsp;−&nbsp;1।

==মিডিয়ান-আনবায়াসড এস্টিমেটর==

[[মধ্যমা|মিডিয়ান]]-আনবায়াসড এস্টিমেটরের তত্ত্ব ১৯৪৭ সালে জর্জ ডব্লিউ. ব্রাউন দ্বারা পুনরুজ্জীবিত হয়েছিল:<ref>Brown (1947), page 583</ref>

একটি এক-মাত্রিক প্যারামিটার θ-এর একটি অনুমানকে মিডিয়ান-আনবায়াসড বলা হবে, যদি, নির্দিষ্ট θ-এর জন্য, অনুমানের বিন্যাসের মধ্যমা θ মানে থাকে; অর্থাৎ, অনুমানটি যতবার ওভারএস্টিমেট করে ঠিক ততবারই আন্ডারএস্টিমেট করে। এই প্রয়োজনীয়তাটি বেশিরভাগ উদ্দেশ্যের জন্য মিন-আনবায়াসড প্রয়োজনীয়তার মতোই কাজ করে এবং এর অতিরিক্ত বৈশিষ্ট্য রয়েছে যে এটি এক-থেকে-এক রূপান্তরের অধীনে ইনভ্যারিয়েন্ট।

মিডিয়ান-আনবায়াসড এস্টিমেটরের আরও বৈশিষ্ট্য লেহম্যান, বার্নবাম, ভ্যান ডার ভার্ট এবং ফ্যানজাগল দ্বারা উল্লেখ করা হয়েছে।<ref>(Lehmann, 1951); (Birnbaum, 1961); (Van der Vaart, 1961); (Pfanzagl, 1994)</ref> বিশেষ করে, মিডিয়ান-আনবায়াসড এস্টিমেটর এমন ক্ষেত্রে বিদ্যমান যেখানে মিন-আনবায়াসড এবং [[maximum likelihood|ম্যাক্সিমাম-লাইকলিহুড]] এস্টিমেটর বিদ্যমান নেই। এগুলো [[injective function|এক-থেকে-এক রূপান্তরের]] অধীনে ইনভ্যারিয়েন্ট।

সম্ভাব্যতা বিন্যাসের জন্য মিডিয়ান-আনবায়াসড এস্টিমেটর তৈরির পদ্ধতি রয়েছে যেগুলোর [[monotone likelihood ratio|মনোটোন লাইকলিহুড-ফাংশন]] আছে, যেমন এক-প্যারামিটার এক্সপোনেনশিয়াল ফ্যামিলি, যাতে নিশ্চিত করা যায় যে সেগুলো সর্বোত্তম (মিন-আনবায়াসড এস্টিমেটরের জন্য বিবেচিত সর্বনিম্ন-ভেদাঙ্ক বৈশিষ্ট্যের অনুরূপ অর্থে)।<ref>Pfanzagl, Johann. (1979). "On optimal median unbiased estimators in the presence of nuisance parameters". ''The Annals of Statistics''. 7 (1) 187–193. doi:[https://doi.org/10.1214/aos/1176344563 10.1214/aos/1176344563].</ref><ref name="BrownEtAl">(1976). "A Complete Class Theorem for Strict Monotone Likelihood Ratio With Applications". ''Ann. Statist.''. 4 (4) 712–722. doi:[https://doi.org/10.1214/aos/1176343543 10.1214/aos/1176343543].</ref> এমন একটি পদ্ধতি হলো মিন-আনবায়াসড এস্টিমেটরের জন্য রাও-ব্ল্যাকওয়েল পদ্ধতির একটি অ্যানালগ: পদ্ধতিটি মিন-আনবায়াসড অনুমানের জন্য রাও-ব্ল্যাকওয়েল পদ্ধতির চেয়ে সম্ভাব্যতা বিন্যাসের একটি ছোট ক্লাসের জন্য কাজ করে কিন্তু লস-ফাংশনের একটি বড় ক্লাসের জন্য।<ref name="BrownEtAl" />

==অন্যান্য লস ফাংশনের সাপেক্ষে বায়াস==
যেকোনো সর্বনিম্ন-ভেদাঙ্ক ''মিন''-আনবায়াসড এস্টিমেটর স্কয়ার্ড-এরর [[লস ফাংশন]]-এর সাপেক্ষে (মিন-আনবায়াসড এস্টিমেটরগুলোর মধ্যে) [[Risk (statistics)|ঝুঁকি]] ([[প্রত্যাশিত ক্ষতি]]) হ্রাস করে, যেমনটি [[Gauss]] পর্যবেক্ষণ করেছিলেন।<ref name="Dodge">(1987). "Statistical Data Analysis Based on the L<sub>1</sub>-Norm and Related Methods". North-Holland. ISBN 0-444-70273-3.</ref> একটি সর্বনিম্ন-[[average absolute deviation]] ''মিডিয়ান''-আনবায়াসড এস্টিমেটর পরম লস ফাংশনের সাপেক্ষে (মিডিয়ান-আনবায়াসড এস্টিমেটরগুলোর মধ্যে) ঝুঁকি হ্রাস করে, যেমনটি [[Laplace]] পর্যবেক্ষণ করেছিলেন।<ref name="Dodge" /><ref>(2007). "Probability Theory : The Logic of Science". 172. Cambridge Univ. Press. ISBN 978-0-521-59271-0.</ref> পরিসংখ্যানে অন্যান্য লস ফাংশন ব্যবহৃত হয়, বিশেষ করে [[robust statistics]]-এ।<ref name="Dodge" /><ref>(2009). "Robust and Non-Robust Models in Statistics". Nova Scientific. ISBN 978-1-60741-768-2.</ref>

==রূপান্তরের প্রভাব==

ইউনিভ্যারিয়েট প্যারামিটারগুলোর জন্য, মিডিয়ান-আনবায়াসড এস্টিমেটরগুলো [[Data transformation (statistics)|রূপান্তরের]] অধীনে মিডিয়ান-আনবায়াসড থাকে যা ক্রম বজায় রাখে (বা ক্রম উল্টে দেয়)।
লক্ষ্য করুন যে, যখন একটি মিন-আনবায়াসড এস্টিমেটরের ওপর একটি রূপান্তর প্রয়োগ করা হয়, তখন ফলাফলটি তার সংশ্লিষ্ট পপুলেশন পরিসংখ্যানের মিন-আনবায়াসড এস্টিমেটর হওয়ার প্রয়োজন নেই। [[Jensen's inequality]] দ্বারা, রূপান্তর হিসেবে একটি [[convex function]] ধনাত্মক বায়াস প্রবর্তন করবে, যেখানে একটি [[concave function]] ঋণাত্মক বায়াস প্রবর্তন করবে, এবং মিশ্র কনভেক্সিটির একটি ফাংশন নির্দিষ্ট ফাংশন এবং বিন্যাসের ওপর নির্ভর করে যেকোনো দিকে বায়াস প্রবর্তন করতে পারে। অর্থাৎ, একটি অরৈখিক ফাংশন ''f'' এবং একটি প্যারামিটার ''p''-এর মিন-আনবায়াসড এস্টিমেটর ''U''-এর জন্য, কম্পোজিট এস্টিমেটর ''f''(''U'')-এর ''f''(''p'')-এর মিন-আনবায়াসড এস্টিমেটর হওয়ার প্রয়োজন নেই। উদাহরণস্বরূপ, পপুলেশন [[ভেদাঙ্ক]]-এর আনবায়াসড এস্টিমেটরের [[বর্গমূল]] পপুলেশন [[মানক বিচ্যুতি]]-এর মিন-আনবায়াসড এস্টিমেটর নয়: আনবায়াসড [[নমুনা ভেদাঙ্ক]]-এর বর্গমূল, সংশোধিত [[নমুনা মানক বিচ্যুতি]], বায়াসড। বায়াসটি এস্টিমেটরের স্যাম্পলিং বিন্যাস এবং রূপান্তর উভয়ের ওপরই নির্ভর করে এবং গণনা করা বেশ জটিল হতে পারে – এই ক্ষেত্রে আলোচনার জন্য দেখুন [[unbiased estimation of standard deviation]]।

== বায়াস, ভেদাঙ্ক এবং মিন স্কয়ার্ড এরর ==
''মূল নিবন্ধ: Bias–variance tradeoff''
''আরও দেখুন: Accuracy (trueness and precision)''
[[Image:Example when estimator bias is good.svg|thumb|একটি প্যারামিটার β<sub>0</sub>-এর জন্য দুটি বিকল্প এস্টিমেটরের স্যাম্পলিং বিন্যাস। যদিও β<sub>1</sub><sup style="position:relative;left:-8pt;top:-1pt;">^</sup> আনবায়াসড, এটি স্পষ্টভাবে বায়াসড β<sub>2</sub><sup style="position:relative;left:-8pt;top:-1pt;">^</sup>-এর চেয়ে নিকৃষ্ট।<br /><br />[[Ridge regression]] হলো এমন একটি কৌশলের উদাহরণ যেখানে সামান্য বায়াস অনুমোদন করলে ভেদাঙ্ক উল্লেখযোগ্যভাবে হ্রাস পেতে পারে এবং সামগ্রিকভাবে আরও নির্ভরযোগ্য অনুমান পাওয়া যেতে পারে।]]

যদিও বায়াস একটি এস্টিমেটর এবং একটি অন্তর্নিহিত প্যারামিটারের মধ্যে প্রত্যাশিত ''গড়'' পার্থক্য পরিমাপ করে, একটি স্যাম্পলের দৈবতার কারণে একটি সসীম স্যাম্পলের ওপর ভিত্তি করে একটি এস্টিমেটর প্যারামিটার থেকে ভিন্ন হওয়ার আশা করা যেতে পারে।
একটি এস্টিমেটর যা বায়াস হ্রাস করে তা মিন স্কয়ার এরর হ্রাস করবে এমন নয়।
উভয় ধরনের পার্থক্য প্রতিফলিত করার জন্য ব্যবহৃত একটি পরিমাপ হলো [[mean square error]],<ref name=":0" />
<math display="block">\operatorname{MSE}(\hat{\theta})=\operatorname{E}\big[(\hat{\theta}-\theta)^2\big].</math>
এটি বায়াসের বর্গ এবং ভেদাঙ্কের যোগফলের সমান দেখানো যেতে পারে:<ref name=":0" />
<math display="block">\begin{align}
\operatorname{MSE}(\hat{\theta})= & (\operatorname{E}[\hat{\theta}]-\theta)^2 + \operatorname{E}[\,(\hat{\theta} - \operatorname{E}[\,\hat{\theta}\,])^2\,]\\
= & (\operatorname{Bias}(\hat{\theta},\theta))^2 + \operatorname{Var}(\hat{\theta})
\end{align}</math>

যখন প্যারামিটারটি একটি ভেক্টর হয়, তখন একটি অনুরূপ ডিকম্পোজিশন প্রযোজ্য হয়:<ref name=taboga>(2010). [http://www.statlect.com/glossary/mean_squared_error.htm Lectures on probability theory and mathematical statistics].</ref>
<math display="block">\operatorname{MSE}(\hat{\theta }) =\operatorname{trace}(\operatorname{Cov}(\hat{\theta }))
+\left\Vert\operatorname{Bias}(\hat{\theta},\theta)\right\Vert^{2}</math>
যেখানে <math>\operatorname{trace}(\operatorname{Cov}(\hat{\theta }))</math> হলো এস্টিমেটরের [[covariance matrix]]-এর ট্রেস (কর্ণের যোগফল) এবং <math>\left\Vert\operatorname{Bias}(\hat{\theta},\theta)\right\Vert^{2}</math> হলো বর্গ [[vector norm]]।

=== উদাহরণ: পপুলেশন ভেদাঙ্ক অনুমান ===

উদাহরণস্বরূপ,<ref>DeGroot, Morris H.. (1986). [https://archive.org/details/probabilitystati00degr_679 Probability and Statistics]. [https://archive.org/details/probabilitystati00degr_679/page/n423 414]–5. Addison-Wesley. ISBN 0-201-11366-X. But compare it with, for example, the discussion in (2001). "Statistical Inference". 332. Duxbury. ISBN 0-534-24312-6.</ref> ধরা যাক উপরের মতো পপুলেশন ভেদাঙ্কের জন্য

<math display="block">T^2 = c \sum_{i=1}^n\left(X_i-\overline{X}\,\right)^2 = c n S^2</math>

আকারের একটি এস্টিমেটর খোঁজা হচ্ছে, কিন্তু এবার MSE হ্রাস করার জন্য:

<math display="block">\begin{align}
\operatorname{MSE} = & \operatorname{E}\left[(T^2 - \sigma^2)^2\right] \\
= & \left(\operatorname{E}\left[T^2 - \sigma^2\right]\right)^2 + \operatorname{Var}(T^2)
\end{align}</math>

যদি চলক ''X''<sub>1</sub> ... ''X''<sub>''n''</sub> একটি সাধারণ বিন্যাস অনুসরণ করে, তবে ''nS''<sup>2</sup>/σ<sup>2</sup>-এর ''n''&nbsp;−&nbsp;১ ডিগ্রি অফ ফ্রিডমসহ একটি [[chi-squared distribution]] আছে, যা দেয়:

<math display="block">\operatorname{E}[nS^2] = (n-1)\sigma^2\text{ and }\operatorname{Var}(nS^2)=2(n-1)\sigma^4. </math>

এবং তাই

<math display="block">\operatorname{MSE} = (c (n-1) - 1)^2\sigma^4 + 2c^2(n-1)\sigma^4</math>

সামান্য বীজগণিতের মাধ্যমে নিশ্চিত করা যেতে পারে যে এটি ''c'' = 1/(''n''&nbsp;+&nbsp;1) যা এই সম্মিলিত লস ফাংশনটিকে হ্রাস করে, ''c'' = 1/(''n''&nbsp;−&nbsp;১)-এর পরিবর্তে যা কেবল বায়াসের বর্গকে হ্রাস করে।

আরও সাধারণভাবে, এটি কেবল সমস্যার সীমাবদ্ধ ক্লাসেই যে এমন একটি এস্টিমেটর থাকবে যা প্যারামিটারের মান নির্বিশেষে MSE হ্রাস করবে।

যাইহোক, এটি খুব সাধারণ যে একটি ''[[bias–variance tradeoff]]'' অনুভূত হতে পারে, যাতে বায়াসের সামান্য বৃদ্ধি ভেদাঙ্কের বৃহত্তর হ্রাসের জন্য বিনিময় করা যেতে পারে, যার ফলে সামগ্রিকভাবে আরও কাঙ্ক্ষিত এস্টিমেটর পাওয়া যায়।

== বেইজিয়ান দৃষ্টিভঙ্গি ==
বেশিরভাগ বেইজিয়ান তাদের অনুমানের আনবায়াসডনেস (অন্তত উপরের আনুষ্ঠানিক স্যাম্পলিং-তত্ত্ব অর্থে) নিয়ে খুব একটা উদ্বিগ্ন নন। উদাহরণস্বরূপ, জেলম্যান এবং সহ-লেখকরা (১৯৯৫) লিখেছেন: "একটি বেইজিয়ান দৃষ্টিকোণ থেকে, আনবায়াসডনেসের নীতিটি বড় স্যাম্পলের সীমার মধ্যে যুক্তিসঙ্গত, কিন্তু অন্যথায় এটি সম্ভাব্য বিভ্রান্তিকর।"<ref>(1995). "Bayesian Data Analysis". 108. Chapman and Hall. ISBN 0-412-03991-5.</ref>

মৌলিকভাবে, [[Bayesian statistics|বেইজিয়ান পদ্ধতি]] এবং উপরের স্যাম্পলিং-তত্ত্ব পদ্ধতির মধ্যে পার্থক্য হলো স্যাম্পলিং-তত্ত্ব পদ্ধতিতে প্যারামিটারটিকে স্থির হিসেবে নেওয়া হয়, এবং তারপর ডেটার পূর্বাভাসিত স্যাম্পলিং বিন্যাসের ওপর ভিত্তি করে একটি পরিসংখ্যানের সম্ভাব্যতা বিন্যাস বিবেচনা করা হয়। তবে একজন বেইজিয়ানের জন্য, এটি ''ডেটা'' যা জানা এবং স্থির, এবং এটি অজানা প্যারামিটার যার জন্য [[Bayes' theorem]] ব্যবহার করে একটি সম্ভাব্যতা বিন্যাস তৈরির চেষ্টা করা হয়:

<math display="block">p(\theta \mid D, I) \propto p(\theta \mid I) p(D \mid \theta, I)</math>

এখানে দ্বিতীয় পদটি, অজানা প্যারামিটার মান θ দেওয়া থাকলে ডেটার [[Likelihood function|লাইকলিহুড]], কেবল প্রাপ্ত ডেটা এবং ডেটা তৈরির প্রক্রিয়ার মডেলিংয়ের ওপর নির্ভর করে। তবে একটি বেইজিয়ান গণনায় প্রথম পদটিও অন্তর্ভুক্ত থাকে, θ-এর জন্য [[prior probability]], যা ডেটা আসার ''আগে'' θ সম্পর্কে বিশ্লেষক যা জানেন বা সন্দেহ করেন তার সবকিছু বিবেচনায় নেয়। এই তথ্য স্যাম্পলিং-তত্ত্ব পদ্ধতিতে কোনো ভূমিকা পালন করে না; প্রকৃতপক্ষে এটি অন্তর্ভুক্ত করার যেকোনো প্রচেষ্টাকে কেবল ডেটা দ্বারা নির্দেশিত যা তার থেকে "বায়াস" হিসেবে বিবেচনা করা হবে। বেইজিয়ান গণনাগুলো পূর্বের তথ্য অন্তর্ভুক্ত করে, তাই এটি মূলত অনিবার্য যে তাদের ফলাফলগুলো স্যাম্পলিং তত্ত্বের শর্তে "আনবায়াসড" হবে না।

কিন্তু বেইজিয়ান পদ্ধতির ফলাফলগুলো স্যাম্পলিং তত্ত্ব পদ্ধতি থেকে ভিন্ন হতে পারে এমনকি যদি বেইজিয়ান একটি "অতথ্যবহুল" প্রায়র (prior) গ্রহণ করার চেষ্টা করেন।

উদাহরণস্বরূপ, অজানা গড়সহ একটি সাধারণ বিন্যাসের অজানা পপুলেশন ভেদাঙ্ক σ<sup>2</sup>-এর অনুমান আবার বিবেচনা করুন, যেখানে প্রত্যাশিত লস ফাংশনে ''c'' অপ্টিমাইজ করা বাঞ্ছনীয়

<math display="block">\operatorname{Expected Loss} = \operatorname{E}\left[\left(c n S^2 - \sigma^2\right)^2\right] = \operatorname{E}\left[\sigma^4 \left(c n \tfrac{S^2}{\sigma^2} -1 \right)^2\right]</math>

এই সমস্যার জন্য অতথ্যবহুল প্রায়রের একটি আদর্শ পছন্দ হলো [[Jeffreys prior#Gaussian distribution with standard deviation parameter|জেফ্রিস প্রায়র]], <math>\scriptstyle{p(\sigma^2) \;\propto\; 1 / \sigma^2}</math>, যা '''ln(σ<sup>2</sup>)'''-এর জন্য একটি রিস্কেলিং-ইনভ্যারিয়েন্ট ফ্ল্যাট প্রায়র গ্রহণের সমতুল্য।

এই প্রায়র গ্রহণের একটি পরিণতি হলো যে ''S''<sup>2</sup>/σ<sup>2</sup> একটি [[pivotal quantity]] হিসেবে থাকে, অর্থাৎ ''S''<sup>2</sup>/σ<sup>2</sup>-এর সম্ভাব্যতা বিন্যাস কেবল ''S''<sup>2</sup>/σ<sup>2</sup>-এর ওপর নির্ভর করে, ''S''<sup>2</sup> বা σ<sup>2</sup>-এর মান থেকে স্বাধীন:

<math display="block">p\left(\tfrac{S^2}{\sigma^2}\mid S^2\right) = p\left(\tfrac{S^2}{\sigma^2}\mid \sigma^2\right) = g\left(\tfrac{S^2}{\sigma^2}\right)</math>

যাইহোক, যখন

<math display="block">\operatorname{E}_{p(S^2\mid \sigma^2)}\left[\sigma^4 \left(c n \tfrac{S^2}{\sigma^2} -1 \right)^2\right] = \sigma^4 \operatorname{E}_{p(S^2\mid \sigma^2)}\left[\left(c n \tfrac{S^2}{\sigma^2} -1 \right)^2\right]</math>

বিপরীতে

<math display="block">\operatorname{E}_{p(\sigma^2\mid S^2)}\left[\sigma^4 \left(c n \tfrac{S^2}{\sigma^2} -1 \right)^2\right] \neq \sigma^4 \operatorname{E}_{p(\sigma^2\mid S^2)}\left[\left(c n \tfrac{S^2}{\sigma^2} -1 \right)^2\right]</math>

— যখন প্রত্যাশাটি ''S''<sup>2</sup> দেওয়া থাকলে σ<sup>2</sup>-এর সম্ভাব্যতা বিন্যাসের ওপর নেওয়া হয়, যেমনটি বেইজিয়ান ক্ষেত্রে হয়, σ<sup>2</sup> দেওয়া থাকলে ''S''<sup>2</sup>-এর পরিবর্তে, কেউ আর σ<sup>4</sup>-কে ধ্রুবক হিসেবে নিতে পারে না এবং এটিকে ফ্যাক্টর আউট করতে পারে না। এর পরিণতি হলো, স্যাম্পলিং-তত্ত্ব গণনার তুলনায়, বেইজিয়ান গণনা σ<sup>2</sup>-এর বৃহত্তর মানগুলোর ওপর বেশি গুরুত্ব দেয়, সঠিকভাবে বিবেচনায় নিয়ে (যেমনটি স্যাম্পলিং-তত্ত্ব গণনা করতে পারে না) যে এই স্কয়ার্ড-লস ফাংশনের অধীনে σ<sup>2</sup>-এর বড় মানগুলোকে আন্ডারএস্টিমেট করার পরিণতি স্কয়ার্ড-লস শর্তে σ<sup>2</sup>-এর ছোট মানগুলোকে ওভারএস্টিমেট করার চেয়ে বেশি ব্যয়বহুল।

কাজ করা বেইজিয়ান গণনা σ<sup>2</sup>-এর পোস্টেরিয়র সম্ভাব্যতা বিন্যাসের জন্য ''n''&nbsp;−&nbsp;১ ডিগ্রি অফ ফ্রিডমসহ একটি [[scaled inverse chi-squared distribution]] দেয়। প্রত্যাশিত লস হ্রাস পায় যখন ''cnS''<sup>2</sup>&nbsp;=&nbsp;<σ<sup>2</sup>>; এটি ঘটে যখন ''c''&nbsp;=&nbsp;1/(''n''&nbsp;−&nbsp;৩)।

একটি অতথ্যবহুল প্রায়রের সাথেও, তাই, একটি বেইজিয়ান গণনা সংশ্লিষ্ট স্যাম্পলিং-তত্ত্ব গণনার মতো একই প্রত্যাশিত-লস হ্রাসকারী ফলাফল নাও দিতে পারে।

==আরও দেখুন==

* [[Consistent estimator]]
* [[Efficient estimator]]
* [[Estimation theory]]
* [[Expected loss]]
* [[Expected value]]
* [[Loss function]]
* [[Minimum-variance unbiased estimator]]
* [[Omitted-variable bias]]
* [[Optimism bias]]
* [[Ratio estimator]]
* [[Statistical decision theory]]

==নোট==
<references />

==তথ্যসূত্র==
* [https://web.archive.org/web/20110310043642/http://www.universityofcalifornia.edu/senate/inmemoriam/georgewbrown.htm ব্রাউন, জর্জ ডব্লিউ.] "অন স্মল-স্যাম্পল এস্টিমেশন।" ''দ্য অ্যানালস অফ ম্যাথমেটিক্যাল স্ট্যাটিস্টিকস'', খণ্ড ১৮, সংখ্যা ৪ (ডিসেম্বর, ১৯৪৭), পৃষ্ঠা ৫৮২–৫৮৫। 2236236।
* লেহম্যান, ই. এল.. (ডিসেম্বর ১৯৫১). "আ জেনারেল কনসেপ্ট অফ আনবায়াসডনেস". ''দ্য অ্যানালস অফ ম্যাথমেটিক্যাল স্ট্যাটিস্টিকস''. ২২ (৪) ৫৮৭–৫৯২. doi:[https://doi.org/10.1214/aoms/1177729549 10.1214/aoms/1177729549].
* বার্নবাম, অ্যালান. (মার্চ ১৯৬১). "আ ইউনিফাইড থিওরি অফ এস্টিমেশন, ১". ''দ্য অ্যানালস অফ ম্যাথমেটিক্যাল স্ট্যাটিস্টিকস''. ৩২ (১) ১১২–১৩৫. doi:[https://doi.org/10.1214/aoms/1177705145 10.1214/aoms/1177705145].
* ভ্যান ডের ভার্ট, এইচ. আর.. (জুন ১৯৬১). [https://projecteuclid.org/download/pdf_1/euclid.aoms/1177705051 সাম এক্সটেনশনস অফ দ্য আইডিয়া অফ বায়াস]. ''দ্য অ্যানালস অফ ম্যাথমেটিক্যাল স্ট্যাটিস্টিকস''. ৩২ (২) ৪৩৬–৪৪৭. doi:[https://doi.org/10.1214/aoms/1177705051 10.1214/aoms/1177705051].
* ফ্যানজাগল, জোহান. (১৯৯৪). "প্যারামেট্রিক স্ট্যাটিস্টিক্যাল থিওরি". ওয়াল্টার ডি গ্রুইটার.
* (২০১০). "ক্লাসিক্যাল ইনফারেন্স অ্যান্ড দ্য লিনিয়ার মডেল". ২এ. উইলি. ISBN 978-0-4706-8924-0..
* (১৯৯৩). "আনবায়াসড এস্টিমেটরস অ্যান্ড দেয়ার অ্যাপ্লিকেশনস". ১: ইউনিভ্যারিয়েট কেস. ক্লুওয়ার একাডেমিক পাবলিশার্স. ISBN 0-7923-2382-3.
* (১৯৯৬). "আনবায়াসড এস্টিমেটরস অ্যান্ড দেয়ার অ্যাপ্লিকেশনস". ২: মাল্টিভ্যারিয়েট কেস. ক্লুওয়ার একাডেমিক পাবলিশার্স. ISBN 0-7923-3939-8.
* (২০০৯). "রোবাস্ট অ্যান্ড নন-রোবাস্ট মডেলস ইন স্ট্যাটিস্টিকস". নোভা সায়েন্টিফিক পাবলিশার্স. ISBN 978-1-60741-768-2.

==বহিঃসংযোগ==
* আনবায়াসড এস্টিমেটর

inference
expanded

{{DEFAULTSORT:Bias of an estimator}}
[[Category:সঠিকতা এবং নির্ভুলতা]]
[[Category:পয়েন্ট এস্টিমেশন পারফরম্যান্স]]
[[Category:পক্ষপাত]]

----
''উৎস:'' ইংরেজি উইকিপিডিয়ার “Bias of an estimator” নিবন্ধের অনুবাদ।
''মূল নিবন্ধ:'' https://en.wikipedia.org/wiki/Bias_of_an_estimator
''এই অনুবাদটি স্বয়ংক্রিয়ভাবে প্রস্তুত করা হয়েছে।''