এম্পিরিক্যাল ডিস্ট্রিবিউশন ফাংশন

ECDF-100.png

পরিসংখ্যান-এ, একটি এম্পিরিক্যাল ডিস্ট্রিবিউশন ফাংশন ( একটি এম্পিরিক্যাল কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশন, eCDF) হলো একটি নমুনার এম্পিরিক্যাল পরিমাপ-এর সাথে যুক্ত ডিস্ট্রিবিউশন ফাংশন। এই কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশন হলো একটি ধাপ ফাংশন যা প্রতিটি n ডেটা পয়েন্টে 1/n পরিমাণ বৃদ্ধি পায়। পরিমাপকৃত চলকের যেকোনো নির্দিষ্ট মানে এর মান হলো পরিমাপকৃত চলকের সেই পর্যবেক্ষণগুলোর ভগ্নাংশ যা নির্দিষ্ট মানের সমান বা তার চেয়ে ছোট।

এম্পিরিক্যাল ডিস্ট্রিবিউশন ফাংশন হলো সেই কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশনের একটি প্রাক্কলন যা নমুনার পয়েন্টগুলোকে তৈরি করেছে। গ্লিভেঙ্কো-ক্যান্টেলি উপপাদ্য অনুযায়ী, এটি ১ সম্ভাব্যতা নিয়ে সেই অন্তর্নিহিত ডিস্ট্রিবিউশনের দিকে অভিসারী হয়। এম্পিরিক্যাল ডিস্ট্রিবিউশন ফাংশনের অন্তর্নিহিত কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশনের দিকে অভিসৃতির হার পরিমাপ করার জন্য বেশ কিছু ফলাফল বিদ্যমান। একটি সাধারণ এম্পিরিক্যাল প্রাক্কলন হলো ফ্রিকোয়েন্সি ডিস্ট্রিবিউশন।

সংজ্ঞা

ধরা যাক (X₁, …, X_n) হলো সাধারণ কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশন F(t) বিশিষ্ট স্বাধীন, অভিন্নভাবে বিন্যস্ত বাস্তব র‍্যান্ডম ভেরিয়েবল। তাহলে এম্পিরিক্যাল ডিস্ট্রিবিউশন ফাংশন নিম্নরূপ সংজ্ঞায়িত: $${\hat{F}}_n(t)=\frac{\text{নমুনায় উপাদানের সংখ্যা}\le t}{n}=\frac{1}{n}\sum _{i=1}^n{\mathbf{𝟏}}_{X_i\le t},$$ যেখানে ${\mathbf{𝟏}}_A$ হলো ঘটনা A-এর ইন্ডিকেটর। একটি নির্দিষ্ট t-এর জন্য, ইন্ডিকেটর ${\mathbf{𝟏}}_{X_i\le t}$ হলো p = F(t) প্যারামিটার বিশিষ্ট একটি বার্নোলি র‍্যান্ডম ভেরিয়েবল; সুতরাং $n{\hat{F}}_n(t)$ হলো একটি দ্বিপদী র‍্যান্ডম ভেরিয়েবল যার গড় nF(t) এবং ভেদাঙ্ক nF(t)(1 − F(t))। এটি নির্দেশ করে যে ${\hat{F}}_n(t)$ হলো F(t)-এর একটি পক্ষপাতহীন প্রাক্কলক।

কিছু পাঠ্যপুস্তকে, এম্পিরিক্যাল ডিস্ট্রিবিউশন ফাংশন নিম্নরূপ সংজ্ঞায়িত: $${\hat{F}}_n(t)=\frac{1}{n+1}\sum _{i=1}^n{\mathbf{𝟏}}_{X_i\le t}$$ যাইহোক, যেহেতু n অসীমের দিকে অগ্রসর হলে অনুপাত (n + 1)/n ১-এর দিকে অগ্রসর হয়, তাই দুটি সংজ্ঞার অসীমতটীয় বৈশিষ্ট্য একই।

অসীমতটীয় বৈশিষ্ট্য

বৃহৎ সংখ্যার শক্তিশালী সূত্র অনুযায়ী, প্রাক্কলক ${\hat{F}}_n(t)$, n → ∞ হলে F(t)-এর দিকে প্রায় নিশ্চিতভাবে অভিসারী হয়, প্রতিটি t-এর মানের জন্য: $${\hat{F}}_n(t)\stackrel{\text{a.s.}}{\to }F(t);$$ সুতরাং প্রাক্কলক ${\hat{F}}_n(t)$ হলো একটি সামঞ্জস্যপূর্ণ প্রাক্কলক। এই রাশিটি প্রকৃত কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশনের দিকে এম্পিরিক্যাল ডিস্ট্রিবিউশন ফাংশনের বিন্দুভিত্তিক অভিসৃতি নিশ্চিত করে। একটি শক্তিশালী ফলাফল রয়েছে, যাকে গ্লিভেঙ্কো-ক্যান্টেলি উপপাদ্য বলা হয়, যা বলে যে অভিসৃতি প্রকৃতপক্ষে t-এর ওপর সুষমভাবে ঘটে: $${\Vert {\hat{F}}_n-F\Vert }_{\mathrm{\infty }}\equiv \underset{t\in \mathbb{ℝ}}{\sup }|{\hat{F}}_n(t)-F(t)|\stackrel{}{\to }0.$$ এই রাশিতে সুপ-নর্মকে এম্পিরিক্যাল ডিস্ট্রিবিউশন ${\hat{F}}_n(t)$ এবং ধরে নেওয়া প্রকৃত কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশন F-এর মধ্যে গুডনেস-অফ-ফিট পরীক্ষার জন্য কোলমোগোরভ-স্মিরনভ পরিসংখ্যান বলা হয়। সুপ-নর্মের পরিবর্তে এখানে অন্যান্য নর্ম ফাংশন যুক্তিসঙ্গতভাবে ব্যবহার করা যেতে পারে। উদাহরণস্বরূপ, L²-নর্ম থেকে ক্রেমার-ভন মিসেস পরিসংখ্যান পাওয়া যায়।

অসীমতটীয় ডিস্ট্রিবিউশনকে বিভিন্ন উপায়ে আরও বৈশিষ্ট্যমণ্ডিত করা যায়। প্রথমত, কেন্দ্রীয় সীমা উপপাদ্য বলে যে 'বিন্দুভিত্তিক'ভাবে, ${\hat{F}}_n(t)$-এর অসীমতটীয় নরমাল ডিস্ট্রিবিউশন রয়েছে যার অভিসৃতির হার আদর্শ $\sqrt{n}$: $$\sqrt{n}({\hat{F}}_n(t)-F(t))\stackrel{d}{\to }{𝒩}(0,F(t)(1-F(t)\left)\right).$$ এই ফলাফলটি ডনস্কারের উপপাদ্য দ্বারা প্রসারিত হয়েছে, যা দাবি করে যে এম্পিরিক্যাল প্রক্রিয়া $\sqrt{n}({\hat{F}}_n-F)$, যা $t\in \mathbb{ℝ}$ দ্বারা সূচিত একটি ফাংশন হিসেবে বিবেচিত, ডিস্ট্রিবিউশনে অভিসারী হয় স্কোরোকহড স্পেস $D[-\mathrm{\infty },+\mathrm{\infty }]$-এ, শূন্য-গড় বিশিষ্ট গাউসিয়ান প্রক্রিয়া $G_F=B\circ F$-এর দিকে, যেখানে B হলো আদর্শ ব্রাউনিয়ান ব্রিজ। এই গাউসিয়ান প্রক্রিয়ার কোভ্যারিয়েন্স কাঠামো হলো $$\mathrm{E}[G_F(t_1)G_F(t_2)]=F(t_1\wedge t_2)-F(t_1)F(t_2).$$ ডনস্কারের উপপাদ্যে অভিসৃতির সুষম হারকে হাঙ্গেরিয়ান এম্বেডিং নামে পরিচিত ফলাফলের মাধ্যমে পরিমাপ করা যায়: $$\underset{n\to \mathrm{\infty }}{\mathrm{lim\; sup}}\frac{\sqrt{n}}{{\ln }^{2}n}{\Vert \sqrt{n}({\hat{F}}_n-F)-G_{F,n}\Vert }_{\mathrm{\infty }}<\mathrm{\infty },\text{a.s.}$$

বিকল্পভাবে, $\sqrt{n}({\hat{F}}_n-F)$-এর অভিসৃতির হারকে এই রাশির সুপ-নর্মের অসীমতটীয় আচরণের পরিপ্রেক্ষিতেও পরিমাপ করা যায়। এই ক্ষেত্রে বেশ কিছু ফলাফল বিদ্যমান, উদাহরণস্বরূপ ডভোরেটস্কি-কিফার-উলফোভিটজ অসমতা $\sqrt{n}{\Vert {\hat{F}}_n-F\Vert }_{\mathrm{\infty }}$-এর টেইল সম্ভাব্যতাগুলোর ওপর সীমা প্রদান করে: $$\mathrm{Pr}(\sqrt{n}\Vert {\hat{F}}_n-F{\Vert }_{\mathrm{\infty }}>z)\le 2e^{-2z^2}.$$ প্রকৃতপক্ষে, কোলমোগোরভ দেখিয়েছেন যে যদি কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশন F অবিচ্ছিন্ন হয়, তবে রাশি $\sqrt{n}{\Vert {\hat{F}}_n-F\Vert }_{\mathrm{\infty }}$ ডিস্ট্রিবিউশনে ${\Vert B\Vert }_{\mathrm{\infty }}$-এর দিকে অভিসারী হয়, যার কোলমোগোরভ ডিস্ট্রিবিউশন রয়েছে যা F-এর আকারের ওপর নির্ভর করে না।

আরেকটি ফলাফল, যা লগারিদমের পুনরাবৃত্ত সূত্র থেকে আসে, তা হলো $$\underset{n\to \mathrm{\infty }}{\mathrm{lim\; sup}}\sqrt{\frac{n}{2\ln \ln n}}{\Vert {\hat{F}}_n-F\Vert }_{\mathrm{\infty }}\le \frac{1}{2},\text{a.s.}$$ এবং $$\underset{n\to \mathrm{\infty }}{\mathrm{lim\; inf}}\sqrt{2n\ln \ln n}{\Vert {\hat{F}}_n-F\Vert }_{\mathrm{\infty }}=\frac{\pi }{2},\text{a.s.}$$

কনফিডেন্স ইন্টারভাল

নরমাল ডিস্ট্রিবিউশন-এর বিভিন্ন নমুনার আকারের জন্য এম্পিরিক্যাল CDF, CDF এবং কনফিডেন্স ইন্টারভাল প্লট

কশি ডিস্ট্রিবিউশন-এর বিভিন্ন নমুনার আকারের জন্য এম্পিরিক্যাল CDF, CDF এবং কনফিডেন্স ইন্টারভাল প্লট

ত্রিভুজ ডিস্ট্রিবিউশন-এর বিভিন্ন নমুনার আকারের জন্য এম্পিরিক্যাল CDF, CDF এবং কনফিডেন্স ইন্টারভাল প্লট

ডভোরেটস্কি-কিফার-উলফোভিটজ অসমতা অনুযায়ী, যে ইন্টারভালটি 1−α সম্ভাব্যতা নিয়ে প্রকৃত CDF, $F(x)$-কে ধারণ করে তা নিম্নরূপ নির্দিষ্ট করা হয়

$$F_n(x)-\epsilon \le F(x)\le F_n(x)+\epsilon \text{ যেখানে }\epsilon =\sqrt{\frac{\ln \frac{2}{\alpha }}{2n}}.$$

উপরোক্ত সীমার ভিত্তিতে, আমরা যেকোনো পরিসংখ্যানগত ইমপ্লিমেন্টেশন ব্যবহার করে বিভিন্ন ডিস্ট্রিবিউশনের জন্য এম্পিরিক্যাল CDF, CDF এবং কনফিডেন্স ইন্টারভাল প্লট করতে পারি।

পরিসংখ্যানগত ইমপ্লিমেন্টেশন

এম্পিরিক্যাল ডিস্ট্রিবিউশন ফাংশনের সফটওয়্যার ইমপ্লিমেন্টেশনের একটি অসম্পূর্ণ তালিকা নিচে দেওয়া হলো:

• R সফটওয়্যার-এ, আমরা একটি এম্পিরিক্যাল কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশন গণনা করি, যার মধ্যে এই ধরনের "ecdf" অবজেক্টের সাথে প্লটিং, প্রিন্টিং এবং গণনার জন্য বেশ কিছু পদ্ধতি রয়েছে।
• GNU Octave বা MATLAB-এ আমরা এম্পিরিক্যাল কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশন (cdf) প্লট ব্যবহার করতে পারি।
• SAS থেকে jmp, CDF প্লট এম্পিরিক্যাল কিউমুলেটিভ ডিস্ট্রিবিউশন ফাংশনের একটি প্লট তৈরি করে।
• Minitab, একটি এম্পিরিক্যাল CDF তৈরি করে।
• Mathwave, আমরা আমাদের ডেটার সাথে প্রোবাবিলিটি ডিস্ট্রিবিউশন ফিট করতে পারি।
• Dataplot, আমরা এম্পিরিক্যাল CDF প্লট করতে পারি।
• Scipy, আমরা scipy.stats.ecdf ব্যবহার করতে পারি।
• Statsmodels, আমরা statsmodels.distributions.empirical_distribution.ECDF ব্যবহার করতে পারি।
• Matplotlib, matplotlib.pyplot.ecdf ফাংশন ব্যবহার করে (সংস্করণ ৩.৮.০-এ নতুন)
• Seaborn, seaborn.ecdfplot ফাংশন ব্যবহার করে।
• Plotly, plotly.express.ecdf ফাংশন ব্যবহার করে।
• Excel, আমরা এম্পিরিক্যাল CDF প্লট করতে পারি।
• ArviZ, az.plot_dist ফাংশন ব্যবহার করে।

আরও দেখুন

• Càdlàg ফাংশন
• কাউন্ট ডেটা
• কিউমুলেটিভ ফ্রিকোয়েন্সি বিশ্লেষণ
• ডিস্ট্রিবিউশন ফিটিং
• ডভোরেটস্কি-কিফার-উলফোভিটজ অসমতা
• এম্পিরিক্যাল প্রোবাবিলিটি
• এম্পিরিক্যাল প্রক্রিয়া
• নমুনা থেকে কোয়ান্টাইল প্রাক্কলন
• ফ্রিকোয়েন্সি (পরিসংখ্যান)
• এম্পিরিক্যাল লাইকলিহুড
• সেন্সরড প্রক্রিয়ার জন্য ক্যাপলান-মেয়ার প্রাক্কলক
• সারভাইভাল ফাংশন
• Q–Q প্লট

আরও পড়ুন

• (1986). "Empirical Processes with Applications to Statistics". Wiley. ISBN 0-471-86725-X.

বহিঃসংযোগ

• এম্পিরিক্যাল ডিস্ট্রিবিউশন ফাংশন

inference

---

উৎস: ইংরেজি উইকিপিডিয়ার “Empirical distribution function” নিবন্ধের অনুবাদ। মূল নিবন্ধ: https://en.wikipedia.org/wiki/Empirical_distribution_function এই অনুবাদটি স্বয়ংক্রিয়ভাবে প্রস্তুত করা হয়েছে।