জি-টেস্ট

পরিসংখ্যানশাস্ত্রে, G-টেস্ট হলো লাইকলিহুড-রেশিও বা ম্যাক্সিমাম লাইকলিহুড পরিসংখ্যানগত তাৎপর্য নির্ণায়ক পরীক্ষা, যা বর্তমানে এমন সব ক্ষেত্রে ক্রমবর্ধমান হারে ব্যবহৃত হচ্ছে যেখানে আগে কাই-স্কয়ার টেস্ট ব্যবহারের পরামর্শ দেওয়া হতো।

সূত্রায়ন

G-টেস্টের পরিসংখ্যানের সাধারণ সূত্রটি হলো:

$G=2\sum _i{O}_i\cdot \ln \left(\frac{O_i}{E_i}\right),$

যেখানে $O_i\ge 0$ হলো কোনো সেলে পর্যবেক্ষণকৃত সংখ্যা (observed count), $E_i>0$ হলো নাল হাইপোথিসিসের অধীনে প্রত্যাশিত সংখ্যা (expected count), $\ln$ হলো প্রাকৃতিক লগারিদম, এবং সমষ্টিটি সমস্ত অ-শূন্য সেলের ওপর নেওয়া হয়েছে। প্রাপ্ত $G$ মানটি অসীমের দিকে ধাবিত হওয়ার সাথে সাথে অসিম্পটোটিক্যালি কাই-স্কয়ার ডিস্ট্রিবিউশন অনুসরণ করে (ডিস্ট্রিবিউশনে অভিসৃতি)।

অধিকন্তু, মোট পর্যবেক্ষণকৃত সংখ্যা অবশ্যই মোট প্রত্যাশিত সংখ্যার সমান হতে হবে:

$\sum _i{O}_i=\sum _i{E}_i=N,$

যেখানে $N$ হলো পর্যবেক্ষণের মোট সংখ্যা।

G-টেস্ট পরিসংখ্যান $G$ এবং কাই-স্কয়ার টেস্ট পরিসংখ্যান ${\chi }^2$ উভয়ই ক্রেসি এবং রিড-এর পাওয়ার ডাইভারজেন্স পরিসংখ্যানের একটি সাধারণ পরিবারের বিশেষ ক্ষেত্র। $\lambda \notin \{0,-1\}$ এর জন্য সেট করা হয়:

${\mathrm{CR}}_{\lambda }=\frac{2}{\lambda (\lambda +1)}\sum _i{O}_i({\left(\frac{O_i}{E_i}\right)}^{\lambda }-1).$

তাহলে,

$G=\underset{\lambda \to 0}{\lim }{\mathrm{CR}}_{\lambda },{\chi }^2={\mathrm{CR}}_1.$

প্রতিপাদন

আমরা লগ-লাইকলিহুড রেশিও টেস্ট থেকে G-টেস্টের মান নির্ণয় করতে পারি, যেখানে মূল মডেলটি হলো একটি মাল্টিনোমিয়াল মডেল।

ধরা যাক, আমাদের কাছে একটি নমুনা $O=(O_1,\dots ,O_m)$ আছে, যেখানে প্রতিটি $O_i$ হলো $i$ ধরনের বস্তু কতবার পর্যবেক্ষণ করা হয়েছে তার সংখ্যা। এছাড়া, $N=\sum _{i=1}^m{O}_i$ হলো মোট পর্যবেক্ষণের সংখ্যা। যদি আমরা ধরে নিই যে মূল মডেলটি মাল্টিনোমিয়াল, তবে টেস্ট পরিসংখ্যানটি সংজ্ঞায়িত হয় এভাবে:

$\ln \left(\frac{L(\tilde{p}|O)}{L(\hat{p}|O)}\right)=\ln \left(\frac{\prod _{i=1}^m{\tilde{p}}_i^{O_i}}{\prod _{i=1}^m{\hat{p}}_i^{O_i}}\right),$

যেখানে $\tilde{p}=({\tilde{p}}_1,\dots ,{\tilde{p}}_m)$ হলো নাল হাইপোথিসিস এবং $\hat{p}=({\hat{p}}_1,\dots ,{\hat{p}}_m)$ হলো ডেটার ভিত্তিতে প্যারামিটারগুলোর ম্যাক্সিমাম লাইকলিহুড এস্টিমেট (MLE)। মনে রাখা প্রয়োজন যে, মাল্টিনোমিয়াল মডেলের জন্য, কোনো ডেটার ভিত্তিতে ${\hat{p}}_i$ এর MLE হলো:

${\hat{p}}_i=\frac{O_i}{N}.$

অধিকন্তু, আমরা প্রতিটি নাল হাইপোথিসিস প্যারামিটার ${\tilde{p}}_i$ কে এভাবে উপস্থাপন করতে পারি:

${\tilde{p}}_i=\frac{E_i}{N},$

যেখানে $E_i$ হলো নাল হাইপোথিসিসের অধীনে $i$ ধরনের বস্তুর প্রত্যাশিত সংখ্যা। সুতরাং, লগ-লাইকলিহুড রেশিওতে ${\tilde{p}}_i$ এবং ${\hat{p}}_i$ এর উপস্থাপনা প্রতিস্থাপন করলে সমীকরণটি সরল হয়ে দাঁড়ায়:

$\ln \left(\frac{L(\tilde{p}|O)}{L(\hat{p}|O)}\right)=\ln \left(\prod _{i=1}^m{\left(\frac{E_i}{O_i}\right)}^{O_i}\right)=\sum _{i=1}^m{O}_i\ln \left(\frac{E_i}{O_i}\right)$

পরিশেষে, একটি $-2$ গুণক দ্বারা গুণ করলে (যা G-টেস্টের সূত্রকে পিয়ারসনের কাই-স্কয়ার টেস্ট পরিসংখ্যানের সাথে অসিম্পটোটিক্যালি সমতুল্য করতে ব্যবহৃত হয়) আমরা পাই:

$G=-2\sum _{i=1}^m{O}_i\ln \left(\frac{E_i}{O_i}\right)=2\sum _{i=1}^m{O}_i\ln \left(\frac{O_i}{E_i}\right)$

হিউরিস্টিক্যালি, কেউ কল্পনা করতে পারে যে $O_i$ অবিচ্ছিন্ন এবং শূন্যের কাছাকাছি, সেক্ষেত্রে $O_i\ln O_i\to 0$, এবং শূন্য পর্যবেক্ষণযুক্ত পদগুলো বাদ দেওয়া যেতে পারে। তবে পদ্ধতিটি প্রয়োগ করার জন্য প্রতিটি সেলের 'প্রত্যাশিত' সংখ্যা অবশ্যই শূন্যের চেয়ে বড় হতে হবে ($E_i>0$ সমস্ত $i$ এর জন্য)।

ডিস্ট্রিবিউশন এবং ব্যবহার

নাল হাইপোথিসিস অনুযায়ী, যদি পর্যবেক্ষণকৃত ফ্রিকোয়েন্সিগুলো প্রদত্ত প্রত্যাশিত ফ্রিকোয়েন্সি বিশিষ্ট ডিস্ট্রিবিউশন থেকে দৈব নমুনা সংগ্রহের ফল হয়, তবে টেস্ট পরিসংখ্যান $G$ এর ডিস্ট্রিবিউশন প্রায় একটি কাই-স্কয়ার ডিস্ট্রিবিউশন হয়, যার ডিগ্রি অফ ফ্রিডম সংশ্লিষ্ট কাই-স্কয়ার টেস্টের সমান।

খুব ছোট নমুনার ক্ষেত্রে গুডনেস-অফ-ফিটের জন্য মাল্টিনোমিয়াল টেস্ট, কন্টিনজেন্সি টেবিলের জন্য ফিশারের এক্স্যাক্ট টেস্ট, এমনকি বেয়েসিয়ান হাইপোথিসিস সিলেকশন G-টেস্টের চেয়ে বেশি পছন্দনীয়। ম্যাকডোনাল্ড পরামর্শ দেন যে, যদি মোট নমুনার আকার ১,০০০ এর কম হয় তবে সবসময় একটি এক্স্যাক্ট টেস্ট (গুডনেস-অফ-ফিটের এক্স্যাক্ট টেস্ট, ফিশারের এক্স্যাক্ট টেস্ট) ব্যবহার করা উচিত।

১,০০০ নমুনার আকারের মধ্যে কোনো জাদুকরী বিষয় নেই, এটি কেবল একটি সুন্দর গোল সংখ্যা যা এমন সীমার মধ্যে রয়েছে যেখানে একটি এক্স্যাক্ট টেস্ট, কাই-স্কয়ার টেস্ট এবং G-টেস্ট প্রায় অভিন্ন p মান প্রদান করবে। স্প্রেডশিট, ওয়েব-পেজ ক্যালকুলেটর এবং SAS-এর ১,০০০ নমুনার আকারে এক্স্যাক্ট টেস্ট করতে কোনো সমস্যা হওয়ার কথা নয়।

— জন এইচ. ম্যাকডোনাল্ড (২০১৪)

G-টেস্টের সুপারিশ অন্তত ১৯৮১ সালের বায়োমেট্রি (Biometry) বইয়ের সংস্করণ থেকে করা হয়েছে, যা রবার্ট আর. সোকাল এবং এফ. জেমস রোলফ রচিত একটি পরিসংখ্যান পাঠ্যপুস্তক।

অন্যান্য মেট্রিকের সাথে সম্পর্ক

কাই-স্কয়ার টেস্টের সাথে সম্পর্ক

ডিস্ট্রিবিউশনের গুডনেস-অফ-ফিট এবং কন্টিনজেন্সি টেবিলে স্বাধীনতার জন্য বহুল ব্যবহৃত কাই-স্কয়ার টেস্ট আসলে লগ-লাইকলিহুড রেশিও-এর একটি আসন্ন মান, যার ওপর G-টেস্ট ভিত্তি করে তৈরি।

পিয়ারসনের কাই-স্কয়ার টেস্ট পরিসংখ্যানের সাধারণ সূত্রটি হলো:

${\chi }^2=\sum _i\frac{{(O_i-E_i)}^2}{E_i}.$

কাই-স্কয়ার টেস্ট পরিসংখ্যান দ্বারা G-টেস্ট পরিসংখ্যানের আসন্ন মানটি ১-এর চারপাশে প্রাকৃতিক লগারিদমের দ্বিতীয় ক্রমের টেইলর বিস্তৃতি দ্বারা পাওয়া যায় (নিচে প্রতিপাদন দেখুন)। যখন পর্যবেক্ষণকৃত সংখ্যা $O_i$ প্রত্যাশিত সংখ্যা $E_i$ এর কাছাকাছি থাকে, তখন $G\approx {\chi }^2$ হয়। তবে যখন এই পার্থক্য বড় হয়, তখন কাই-স্কয়ার টেস্ট পরিসংখ্যানের আসন্ন মানটি কাজ করা বন্ধ করে দেয়। এখানে ডেটার আউটলায়ারগুলোর প্রভাব আরও প্রকট হয়, এবং এটিই ব্যাখ্যা করে কেন কম ডেটাযুক্ত পরিস্থিতিতে কাই-স্কয়ার টেস্ট ব্যর্থ হয়।

যৌক্তিক আকারের নমুনার জন্য, G-টেস্ট এবং কাই-স্কয়ার টেস্ট একই সিদ্ধান্তে পৌঁছাবে। তবে, G-টেস্টের জন্য তাত্ত্বিক কাই-স্কয়ার ডিস্ট্রিবিউশনের আসন্ন মান পিয়ারসনের কাই-স্কয়ার টেস্টের চেয়ে ভালো। যেসব ক্ষেত্রে কোনো সেলের জন্য $O_i>2\cdot E_i$ হয়, সেসব ক্ষেত্রে G-টেস্ট সবসময় কাই-স্কয়ার টেস্টের চেয়ে ভালো।

গুডনেস-অফ-ফিট পরীক্ষার জন্য, বাহাদুর-এর অর্থে G-টেস্ট কাই-স্কয়ার টেস্টের চেয়ে অসীম গুণ বেশি দক্ষ, কিন্তু পিটম্যান-এর অর্থে অথবা হজেস এবং লেহম্যান-এর অর্থে উভয় টেস্টই সমান দক্ষ।

প্রতিপাদন (কাই-স্কয়ার)

বিবেচনা করুন:

$G=2\sum _i{O}_i\ln \left(\frac{O_i}{E_i}\right),$

এবং ধরা যাক $O_i=E_i+{\delta }_i$ যেখানে $\sum _i{\delta }_i=0$, যাতে মোট গণনার সংখ্যা একই থাকে। ধরে নিন যে সমস্ত $i$ এর জন্য ${\delta }_i=O_i-E_i$ মানটি $E_i$ এর তুলনায় ছোট। আরও স্পষ্টভাবে বলতে গেলে, লক্ষ্য করুন যে বিগ Θ নোটেশন ব্যবহার করে $E_i=\mathrm{\Theta }(n)$। যদি বড় $n$ এর জন্য বিগ O নোটেশন ব্যবহার করে $O_i=E_i+{𝒪}(n^{1/2})$ হয়, যা সেন্ট্রাল লিমিট থিওরেম এর কারণে নাল হাইপোথিসিসের অধীনে সত্য হওয়া উচিত, তবে ${\delta }_i={𝒪}(n^{1/2})$ এবং

$\frac{{\delta }_i^3}{E_i^2}={𝒪}\left(\frac{n^{3/2}}{n^2}\right)={𝒪}(n^{-1/2})$

অনুসরণ করে, যা পরে ব্যবহৃত হবে।

প্রতিস্থাপনের পর আমরা পাই,

$G=2\sum _i(E_i+{\delta }_i)\ln (1+\frac{{\delta }_i}{E_i}).$

টেইলর বিস্তৃতি $\ln (1+x)=x-\frac{1}{2}{x}^2+{𝒪}(x^3)$ ব্যবহার করে পাওয়া যায়:

$G=2\sum _i(E_i+{\delta }_i)(\frac{{\delta }_i}{E_i}-\frac{1}{2}\frac{{\delta }_i^2}{E_i^2}+{𝒪}\left(\frac{{\delta }_i^3}{E_i^3}\right)),$

এবং পদগুলো বিন্যাস করে আমরা পাই,

$G=2\sum _i({\delta }_i+\frac{1}{2}\frac{{\delta }_i^2}{E_i}+{𝒪}\left(\frac{{\delta }_i^3}{E_i^2}\right)).$

এখন, $\sum _i{\delta }_i=0$ এবং ${\delta }_i=O_i-E_i$ এবং বড় $n$ এর জন্য ${𝒪}({\delta }_i^3/E_i^2)={𝒪}(n^{-1/2})$ ব্যবহার করে, আমরা ফলাফলটি লিখতে পারি:

$G\approx \sum _i\frac{{(O_i-E_i)}^2}{E_i}.$

কুলব্যাক-লেইবলার ডাইভারজেন্সের সাথে সম্পর্ক

G-টেস্ট পরিসংখ্যানটি পর্যবেক্ষণকৃত ডেটার এম্পিরিক্যাল ডিস্ট্রিবিউশন $\hat{p}=({\hat{p}}_1,\dots ,{\hat{p}}_m)$ থেকে নাল হাইপোথিসিসের তাত্ত্বিক ডিস্ট্রিবিউশন $\tilde{p}=({\tilde{p}}_1,\dots ,{\tilde{p}}_m)$ এর কুলব্যাক-লেইবলার ডাইভারজেন্স এর সমানুপাতিক:

$\begin{array}{rl}G& =2\sum _i{O}_i\cdot \ln \left(\frac{O_i}{E_i}\right)=2N\sum _i{\hat{p}}_i\cdot \ln \left(\frac{{\hat{p}}_i}{{\tilde{p}}_i}\right)\\ & =2N{D}_{\mathrm{K}\mathrm{L}}(\hat{p}\Vert \tilde{p}),\end{array}$

যেখানে $N$ হলো মোট পর্যবেক্ষণের সংখ্যা এবং ${\tilde{p}}_i=\frac{E_i}{N}$ ও ${\hat{p}}_i=\frac{O_i}{N}$ হলো যথাক্রমে $i$ ধরনের বস্তুর তাত্ত্বিক ও এম্পিরিক্যাল সম্ভাবনা।

মিউচুয়াল ইনফরমেশনের সাথে সম্পর্ক

কন্টিনজেন্সি টেবিল বিশ্লেষণের জন্য G-টেস্ট পরিসংখ্যানের মানকে মিউচুয়াল ইনফরমেশন এর মাধ্যমেও প্রকাশ করা যায়।

এই ক্ষেত্রে দ্বিমাত্রিক ধরনের $(i,j)$ বস্তু বিবেচনা করা হয়। ধরা যাক $O_{ij}$ হলো $(i,j)$ ধরনের বস্তুর সংখ্যা, অর্থাৎ $O_{ij}$ হলো কন্টিনজেন্সি টেবিলের $i$-তম সারি এবং $j$-তম কলামের এন্ট্রি। সেট করা হয়:

$N=\sum _{ij}{O}_{ij},{\hat{p}}_{ij}=\frac{O_{ij}}{N},{\hat{p}}_{i\bullet }=\frac{\sum _j{O}_{ij}}{N},{\hat{p}}_{\bullet j}=\frac{\sum _i{O}_{ij}}{N}.$

তাহলে স্বাধীনতা ধরে নিয়ে $(i,j)$ ধরনের বস্তুর প্রত্যাশিত সংখ্যা হবে:

$E_{ij}=N{\hat{p}}_{i\bullet }{\hat{p}}_{\bullet j}.$

পরিশেষে, এই ক্ষেত্রে G-টেস্ট পরিসংখ্যানটি হলো:

$G=2\sum _{ij}{O}_{ij}\ln \left(\frac{O_{ij}}{E_{ij}}\right)$

ধরা যাক $X,Y$ হলো দৈব চলক যাদের যৌথ ডিস্ট্রিবিউশন কন্টিনজেন্সি টেবিলের এম্পিরিক্যাল ডিস্ট্রিবিউশন ${\hat{p}}_{ij}$ দ্বারা প্রদত্ত, অর্থাৎ:

$P(X=i,Y=j)={\hat{p}}_{ij},P(X=i)={\hat{p}}_{i\bullet },P(Y=j)={\hat{p}}_{\bullet j}.$

তাহলে G-টেস্ট পরিসংখ্যানকে কয়েকটি বিকল্প আকারে প্রকাশ করা যায়:

$\begin{array}{rl}G& =2N\cdot \sum _{ij}{\hat{p}}_{ij}(\ln ({\hat{p}}_{ij})-\ln ({\hat{p}}_{i\bullet })-\ln ({\hat{p}}_{\bullet j}))\\ & =2N\cdot (H(X)+H(Y)-H(X,Y))\\ & =2N\cdot \mathrm{MI}(X,Y),\end{array}$

যেখানে এনট্রপি $H(X)$ এবং $H(Y)$ হলো:

$H(X)=-\sum _i{\hat{p}}_{i\bullet }\ln ({\hat{p}}_{i\bullet }),H(Y)=-\sum _j{\hat{p}}_{\bullet j}\ln ({\hat{p}}_{\bullet j})$

এবং যৌথ এনট্রপি $H(X,Y)$ হলো:

$H(X,Y)=-\sum _{ij}{\hat{p}}_{ij}\ln ({\hat{p}}_{ij})$

এবং $X$ ও $Y$ এর মিউচুয়াল ইনফরমেশন হলো:

$\mathrm{MI}(X,Y)=H(X)+H(Y)-H(X,Y).$

এটিও দেখানো যেতে পারে যে টেক্সট রিট্রিভালের জন্য ব্যবহৃত ইনভার্স ডকুমেন্ট ফ্রিকোয়েন্সি ওয়েটিং হলো G এর একটি আসন্ন মান, যা তখন প্রযোজ্য যখন কোয়েরির জন্য সারির সমষ্টি কর্পাসের বাকি অংশের সারির সমষ্টির চেয়ে অনেক ছোট হয়। একইভাবে, কন্টিনজেন্সি টেবিলের সমস্ত সারির জন্য একটি একক মাল্টিনোমিয়াল ডিস্ট্রিবিউশন বনাম প্রতিটি সারির জন্য আলাদা মাল্টিনোমিয়াল ডিস্ট্রিবিউশনের বিকল্পের ক্ষেত্রে বেয়েসিয়ান ইনফারেন্স প্রয়োগ করলে তা G-টেস্ট পরিসংখ্যানের খুব কাছাকাছি ফলাফল দেয়।

প্রয়োগ

• পরিসংখ্যানগত জেনেটিক্সে ম্যাকডোনাল্ড-ক্রেইটম্যান টেস্ট হলো G-টেস্টের একটি প্রয়োগ।
• ডানিং এই টেস্টটিকে কম্পিউটেশনাল লিঙ্গুইস্টিকস কমিউনিটিতে পরিচিত করেন, যেখানে এটি এখন ব্যাপকভাবে ব্যবহৃত হয়।
• আর-স্কেপ (R-scape) প্রোগ্রাম (যা Rfam দ্বারা ব্যবহৃত হয়) আরএনএ সিকোয়েন্স অ্যালাইনমেন্ট পজিশনগুলোর মধ্যে কো-ভ্যারিয়েশন শনাক্ত করতে G-টেস্ট ব্যবহার করে।

পরিসংখ্যানগত সফটওয়্যার

• আর (R)-এ দ্রুত ইমপ্লিমেন্টেশন AMR এবং Rfast প্যাকেজে পাওয়া যায়। AMR প্যাকেজের জন্য, কমান্ডটি হলো g.test যা বেস আর-এর chisq.test এর মতোই কাজ করে। আর-এ likelihood.test সংরক্ষিত সংস্করণ ফাংশনটিও Deducer সংরক্ষিত সংস্করণ প্যাকেজে রয়েছে। দ্রষ্টব্য: আর (R)-এর GeneCycle Package-এ ফিশারের G-টেস্ট (fisher.g.test) এই নিবন্ধে বর্ণিত G-টেস্ট ইমপ্লিমেন্ট করে না, বরং এটি টাইম সিরিজে গাউসিয়ান হোয়াইট-নয়েজের ফিশারের এক্স্যাক্ট টেস্ট।
• G-টেস্ট পরিসংখ্যান এবং সংশ্লিষ্ট p-মান নির্ণয়ের জন্য আরেকটি আর (R) ইমপ্লিমেন্টেশন entropy প্যাকেজ দ্বারা সরবরাহ করা হয়। কমান্ডগুলো হলো স্ট্যান্ডার্ড G পরিসংখ্যান এবং সংশ্লিষ্ট p-মানের জন্য Gstat এবং স্বাধীনতার পরীক্ষার জন্য জয়েন্ট ও প্রোডাক্ট ডিস্ট্রিবিউশন তুলনা করতে G পরিসংখ্যানের জন্য Gstatindep।
• SAS-এ, proc freq এর পরে /chisq অপশন প্রয়োগ করে G-টেস্ট পরিচালনা করা যায়।
• Stata-তে, tabulate কমান্ডের পরে lr অপশন প্রয়োগ করে G-টেস্ট পরিচালনা করা যায়।
• জাভা (Java)-তে, org.apache.commons.math3.stat.inference.GTest ব্যবহার করুন।
• পাইথন (Python)-এ, lambda_=0 সহ scipy.stats.power_divergence ব্যবহার করুন।

বহিঃসংযোগ

• G²/লগ-লাইকলিহুড ক্যালকুলেটর

inference

---

উৎস: ইংরেজি উইকিপিডিয়ার “G-test” নিবন্ধের অনুবাদ। মূল নিবন্ধ: https://en.wikipedia.org/wiki/G-test এই অনুবাদটি স্বয়ংক্রিয়ভাবে প্রস্তুত করা হয়েছে।