কোহেনের কাপা

কোহেনের কাপা সহগ (প্রতীক κ, ছোট হাতের গ্রিক অক্ষর কাপা) হলো গুণগত বা ক্যাটাগরিক্যাল ডেটা-র ক্ষেত্রে আন্তঃ-রেটার নির্ভরযোগ্যতা (inter-rater reliability) পরিমাপের জন্য ব্যবহৃত একটি পরিসংখ্যান। এটিকে সাধারণত সাধারণ শতাংশভিত্তিক ঐকমত্য গণনার চেয়ে বেশি শক্তিশালী পরিমাপক হিসেবে বিবেচনা করা হয়, কারণ κ দৈবক্রমে (by chance) ঐকমত্য ঘটার সম্ভাবনাকে অন্তর্ভুক্ত করে। কোহেনের কাপা নিয়ে বিতর্ক রয়েছে, কারণ ঐকমত্যের সূচকগুলোর ব্যাখ্যা করা কঠিন। কিছু গবেষক পরামর্শ দিয়েছেন যে আইটেমগুলোর মধ্যে মতপার্থক্য মূল্যায়ন করা ধারণাগতভাবে সহজ। কোহেনের কাপা সহগের মান -১ (সম্পূর্ণ মতপার্থক্য) থেকে ১ (সম্পূর্ণ ঐকমত্য) পর্যন্ত হতে পারে।

ইতিহাস

কাপা-সদৃশ পরিসংখ্যানের প্রথম উল্লেখ ১৮৯২ সালে গ্যালটনের কাজের সাথে সম্পর্কিত।

একটি নতুন কৌশল হিসেবে কাপাকে উপস্থাপনকারী মূল গবেষণাপত্রটি ১৯৬০ সালে Educational and Psychological Measurement জার্নালে জ্যাকব কোহেন প্রকাশ করেন।

সংজ্ঞা

কোহেনের কাপা দুইজন রেটারের মধ্যে ঐকমত্য পরিমাপ করে, যারা প্রত্যেকে N সংখ্যক আইটেমকে C সংখ্যক পারস্পরিক বর্জনশীল ক্যাটাগরিতে শ্রেণীবদ্ধ করেন। $\kappa$-এর সংজ্ঞা হলো:

$\kappa \equiv \frac{p_o-p_e}{1-p_e}=1-\frac{1-p_o}{1-p_e},$

যেখানে p_o হলো রেটারদের মধ্যে আপেক্ষিক পর্যবেক্ষিত ঐকমত্য এবং p_e হলো দৈবক্রমে ঐকমত্যের কাল্পনিক সম্ভাবনা, যা প্রতিটি পর্যবেক্ষক দৈবভাবে প্রতিটি ক্যাটাগরি নির্বাচন করার সম্ভাবনা গণনা করতে পর্যবেক্ষিত ডেটা ব্যবহার করে। যদি রেটাররা সম্পূর্ণ ঐকমত্যে পৌঁছান, তবে $\kappa =1$। যদি রেটারদের মধ্যে দৈবক্রমে প্রত্যাশিত ঐকমত্যের বাইরে কোনো ঐকমত্য না থাকে (যা p_e দ্বারা নির্দেশিত), তবে $\kappa =0$। পরিসংখ্যানটির মান ঋণাত্মক হওয়া সম্ভব, যা দৈবক্রমে ঘটতে পারে যদি দুই রেটারের রেটিংয়ের মধ্যে কোনো সম্পর্ক না থাকে, অথবা এটি রেটারদের ভিন্ন ভিন্ন রেটিং দেওয়ার প্রকৃত প্রবণতাকে প্রতিফলিত করতে পারে।

ধরা যাক O হলো C × C কনফিউশন ম্যাট্রিক্স, অর্থাৎ, ধরা যাক O_i,j হলো সেই আইটেমগুলোর সংখ্যা যা প্রথম রেটার $i$-তম ক্যাটাগরিতে এবং দ্বিতীয় রেটার $j$-তম ক্যাটাগরিতে রেখেছেন। তাহলে:

$p_o=\frac{1}{N}\sum _{k=1}^C{O}_{k,k}$

এবং

$p_e=\frac{1}{N^2}\sum _{k=1}^C{O}_{k,\cdot }{O}_{\cdot ,k}$

যেখানে

$O_{k,\cdot }=\sum _{j=1}^C{O}_{k,j}$ এবং $O_{\cdot ,k}=\sum _{i=1}^C{O}_{i,k}$

যথাক্রমে প্রথম এবং দ্বিতীয় রেটার দ্বারা k ক্যাটাগরিতে রাখা আইটেমগুলোর সংখ্যা।

$p_e$-এর মান নিম্নলিখিত যুক্তি থেকে উদ্ভূত হয়:

$p_e=\sum _k\widehat{p_{k,k}}\stackrel{\text{ind.}}{=}\sum _k\widehat{p_{k,\cdot }}\widehat{p_{\cdot ,k}}=\sum _k\frac{O_{k,\cdot }}{N}\frac{O_{\cdot ,k}}{N}=\frac{1}{N^2}\sum _k{O}_{k,\cdot }{O}_{\cdot ,k}$

যেখানে $\widehat{p_{k,k}}$ হলো সেই আনুমানিক সম্ভাবনা যে রেটার ১ এবং রেটার ২ উভয়ই একই আইটেমকে k হিসেবে শ্রেণীবদ্ধ করবে, যেখানে $\widehat{p_{k,\cdot }}$ হলো সেই আনুমানিক সম্ভাবনা যে রেটার ১ একটি আইটেমকে k হিসেবে শ্রেণীবদ্ধ করবে (এবং রেটার ২ যেকোনো কিছু), এবং একইভাবে $\widehat{p_{\cdot ,k}}$ হলো সেই আনুমানিক সম্ভাবনা যে রেটার ২ একটি আইটেমকে k হিসেবে শ্রেণীবদ্ধ করবে। $\widehat{p_{k,k}}=\widehat{p_{k,\cdot }}\cdot \widehat{p_{\cdot ,k}}$ সম্পর্কটি এই ধারণার ওপর ভিত্তি করে যে দুই রেটারের রেটিং স্বাধীন। $\widehat{p_{k,\cdot }}$ পদটি অভিজ্ঞতামূলকভাবে পর্যবেক্ষিত বিন্যাস ব্যবহার করে অনুমান করা হয়: প্রথম রেটার দ্বারা k হিসেবে শ্রেণীবদ্ধ আইটেমের সংখ্যা $O_{k,\cdot }$-কে মোট আইটেমের সংখ্যা N দিয়ে ভাগ করে: $\widehat{p_{k,\cdot }}=\frac{O_{k,\cdot }}{N}$ (এবং রেটার ২-এর জন্যও একইভাবে)।

বাইনারি ক্লাসিফিকেশন কনফিউশন ম্যাট্রিক্স

মেশিন লার্নিং এবং পরিসংখ্যান-এ বাইনারি ক্লাসিফিকেশন মূল্যায়নের জন্য ব্যবহৃত প্রচলিত ২ × ২ কনফিউশন ম্যাট্রিক্স-এ, কোহেনের কাপার সূত্রটি এভাবে লেখা যায়:

$\kappa =\frac{2\times (TP\times TN-FN\times FP)}{(TP+FP)\times (FP+TN)+(TP+FN)\times (FN+TN)}$

যেখানে TP হলো ট্রু পজিটিভ, FP হলো ফলস পজিটিভ, TN হলো ট্রু নেগেটিভ এবং FN হলো ফলস নেগেটিভ। (এই ক্ষেত্রে, কোহেনের কাপা আবহাওয়া বিজ্ঞানে পরিচিত হেইডকে স্কিল স্কোর-এর সমতুল্য।) পরিমাপকটি প্রথম ১৮৮৮ সালে মাইরিক হাসকেল ডুলিটল প্রবর্তন করেছিলেন।

উদাহরণ

সাধারণ উদাহরণ

ধরা যাক আপনি ৫০ জন ব্যক্তির একটি গ্রুপের অনুদান আবেদনের সাথে সম্পর্কিত ডেটা বিশ্লেষণ করছেন। প্রতিটি অনুদান প্রস্তাব দুইজন পাঠক পড়েছেন এবং প্রতিটি পাঠক প্রস্তাবটির জন্য "হ্যাঁ" বা "না" বলেছেন। ধরা যাক মতপার্থক্যের গণনার ডেটা নিম্নরূপ, যেখানে A এবং B হলো পাঠক, ম্যাট্রিক্সের প্রধান কর্ণের ডেটা (a এবং d) ঐকমত্যের সংখ্যা গণনা করে এবং কর্ণ-বহির্ভূত ডেটা (b এবং c) মতপার্থক্যের সংখ্যা গণনা করে:

2= B
	a	b
	c	d

উদাহরণস্বরূপ:

2= B
	20	5
	10	15

পর্যবেক্ষিত আনুপাতিক ঐকমত্য হলো:

$p_o=\frac{a+d}{a+b+c+d}=\frac{20+15}{50}=0.7$

p_e (দৈব ঐকমত্যের সম্ভাবনা) গণনা করতে আমরা লক্ষ্য করি যে:

• পাঠক A ২৫ জন আবেদনকারীকে "হ্যাঁ" এবং ২৫ জনকে "না" বলেছেন। সুতরাং পাঠক A ৫০% ক্ষেত্রে "হ্যাঁ" বলেছেন।
• পাঠক B ৩০ জন আবেদনকারীকে "হ্যাঁ" এবং ২০ জনকে "না" বলেছেন। সুতরাং পাঠক B ৬০% ক্ষেত্রে "হ্যাঁ" বলেছেন।

সুতরাং দৈবক্রমে উভয়েরই হ্যাঁ বলার প্রত্যাশিত সম্ভাবনা হলো:

$p_{\text{Yes}}=\frac{a+b}{a+b+c+d}\cdot \frac{a+c}{a+b+c+d}=0.5\times 0.6=0.3$

একইভাবে:

$p_{\text{No}}=\frac{c+d}{a+b+c+d}\cdot \frac{b+d}{a+b+c+d}=0.5\times 0.4=0.2$

সামগ্রিক দৈব ঐকমত্যের সম্ভাবনা হলো তাদের হ্যাঁ বা না-তে ঐকমত্য হওয়ার সম্ভাবনা, অর্থাৎ:

$p_e=p_{\text{Yes}}+p_{\text{No}}=0.3+0.2=0.5$

এখন কোহেনের কাপার জন্য আমাদের সূত্র প্রয়োগ করে আমরা পাই:

$\kappa =\frac{p_o-p_e}{1-p_e}=\frac{0.7-0.5}{1-0.5}=0.4$

একই শতাংশ কিন্তু ভিন্ন সংখ্যা

কোহেনের কাপার সাথে একটি সমস্যা হিসেবে বিবেচিত হয় যখন দুই জোড়া রেটারের জন্য গণনা করা কাপার তুলনা করা হয়, যেখানে প্রতিটি জোড়ার দুই রেটারের শতাংশভিত্তিক ঐকমত্য একই, কিন্তু এক জোড়া প্রতিটি ক্যাটাগরিতে একই সংখ্যক রেটিং দেয় এবং অন্য জোড়া প্রতিটি ক্যাটাগরিতে খুব ভিন্ন সংখ্যক রেটিং দেয়। (নিচের ক্ষেত্রে লক্ষ্য করুন, প্রথম ক্ষেত্রে B-এর ৭০টি হ্যাঁ এবং ৩০টি না আছে, কিন্তু দ্বিতীয় ক্ষেত্রে সেই সংখ্যাগুলো উল্টে গেছে।) উদাহরণস্বরূপ, নিচের দুটি ক্ষেত্রে A এবং B-এর মধ্যে সমান ঐকমত্য রয়েছে (উভয় ক্ষেত্রেই ১০০-এর মধ্যে ৬০), তাই আমরা আশা করব কোহেনের কাপার আপেক্ষিক মানগুলো এটি প্রতিফলিত করবে। তবে, প্রতিটির জন্য কোহেনের কাপা গণনা করলে:

2= B
	45	15
	25	15

$\kappa =\frac{0.60-0.54}{1-0.54}=0.1304$

2= B
	25	35
	5	35

$\kappa =\frac{0.60-0.46}{1-0.46}=0.2593$

আমরা দেখতে পাই যে এটি প্রথমটির তুলনায় দ্বিতীয় ক্ষেত্রে A এবং B-এর মধ্যে বৃহত্তর সাদৃশ্য দেখায়। এর কারণ হলো যদিও শতাংশভিত্তিক ঐকমত্য একই, 'দৈবক্রমে' যে ঐকমত্য ঘটবে তার শতাংশ প্রথম ক্ষেত্রে উল্লেখযোগ্যভাবে বেশি (০.৪৬-এর তুলনায় ০.৫৪)।

বৈশিষ্ট্য

হাইপোথিসিস টেস্টিং এবং কনফিডেন্স ইন্টারভাল

কাপার জন্য পি-ভ্যালু খুব কমই রিপোর্ট করা হয়, সম্ভবত কারণ কাপার তুলনামূলকভাবে কম মানও শূন্য থেকে উল্লেখযোগ্যভাবে ভিন্ন হতে পারে, কিন্তু তা তদন্তকারীদের সন্তুষ্ট করার মতো যথেষ্ট মাত্রার হয় না।66 তবুও, এর স্ট্যান্ডার্ড এরর বর্ণিত হয়েছে এবং বিভিন্ন কম্পিউটার প্রোগ্রাম দ্বারা এটি গণনা করা হয়।

কাপার জন্য কনফিডেন্স ইন্টারভাল তৈরি করা যেতে পারে, যদি আমাদের অসীম সংখ্যক আইটেম পরীক্ষা করা থাকে, তবে নিম্নলিখিত সূত্র ব্যবহার করে:

$CI:\kappa \pm Z_{1-\alpha /2}S{E}_{\kappa }$

যেখানে $Z_{1-\alpha /2}=1.960$ হলো স্ট্যান্ডার্ড নরমাল পার্সেন্টাইল যখন $\alpha =5\mathrm{\%}$, এবং $S{E}_{\kappa }$ হলো জ্যাকনাইফ রিস্যাম্পলিং, বুটস্ট্র্যাপিং (পরিসংখ্যান) বা ফ্লেইস ও কোহেন দ্বারা বর্ণিত অসিম্পটোটিক সূত্র দ্বারা গণনা করা হয়।

মাত্রার ব্যাখ্যা

File:Kappa vs accuracy.png

একই সিমুলেটেড বাইনারি ডেটা থেকে গণনা করা কাপা (উল্লম্ব অক্ষ) এবং নির্ভুলতা (অনুভূমিক অক্ষ)। গ্রাফের প্রতিটি বিন্দু ১০টি বিষয়ের ওপর এক্স রোগ নির্ণয়ের জন্য দুইজন বিচারকের দৈব রেটিং থেকে গণনা করা হয়েছে। লক্ষ্য করুন এই উদাহরণে কাপা=০ প্রায় ০.৫ নির্ভুলতার সমতুল্য

যদি পরিসংখ্যানগত তাৎপর্য একটি দরকারী নির্দেশিকা না হয়, তবে কাপার কোন মাত্রা পর্যাপ্ত ঐকমত্য প্রতিফলিত করে? নির্দেশিকা সহায়ক হতে পারে, কিন্তু ঐকমত্য ছাড়া অন্যান্য কারণ এর মাত্রাকে প্রভাবিত করতে পারে, যা একটি নির্দিষ্ট মাত্রার ব্যাখ্যাকে সমস্যাযুক্ত করে তোলে। সিম এবং রাইট উল্লেখ করেছেন, দুটি গুরুত্বপূর্ণ কারণ হলো প্রাদুর্ভাব (কোডগুলো কি সমসম্ভাব্য নাকি তাদের সম্ভাবনা পরিবর্তিত হয়) এবং পক্ষপাত (দুই পর্যবেক্ষকের জন্য প্রান্তিক সম্ভাবনা কি একই নাকি ভিন্ন)। অন্যান্য বিষয় সমান থাকলে, কোডগুলো সমসম্ভাব্য হলে কাপার মান বেশি হয়। অন্যদিকে, দুই পর্যবেক্ষক দ্বারা কোডগুলো অপ্রতিসমভাবে বিতরণ করা হলে কাপার মান বেশি হয়। সম্ভাব্যতা পরিবর্তনের বিপরীতে, কাপার মান ছোট হলে পক্ষপাতের প্রভাব বড় হওয়ার চেয়ে বেশি হয়।261–262

আরেকটি কারণ হলো কোডের সংখ্যা। কোডের সংখ্যা বাড়ার সাথে সাথে কাপার মান বৃদ্ধি পায়। একটি সিমুলেশন গবেষণার ভিত্তিতে, বেকেম্যান এবং সহকর্মীরা উপসংহারে পৌঁছেছেন যে ভুলপ্রবণ পর্যবেক্ষকদের জন্য, কোড কম হলে কাপার মান কম ছিল। এবং, প্রাদুর্ভাব সংক্রান্ত সিম ও রাইটের বক্তব্যের সাথে একমত হয়ে, কোডগুলো মোটামুটি সমসম্ভাব্য হলে কাপার মান বেশি ছিল। সুতরাং বেকেম্যান প্রমুখ উপসংহারে পৌঁছেছেন যে "কাপার কোনো একটি মানকে সর্বজনীনভাবে গ্রহণযোগ্য হিসেবে গণ্য করা যায় না।"357 তারা একটি কম্পিউটার প্রোগ্রামও প্রদান করেন যা ব্যবহারকারীদের কোডের সংখ্যা, তাদের সম্ভাবনা এবং পর্যবেক্ষকের নির্ভুলতা উল্লেখ করে কাপার মান গণনা করতে দেয়। উদাহরণস্বরূপ, সমসম্ভাব্য কোড এবং ৮৫% নির্ভুল পর্যবেক্ষক দেওয়া থাকলে, কোডের সংখ্যা ২, ৩, ৫ এবং ১০ হলে কাপার মান যথাক্রমে ০.৪৯, ০.৬০, ০.৬৬ এবং ০.৬৯ হয়।

তবুও, সাহিত্যে মাত্রার নির্দেশিকা দেখা গেছে। সম্ভবত প্রথমটি ছিল ল্যান্ডিস এবং কোচের, যারা মান < ০-কে কোনো ঐকমত্য নেই এবং ০–০.২০-কে সামান্য, ০.২১–০.৪০-কে মোটামুটি, ০.৪১–০.৬০-কে মাঝারি, ০.৬১–০.৮০-কে উল্লেখযোগ্য এবং ০.৮১–১-কে প্রায় নিখুঁত ঐকমত্য হিসেবে চিহ্নিত করেছেন। তবে এই নির্দেশিকাগুলো কোনোভাবেই সর্বজনীনভাবে গৃহীত নয়; ল্যান্ডিস এবং কোচ এটি সমর্থন করার জন্য কোনো প্রমাণ সরবরাহ করেননি, বরং ব্যক্তিগত মতামতের ওপর ভিত্তি করে এটি তৈরি করেছেন। এটি উল্লেখ করা হয়েছে যে এই নির্দেশিকাগুলো সহায়ক হওয়ার চেয়ে বেশি ক্ষতিকর হতে পারে। ফ্লেইসের218 সমানভাবে স্বেচ্ছাচারী নির্দেশিকাগুলো ০.৭৫-এর বেশি কাপাকে চমৎকার, ০.৪০ থেকে ০.৭৫-কে মোটামুটি থেকে ভালো এবং ০.৪০-এর নিচে কাপাকে দুর্বল হিসেবে চিহ্নিত করে।

সীমাবদ্ধতা

কাপা এমন একটি সূচক যা একটি বেসলাইন ঐকমত্যের সাপেক্ষে পর্যবেক্ষিত ঐকমত্য বিবেচনা করে। তবে, তদন্তকারীদের সতর্কতার সাথে বিবেচনা করতে হবে যে কাপার বেসলাইন ঐকমত্য নির্দিষ্ট গবেষণার প্রশ্নের জন্য প্রাসঙ্গিক কিনা। কাপার বেসলাইন প্রায়শই দৈবক্রমে ঐকমত্য হিসেবে বর্ণিত হয়, যা কেবল আংশিকভাবে সঠিক। কাপার বেসলাইন ঐকমত্য হলো সেই ঐকমত্য যা বর্গাকার কন্টিনজেন্সি টেবিলের প্রান্তিক মোট দ্বারা নির্দিষ্ট পরিমাণ দেওয়া থাকলে দৈব বরাদ্দের কারণে প্রত্যাশিত হবে। সুতরাং, κ = 0 যখন পর্যবেক্ষিত বরাদ্দ আপাতদৃষ্টিতে দৈব হয়, প্রান্তিক মোট দ্বারা সীমাবদ্ধ পরিমাণ মতপার্থক্য নির্বিশেষে। তবে, অনেক অ্যাপ্লিকেশনের জন্য, তদন্তকারীদের বর্গাকার কন্টিনজেন্সি টেবিলের কর্ণে অতিরিক্ত তথ্য দ্বারা বর্ণিত বরাদ্দ মতপার্থক্যের চেয়ে প্রান্তিক মোটের পরিমাণ মতপার্থক্যের প্রতি বেশি আগ্রহী হওয়া উচিত। সুতরাং অনেক অ্যাপ্লিকেশনের জন্য, কাপার বেসলাইন জ্ঞানবর্ধক হওয়ার চেয়ে বিভ্রান্তিকর বেশি। নিচের উদাহরণটি বিবেচনা করুন:

File:Kappa example.png

কাপা উদাহরণ

তুলনা ১

		রেফারেন্স
		G	R
তুলনা	G	১	১৪
	R	০	১

মতপার্থক্যের অনুপাত ১৪/১৬ বা ০.৮৭৫। মতপার্থক্য পরিমাণের কারণে কারণ বরাদ্দ সর্বোত্তম। κ হলো ০.০১।

তুলনা ২

		রেফারেন্স
		G	R
তুলনা	G	০	১
	R	১	১৪

মতপার্থক্যের অনুপাত ২/১৬ বা ০.১২৫। মতপার্থক্য বরাদ্দের কারণে কারণ পরিমাণ অভিন্ন। কাপা হলো −০.০৭।

এখানে, পরিমাণ এবং বরাদ্দ মতপার্থক্য রিপোর্ট করা তথ্যপূর্ণ যেখানে কাপা তথ্য অস্পষ্ট করে। অধিকন্তু, কাপা গণনা এবং ব্যাখ্যায় কিছু চ্যালেঞ্জ তৈরি করে কারণ কাপা একটি অনুপাত। হর-এ শূন্য থাকার কারণে কাপার অনুপাত একটি অনির্ধারিত মান প্রদান করা সম্ভব। অধিকন্তু, একটি অনুপাত তার লব বা হর প্রকাশ করে না। গবেষকদের জন্য দুটি উপাদান, পরিমাণ এবং বরাদ্দ-তে মতপার্থক্য রিপোর্ট করা বেশি তথ্যপূর্ণ। এই দুটি উপাদান কাপার মতো একক সারাংশ পরিসংখ্যানের চেয়ে ক্যাটাগরিগুলোর মধ্যে সম্পর্ক আরও স্পষ্টভাবে বর্ণনা করে। যখন ভবিষ্যদ্বাণীমূলক নির্ভুলতা লক্ষ্য হয়, তখন গবেষকরা কাপার একটি অনুপাতের পরিবর্তে পরিমাণ এবং বরাদ্দের দুটি উপাদান ব্যবহার করে ভবিষ্যদ্বাণী উন্নত করার উপায় সম্পর্কে আরও সহজে চিন্তা করতে পারেন।কিছু গবেষক পর্যবেক্ষিত ক্যাটাগরিগুলোর ফ্রিকোয়েন্সিকে প্রদত্ত হিসেবে নেওয়ার κ-এর প্রবণতা নিয়ে উদ্বেগ প্রকাশ করেছেন, যা বিরল রোগের নির্ণয়ের মতো পরিস্থিতিতে ঐকমত্য পরিমাপের জন্য এটিকে অবিশ্বস্ত করে তুলতে পারে। এই পরিস্থিতিতে, κ বিরল ক্যাটাগরিতে ঐকমত্যকে অবমূল্যায়ন করে। এই কারণে, κ-কে ঐকমত্যের একটি অত্যধিক রক্ষণশীল পরিমাপক হিসেবে বিবেচনা করা হয়। অন্যরা কাপা "দৈব ঐকমত্যকে বিবেচনায় নেয়" এই দাবিকে প্রতিদ্বন্দ্বিতা করে। এটি কার্যকরভাবে করার জন্য রেটারদের সিদ্ধান্তকে দৈব কীভাবে প্রভাবিত করে তার একটি স্পষ্ট মডেল প্রয়োজন। কাপার তথাকথিত দৈব সমন্বয় ধরে নেয় যে, সম্পূর্ণ নিশ্চিত না হলে, রেটাররা কেবল অনুমান করে—একটি খুব অবাস্তব দৃশ্যপট। অধিকন্তু, কিছু কাজ দেখিয়েছে যে কীভাবে কাপা পরিসংখ্যান ভারসাম্যহীন ডেটার জন্য ভুল উপসংহারের দিকে নিয়ে যেতে পারে।

সম্পর্কিত পরিসংখ্যান

স্কট'স পাই

স্কট (১৯৫৫) একটি অনুরূপ পরিসংখ্যান প্রস্তাব করেছিলেন, যাকে পাই বলা হয়। কোহেনের কাপা এবং স্কট'স পাই p_e কীভাবে গণনা করা হয় তার দিক থেকে ভিন্ন।

ফ্লেইস' কাপা

লক্ষ্য করুন যে কোহেনের কাপা কেবল দুইজন রেটারের মধ্যে ঐকমত্য পরিমাপ করে। যখন দুইজন রেটারের বেশি থাকে তখন ঐকমত্যের অনুরূপ পরিমাপের (ফ্লেইস' কাপা) জন্য, দেখুন ফ্লেইস (১৯৭১)। তবে, ফ্লেইস কাপা হলো স্কট'স পাই পরিসংখ্যানের একটি বহু-রেটার সাধারণীকরণ, কোহেনের কাপা নয়। কাপা মেশিন লার্নিং-এ কর্মক্ষমতা তুলনা করতেও ব্যবহৃত হয়, তবে নির্দেশমূলক সংস্করণ যা ইনফর্মডনেস বা ইউডেন'স জে পরিসংখ্যান নামে পরিচিত, তা সুপারভাইজড লার্নিংয়ের জন্য বেশি উপযুক্ত বলে যুক্তি দেওয়া হয়।

ওয়েটেড কাপা

ওয়েটেড কাপা ক্যাটাগরিগুলোর ওপর নির্ভর করে মতপার্থক্যগুলোকে ভিন্নভাবে ওজন করার অনুমতি দেয়। এটি বিশেষ করে তখন কার্যকর যখন ক্যাটাগরিগুলো ক্রমানুসারে থাকে, কারণ বৃহত্তর মতপার্থক্যগুলোকে আরও গুরুত্ব সহকারে ওজন করা যেতে পারে।66

মনে রাখবেন যে দুইজন রেটার $N$ সংখ্যক বিষয়কে $C$ সংখ্যক পারস্পরিক বর্জনশীল ক্যাটাগরির একটিতে রেটিং দেন। গণনায় তিনটি $C\times C$ ম্যাট্রিক্স জড়িত: পর্যবেক্ষিত বিন্যাস $\tilde{O}$, প্রত্যাশিত বিন্যাস $\tilde{E}$ এবং ওজন $W$।

• পর্যবেক্ষিত বিন্যাস ম্যাট্রিক্সে (যা কনফিউশন ম্যাট্রিক্স নামেও পরিচিত), প্রতিটি কোষ $O_{i,j}$ সেই আইটেমগুলো গণনা করে যা প্রথম রেটার $i$-তম ক্যাটাগরিতে এবং দ্বিতীয় রেটার $j$-তম ক্যাটাগরিতে রেখেছেন। ম্যাট্রিক্সটি তখন আইটেমের সংখ্যা $N={\sum }_{i=1}^C{\sum }_{j=1}^C{O}_{i,j}$ দ্বারা স্বাভাবিক করা হয়, যা ${\tilde{O}}_{i,j}:=\frac{1}{N}{O}_{i,j}$ দেয়।
• প্রত্যাশিত বিন্যাস ম্যাট্রিক্সে, প্রতিটি কোষ ${\tilde{E}}_{i,j}:=\widehat{p_{i,\cdot }}\widehat{p_{\cdot ,j}}$ সেই সম্ভাবনা অনুমান করে যে একটি নতুন আইটেম সংশ্লিষ্ট রেটারদের দ্বারা $i$ এবং $j$ হিসেবে শ্রেণীবদ্ধ হবে। এখানে, আগের মতোই, $\widehat{p_{i,\cdot }}={\sum }_{j=1}^C{\tilde{O}}_{i,j}$ হলো সেই আনুমানিক সম্ভাবনা যে একটি নতুন আইটেম প্রথম রেটার দ্বারা $i$ হিসেবে শ্রেণীবদ্ধ হবে; $\widehat{p_{\cdot ,j}}={\sum }_{i=1}^C{\tilde{O}}_{i,j}$ দ্বিতীয় রেটারের জন্য একই; এবং রেটারদের স্বাধীন বলে ধরে নেওয়া হয়। অন্য কথায়, ম্যাট্রিক্স $\tilde{E}$ হলো ভেক্টর $(\widehat{p_{i,\cdot }}{)}_{i=1\dots C}$ এবং $(\widehat{p_{\cdot ,j}}{)}_{j=1\dots C}$-এর আউটার প্রোডাক্ট।
• ওজন ম্যাট্রিক্সে, প্রতিটি কোষ $W_{i,j}$ এমন একটি মতপার্থক্যের গুরুত্ব নির্দেশ করার জন্য বেছে নেওয়া হয় যেখানে একটি আইটেম সংশ্লিষ্ট রেটারদের দ্বারা $i$ এবং $j$ হিসেবে শ্রেণীবদ্ধ হয়। কর্ণের কোষগুলো $W_{i,i}$ ঐকমত্য উপস্থাপন করে এবং তাই শূন্যে সেট করা হয়। সাধারণত, কর্ণ-বহির্ভূত কোষগুলো রৈখিকভাবে $W_{i,j}:=|i-j|$ হিসেবে ওজন করা হয় (অর্থাৎ, কর্ণ থেকে এক ঘর দূরে থাকা কোষগুলো ১, দুই ঘর দূরে থাকা কোষগুলো ২ ইত্যাদি ওজন পায়); অথবা দ্বিঘাতভাবে $W_{i,j}:=(i-j{)}^2$ হিসেবে ওজন করা হয়, যা কোয়াড্রাটিক ওয়েটেড কাপা (QWK) দেয়।

ওয়েটেড κ-এর সমীকরণ হলো:

$\kappa =1-\frac{\sum _{i=1}^C\sum _{j=1}^C{W}_{i,j}{\tilde{O}}_{i,j}}{\sum _{i=1}^C\sum _{j=1}^C{W}_{i,j}{\tilde{E}}_{i,j}}$

ইউনিফর্ম ওজন বেছে নিলে (সব কর্ণ-বহির্ভূত কোষে ১, কর্ণের কোষে ০, অথবা আইভারসন ব্র্যাকেট নোটেশন ব্যবহার করে $W_{i,j}:=[i\ne j]$), এটি উপরে প্রদত্ত আনওয়েটেড কাপা গণনার মতো একই মান তৈরি করে।

আরও দেখুন

• ব্যাংডিওয়ালা'স বি
• ইন্ট্রাক্লাস কোরিলেশন
• ক্রিপেনডর্ফ'স আলফা
• পরিসংখ্যানগত শ্রেণীবিন্যাস

আরও পড়ুন

• (1999). Beyond Kappa: A Review of Interrater Agreement Measures. The Canadian Journal of Statistics. 27 (1) 3–23. doi:10.2307/3315487.
• (2021). "The Matthews correlation coefficient (MCC) is more informative than Cohen's Kappa and Brier score in binary classification assessment". IEEE Access. 9 78368–81. doi:10.1109/access.2021.3084050.
• (1960). "A coefficient of agreement for nominal scales". Educational and Psychological Measurement. 20 (1) 37–46. doi:10.1177/001316446002000104.
• (1968). "Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit". Psychological Bulletin. 70 (4) 213–220. doi:10.1037/h0026256.
• (1973). "The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability". Educational and Psychological Measurement. 33 (3) 613–9. doi:10.1177/001316447303300309.
• (2005). "The Kappa Statistic in Reliability Studies: Use, Interpretation, and Sample Size Requirements". Physical Therapy. 85 (3) 257–268. doi:10.1093/ptj/85.3.257.
• (2011). "Cohen's kappa is a weighted average". Statistical Methodology. 8 (6) 473–484. doi:10.1016/j.stamet.2011.06.002.

বহিঃসংযোগ

• অনলাইন কাপা ক্যালকুলেটর
• কোহেনের কাপা পরিসংখ্যান ঐকমত্য পরিমাপের জন্য এসএএস (SAS) উদাহরণসহ

তথ্যসূত্র

analysis

---

উৎস: ইংরেজি উইকিপিডিয়ার “Cohen's kappa” নিবন্ধের অনুবাদ। মূল নিবন্ধ: https://en.wikipedia.org/wiki/Cohen's_kappa এই অনুবাদটি স্বয়ংক্রিয়ভাবে প্রস্তুত করা হয়েছে।