মিসিং ডেটা

From LTRC
Revision as of 16:17, 6 October 2026 by Sourav001 (talk | contribs) (ইংরেজি উইকিপিডিয়ার “Missing data” নিবন্ধের বাংলা অনুবাদ)
(diff) ← Older revision | Latest revision (diff) | Newer revision → (diff)

পরিসংখ্যান-এ, মিসিং ডেটা (missing data) বা মিসিং ভ্যালু (missing values) বলতে বোঝায় যখন কোনো পর্যবেক্ষণে কোনো চলকের জন্য কোনো উপাত্ত মান সংরক্ষিত থাকে না। মিসিং ডেটা একটি সাধারণ ঘটনা এবং এটি উপাত্ত থেকে প্রাপ্ত সিদ্ধান্তের ওপর উল্লেখযোগ্য প্রভাব ফেলতে পারে।

মিসিং ডেটা অনাগ্রহের (nonresponse) কারণে ঘটতে পারে: এক বা একাধিক আইটেমের জন্য বা সম্পূর্ণ ইউনিটের ("সাবজেক্ট") জন্য কোনো তথ্য প্রদান করা হয় না। কিছু আইটেমের ক্ষেত্রে অনাগ্রহের সম্ভাবনা অন্যদের তুলনায় বেশি থাকে: উদাহরণস্বরূপ, আয়-এর মতো ব্যক্তিগত বিষয় সম্পর্কিত আইটেম। অ্যাট্রিশন হলো মিসিংনেসের একটি ধরন যা অনুদৈর্ঘ্য গবেষণায় (longitudinal studies) ঘটতে পারে—উদাহরণস্বরূপ, এমন কোনো উন্নয়নমূলক গবেষণা যেখানে একটি নির্দিষ্ট সময় পর পরিমাপ পুনরাবৃত্তি করা হয়। যখন অংশগ্রহণকারীরা পরীক্ষা শেষ হওয়ার আগেই ঝরে পড়ে এবং এক বা একাধিক পরিমাপ অনুপস্থিত থাকে, তখন মিসিংনেস ঘটে।

অর্থনীতি, সমাজবিজ্ঞান এবং রাষ্ট্রবিজ্ঞান গবেষণায় প্রায়শই উপাত্ত অনুপস্থিত থাকে কারণ সরকার বা বেসরকারি সংস্থাগুলো গুরুত্বপূর্ণ পরিসংখ্যান প্রকাশ না করার সিদ্ধান্ত নেয় বা প্রকাশ করতে ব্যর্থ হয়,[1] অথবা তথ্য সহজলভ্য না হওয়ার কারণে। কখনও কখনও গবেষকের কারণেও মিসিং ভ্যালু তৈরি হয়—উদাহরণস্বরূপ, যখন উপাত্ত সংগ্রহ সঠিকভাবে করা হয় না বা উপাত্ত এন্ট্রিতে ভুল হয়।[2]

এই ধরনের মিসিংনেসের বিভিন্ন ধরন রয়েছে, যা গবেষণার সিদ্ধান্তের বৈধতার ওপর ভিন্ন ভিন্ন প্রভাব ফেলে: মিসিং কমপ্লিটলি অ্যাট র‍্যান্ডম (MCAR), মিসিং অ্যাট র‍্যান্ডম (MAR), এবং মিসিং নট অ্যাট র‍্যান্ডম (MNAR)। মিসিং ডেটা সেন্সরড ডেটা-এর মতোই পরিচালনা করা যেতে পারে।

ধরন

উপাত্ত কেন অনুপস্থিত তা বোঝা অবশিষ্ট উপাত্ত সঠিকভাবে পরিচালনার জন্য গুরুত্বপূর্ণ। যদি মানগুলো সম্পূর্ণ দৈবভাবে (completely at random) অনুপস্থিত থাকে, তবে উপাত্তের নমুনাটি সম্ভবত এখনও জনসংখ্যার প্রতিনিধিত্বকারী। কিন্তু যদি মানগুলো পদ্ধতিগতভাবে অনুপস্থিত থাকে, তবে বিশ্লেষণ পক্ষপাতদুষ্ট হতে পারে। উদাহরণস্বরূপ, আইকিউ (IQ) এবং আয়ের মধ্যে সম্পর্ক বিষয়ক একটি গবেষণায়, যদি গড় আইকিউ-এর চেয়ে বেশি অংশগ্রহণকারীরা 'আপনার বেতন কত?' প্রশ্নটি এড়িয়ে যাওয়ার প্রবণতা দেখায়, তবে যে বিশ্লেষণগুলো এই 'মিসিং অ্যাট র‍্যান্ডম' (MAR প্যাটার্ন, নিচে দেখুন) বিবেচনায় নেয় না, তারা ভুলবশত আইকিউ এবং বেতনের মধ্যে ইতিবাচক সম্পর্ক খুঁজে পেতে ব্যর্থ হতে পারে। এই সমস্যাগুলোর কারণে, পদ্ধতিবিদরা নিয়মিত গবেষকদের পরামর্শ দেন যেন তারা মিসিং ভ্যালুর ঘটনা কমানোর জন্য গবেষণা ডিজাইন করেন।[2] গ্রাফিক্যাল মডেলগুলো মিসিং ডেটার প্রক্রিয়া বিস্তারিতভাবে বর্ণনা করতে ব্যবহার করা যেতে পারে।[3][4]

গ্রাফটি জনসংখ্যার বিষণ্নতার প্রত্যাশিত তীব্রতার অনুমানের সম্ভাবনা বিন্যাস দেখায়। কেসের সংখ্যা ৬০। ধরা যাক প্রকৃত জনসংখ্যা একটি প্রমিত স্বাভাবিক বিন্যাস (standardised normal distribution) এবং অনাগ্রহের সম্ভাবনা বিষণ্নতার তীব্রতার একটি লজিস্টিক ফাংশন। উপসংহার হলো: যত বেশি ডেটা অনুপস্থিত (MNAR), অনুমানগুলো তত বেশি পক্ষপাতদুষ্ট। আমরা জনসংখ্যার বিষণ্নতার তীব্রতাকে অবমূল্যায়ন করি।

মিসিং কমপ্লিটলি অ্যাট র‍্যান্ডম

একটি ডেটা সেটের মানগুলো মিসিং কমপ্লিটলি অ্যাট র‍্যান্ডম (MCAR) হয় যদি কোনো নির্দিষ্ট ডেটা-আইটেম অনুপস্থিত হওয়ার ঘটনাগুলো পর্যবেক্ষণযোগ্য চলক এবং আগ্রহের পর্যবেক্ষণ অযোগ্য প্যারামিটার—উভয় থেকেই স্বাধীন হয় এবং সম্পূর্ণ দৈবভাবে ঘটে।[5] যখন ডেটা MCAR হয়, তখন ডেটার ওপর করা বিশ্লেষণ পক্ষপাতহীন হয়; তবে, ডেটা খুব কমই MCAR হয়।

MCAR-এর ক্ষেত্রে, ডেটার অনুপস্থিতি কোনো গবেষণার চলকের সাথে সম্পর্কিত নয়: সুতরাং, সম্পূর্ণ পর্যবেক্ষণ করা ডেটাযুক্ত অংশগ্রহণকারীরা কার্যকরভাবে সমস্ত অংশগ্রহণকারীদের একটি দৈব নমুনা। MCAR-এর সাথে, চিকিৎসার দৈব বরাদ্দ (random assignment) সংরক্ষিত থাকে বলে ধরে নেওয়া হয়, তবে বাস্তবে এটি সাধারণত একটি অবাস্তব শক্তিশালী অনুমান।[6]

মিসিং অ্যাট র‍্যান্ডম

মিসিং অ্যাট র‍্যান্ডম (MAR) ঘটে যখন অনুপস্থিতি দৈব নয়, কিন্তু যেখানে অনুপস্থিতি সেই চলকগুলো দ্বারা সম্পূর্ণরূপে ব্যাখ্যা করা যায় যার জন্য সম্পূর্ণ তথ্য রয়েছে।[7] যেহেতু MAR এমন একটি অনুমান যা পরিসংখ্যানগতভাবে যাচাই করা অসম্ভব, তাই আমাদের এর বস্তুগত যৌক্তিকতার ওপর নির্ভর করতে হবে।[8] একটি উদাহরণ হলো, পুরুষদের বিষণ্নতা জরিপ পূরণ করার সম্ভাবনা কম, কিন্তু পুরুষত্ব বিবেচনায় নেওয়ার পর এর সাথে তাদের বিষণ্নতার মাত্রার কোনো সম্পর্ক নেই। বিশ্লেষণ পদ্ধতির ওপর নির্ভর করে, এই ডেটাগুলো এখনও বিশ্লেষণের ক্ষেত্রে প্যারামিটার পক্ষপাত তৈরি করতে পারে (যেমন, পুরুষ, খুব উচ্চ বিষণ্নতার ক্ষেত্রে শূন্য এন্ট্রি থাকতে পারে)। তবে, যদি প্যারামিটারটি 'ফুল ইনফরমেশন ম্যাক্সিমাম লাইকলিহুড' (Full Information Maximum Likelihood) দিয়ে অনুমান করা হয়, তবে MAR অসামঞ্জস্যপূর্ণভাবে পক্ষপাতহীন অনুমান প্রদান করবে।

মিসিং নট অ্যাট র‍্যান্ডম

মিসিং নট অ্যাট র‍্যান্ডম (MNAR) (যা নন-ইগনোরিবল নন-রেসপন্স নামেও পরিচিত) হলো এমন ডেটা যা MAR বা MCAR কোনোটিই নয় (অর্থাৎ, যে চলকের মান অনুপস্থিত, তা অনুপস্থিত হওয়ার কারণের সাথে সম্পর্কিত)।[5] পূর্বের উদাহরণটি প্রসারিত করলে, এটি ঘটবে যদি পুরুষরা তাদের বিষণ্নতার মাত্রার 'কারণে' বিষণ্নতা জরিপ পূরণ করতে ব্যর্থ হয়।

স্যামুয়েলসন এবং স্পিরার (১৯৯২) আলোচনা করেছেন যে কীভাবে জনসংখ্যা, আইন প্রয়োগকারী সংস্থা এবং স্বাস্থ্য সম্পর্কিত অনুপস্থিত এবং/অথবা বিকৃত ডেটা মানবাধিকার লঙ্ঘনের প্যাটার্নের সূচক হতে পারে। তারা বেশ কয়েকটি সুনিশ্চিত উদাহরণ দিয়েছেন।[9]

স্ট্রাকচার্ড মিসিংনেস

মিসিং ডেটা সূক্ষ্ম উপায়েও উদ্ভূত হতে পারে যা ধ্রুপদী তত্ত্বে ভালোভাবে ব্যাখ্যা করা হয়নি। ক্রমবর্ধমানভাবে একটি সমস্যা দেখা দিচ্ছে যেখানে ডেটা হয়তো MAR নয়, কিন্তু মিসিং ভ্যালুগুলো স্পষ্টভাবে বা অস্পষ্টভাবে একটি সম্পর্ক বা কাঠামো প্রদর্শন করে। এই ধরনের মিসিংনেসকে 'স্ট্রাকচার্ড মিসিংনেস' (structured missingness) হিসেবে বর্ণনা করা হয়েছে।[10]

স্ট্রাকচার্ড মিসিংনেস সাধারণত একাধিক গবেষণা থেকে তথ্য একত্রিত করার সময় উদ্ভূত হয়, যার প্রতিটির ডিজাইন এবং পরিমাপের সেট ভিন্ন হতে পারে এবং তাই পরিমাপের পদ্ধতির ইউনিয়ন থেকে চলকের একটি উপসেট মাত্র থাকতে পারে। এই পরিস্থিতিতে, মিসিং ভ্যালুগুলো ডেটা সংগ্রহের জন্য ব্যবহৃত বিভিন্ন স্যাম্পলিং পদ্ধতির সাথে সম্পর্কিত হতে পারে বা বৃহত্তর জনসংখ্যার বৈশিষ্ট্য প্রতিফলিত করতে পারে, এবং তাই দরকারী তথ্য প্রদান করতে পারে। উদাহরণস্বরূপ, স্বাস্থ্য প্রেক্ষাপটে, ক্লিনিকাল, জিনোমিক এবং ইমেজিং ডেটা সংযুক্ত করার ফলে স্ট্রাকচার্ড মিসিংনেস পরিলক্ষিত হয়েছে।[10]

স্ট্রাকচার্ড মিসিংনেসের উপস্থিতি ধ্রুপদী পরিসংখ্যানগত এবং বর্তমান মেশিন লার্নিং পদ্ধতি—উভয়ের মাধ্যমেই স্কেলে ডেটার কার্যকর ব্যবহারের ক্ষেত্রে বাধা হতে পারে। উদাহরণস্বরূপ, কিছু ডেটা প্যাটার্নে কেন অনুপস্থিত থাকতে পারে তার কারণগুলোর মধ্যে সহজাত পক্ষপাত থাকতে পারে, যা মেশিন লার্নিং মডেলগুলোর জন্য ভবিষ্যদ্বাণীমূলক নিরপেক্ষতার (predictive fairness) ক্ষেত্রে প্রভাব ফেলতে পারে। অধিকন্তু, মিসিং ডেটা পরিচালনার জন্য প্রতিষ্ঠিত পদ্ধতিগুলো, যেমন ইমপুটেশন, সাধারণত মিসিং ডেটার কাঠামো বিবেচনায় নেয় না এবং তাই স্ট্রাকচার্ড মিসিংনেস সঠিকভাবে বা কার্যকরভাবে মোকাবেলা করার জন্য নতুন ফর্মুলেশন তৈরির প্রয়োজন রয়েছে। পরিশেষে, MCAR, MAR এবং MNAR-এর ধ্রুপদী কাঠামোর মধ্যে স্ট্রাকচার্ড মিসিংনেসকে বৈশিষ্ট্যমণ্ডিত করা একটি চলমান কাজ।[11]

পরিকল্পিত মিসিংনেস

মিসিং ডেটা গবেষণা ডিজাইনের একটি ইচ্ছাকৃত অংশও হতে পারে। বিশেষত, পরিকল্পিত মিসিংনেস (planned missingness) হলো জরিপ গবেষণায় ব্যবহৃত একটি গবেষণা ডিজাইন কৌশল, যেখানে ব্যক্তিগত উত্তরদাতাদের কাছ থেকে ইচ্ছাকৃতভাবে ডেটা সংগ্রহ করা হয় না (সাধারণত প্রতিটি অংশগ্রহণকারীকে আইটেমের দৈবভাবে নমুনাভুক্ত উপসেট প্রদান করে) যাতে নমুনার পুরো আইটেম সেটের জন্য প্যারামিটার অনুমান করার ক্ষমতা বজায় রেখে বোঝা কমানো যায়।[12][13]

মিসিং ডেটা পরিচালনার কৌশল

মিসিং ডেটা নমুনার প্রতিনিধিত্বশীলতা হ্রাস করে এবং তাই জনসংখ্যার বিষয়ে অনুমানকে বিকৃত করতে পারে। সাধারণভাবে বলতে গেলে, মিসিং ডেটা পরিচালনার তিনটি প্রধান পদ্ধতি রয়েছে: (১) ইমপুটেশন—যেখানে মিসিং ডেটার জায়গায় মান পূরণ করা হয়, (২) ওমিশন (omission)—যেখানে অবৈধ ডেটাযুক্ত নমুনাগুলো পরবর্তী বিশ্লেষণ থেকে বাদ দেওয়া হয় এবং (৩) বিশ্লেষণ—মিসিং ভ্যালু দ্বারা প্রভাবিত হয় না এমন পদ্ধতি সরাসরি প্রয়োগ করে। রোগী-কেন্দ্রিক ফলাফল গবেষণার জন্য মিসিং ডেটার প্রতিরোধ এবং পরিচালনার বিষয়ে একটি পদ্ধতিগত পর্যালোচনা মিসিং ডেটার প্রতিরোধ এবং পরিচালনার জন্য ১০টি মানদণ্ডকে প্রয়োজনীয় হিসেবে চিহ্নিত করেছে। এর মধ্যে রয়েছে গবেষণা ডিজাইন, গবেষণা পরিচালনা, বিশ্লেষণ এবং রিপোর্টিংয়ের মানদণ্ড।[14]

কিছু ব্যবহারিক প্রয়োগে, পরীক্ষকরা মিসিংনেসের মাত্রা নিয়ন্ত্রণ করতে পারেন এবং ডেটা সংগ্রহের আগেই মিসিং ভ্যালু প্রতিরোধ করতে পারেন। উদাহরণস্বরূপ, কম্পিউটার প্রশ্নাবলীতে, প্রায়শই কোনো প্রশ্ন এড়িয়ে যাওয়া সম্ভব হয় না। একটি প্রশ্নের উত্তর দিতেই হয়, অন্যথায় পরবর্তী প্রশ্নে যাওয়া যায় না। তাই অংশগ্রহণকারীর কারণে মিসিং ভ্যালুগুলো এই ধরনের প্রশ্নাবলীর মাধ্যমে নির্মূল করা হয়, যদিও গবেষণার তদারকিকারী কোনো নীতি বোর্ড এই পদ্ধতি অনুমোদন নাও করতে পারে। জরিপ গবেষণায়, নমুনার প্রতিটি ব্যক্তির সাথে যোগাযোগের জন্য একাধিক প্রচেষ্টা করা সাধারণ, প্রায়শই যারা অংশগ্রহণ না করার সিদ্ধান্ত নিয়েছেন তাদের মন পরিবর্তনের জন্য চিঠি পাঠানো হয়।[15]161–187 তবে, এই ধরনের কৌশল মিসিং ডেটার নেতিবাচক অনুমানমূলক প্রভাব কমানোর ক্ষেত্রে সাহায্য বা ক্ষতি করতে পারে, কারণ যারা প্রাথমিকভাবে প্রত্যাখ্যান করার পর বা বাড়িতে না থাকার পর অংশগ্রহণ করতে রাজি হয়, তারা সম্ভবত সেই ব্যক্তিদের থেকে উল্লেখযোগ্যভাবে আলাদা যারা অতিরিক্ত প্রচেষ্টার পরেও প্রত্যাখ্যান করবে বা নাগালের বাইরে থাকবে।[15]188–198

যেসব পরিস্থিতিতে মিসিং ভ্যালু ঘটার সম্ভাবনা থাকে, সেখানে গবেষককে প্রায়শই মিসিংনেসের প্রতি রোবাস্ট (robust) ডেটা বিশ্লেষণের পদ্ধতি ব্যবহারের পরিকল্পনা করার পরামর্শ দেওয়া হয়। একটি বিশ্লেষণ তখনই রোবাস্ট হয় যখন আমরা নিশ্চিত থাকি যে কৌশলের মূল অনুমানগুলোর মৃদু থেকে মাঝারি লঙ্ঘন জনসংখ্যার বিষয়ে টানা সিদ্ধান্তে সামান্য বা কোনো পক্ষপাত বা বিকৃতি তৈরি করবে না।

ইমপুটেশন

মূল নিবন্ধ: Imputation (statistics) কিছু ডেটা বিশ্লেষণ কৌশল মিসিংনেসের প্রতি রোবাস্ট নয় এবং মিসিং ডেটা "পূরণ" বা ইমপুট করার প্রয়োজন হয়। রুবিন (১৯৮৭) যুক্তি দিয়েছিলেন যে ইমপুটেশন কয়েকবার (পাঁচ বা তার কম) পুনরাবৃত্তি করা অনুমানের গুণমানকে ব্যাপকভাবে উন্নত করে।[2] অনেক ব্যবহারিক উদ্দেশ্যে, দুই বা তিনটি ইমপুটেশন বেশিরভাগ আপেক্ষিক দক্ষতা অর্জন করে যা ইমপুটেশনের বৃহত্তর সংখ্যা দিয়ে অর্জন করা যেত। তবে, ইমপুটেশনের সংখ্যা খুব কম হলে পরিসংখ্যানগত শক্তি (statistical power) উল্লেখযোগ্যভাবে হ্রাস পেতে পারে এবং কিছু পণ্ডিত এখন ২০ থেকে ১০০ বা তার বেশি ইমপুটেশনের পরামর্শ দেন।[16] যেকোনো মাল্টিপলি-ইমপুটেড ডেটা বিশ্লেষণ প্রতিটি ইমপুটেড ডেটা সেটের জন্য পুনরাবৃত্তি করতে হবে এবং কিছু ক্ষেত্রে, প্রাসঙ্গিক পরিসংখ্যানগুলো তুলনামূলকভাবে জটিল উপায়ে একত্রিত করতে হবে।[2] মাল্টিপল ইমপুটেশন নির্দিষ্ট শাখায় পরিচালিত হয় না, কারণ প্রশিক্ষণের অভাব বা সে সম্পর্কে ভুল ধারণা রয়েছে।[17] লিস্টওয়াইজ ডিলিটেশনের মতো পদ্ধতিগুলো ডেটা ইমপুট করতে ব্যবহৃত হয়েছে কিন্তু দেখা গেছে যে এটি অতিরিক্ত পক্ষপাত তৈরি করে।[18] একটি শিক্ষানবিশ গাইড রয়েছে যা ডেটা কীভাবে ইমপুট করতে হয় তার ধাপে ধাপে নির্দেশনা প্রদান করে।[19]

এক্সপেক্টেশন-ম্যাক্সিমাইজেশন অ্যালগরিদম হলো এমন একটি পদ্ধতি যেখানে পরিসংখ্যানের মানগুলো (যা একটি সম্পূর্ণ ডেটাসেট উপলব্ধ থাকলে গণনা করা হতো) মিসিং ডেটার প্যাটার্ন বিবেচনায় নিয়ে অনুমান (ইমপুট) করা হয়। এই পদ্ধতিতে, পৃথক মিসিং ডেটা-আইটেমের মানগুলো সাধারণত ইমপুট করা হয় না।

ইন্টারপোলেশন

মূল নিবন্ধ: Interpolation সংখ্যাসূচক বিশ্লেষণের গাণিতিক ক্ষেত্রে, ইন্টারপোলেশন হলো পরিচিত ডেটা পয়েন্টের একটি বিচ্ছিন্ন সেটের সীমার মধ্যে নতুন ডেটা পয়েন্ট তৈরি করার একটি পদ্ধতি।

মিসিং ডেটাযুক্ত দুটি জোড় নমুনার তুলনার ক্ষেত্রে, একটি টেস্ট স্ট্যাটিস্টিক যা ইমপুটেশনের প্রয়োজন ছাড়াই সমস্ত উপলব্ধ ডেটা ব্যবহার করে তা হলো পার্শিয়ালি ওভারল্যাপিং স্যাম্পল t-test।[20] এটি নর্মালিটি এবং MCAR অনুমানের অধীনে বৈধ।

পার্শিয়াল ডিলিটেশন

যেসব পদ্ধতিতে মিসিং ভ্যালু নেই এমন ডেটাসেটে উপলব্ধ ডেটা হ্রাস করা হয়, তার মধ্যে রয়েছে:

ফুল অ্যানালাইসিস

যেসব পদ্ধতি উপলব্ধ সমস্ত তথ্যের পূর্ণ হিসাব নেয়, ইমপুটেড মানগুলো যেন প্রকৃতপক্ষে পর্যবেক্ষণ করা হয়েছে এমন ব্যবহারের ফলে সৃষ্ট বিকৃতি ছাড়াই:

পার্শিয়াল আইডেন্টিফিকেশন পদ্ধতিও ব্যবহার করা যেতে পারে।[23]

মডেল-ভিত্তিক কৌশল

মডেল-ভিত্তিক কৌশলগুলো, প্রায়শই গ্রাফ ব্যবহার করে, মিসিং ডেটার ধরন (MCAR, MAR, MNAR) পরীক্ষা করার জন্য এবং মিসিং ডেটা অবস্থায় প্যারামিটার অনুমান করার জন্য অতিরিক্ত সরঞ্জাম সরবরাহ করে। উদাহরণস্বরূপ, MAR/MCAR খণ্ডন করার জন্য একটি পরীক্ষা নিম্নরূপ:

যেকোনো তিনটি চলক X,Y, এবং Z-এর জন্য যেখানে Z সম্পূর্ণরূপে পর্যবেক্ষণ করা হয়েছে এবং X ও Y আংশিকভাবে পর্যবেক্ষণ করা হয়েছে, ডেটার নিম্নোক্ত শর্ত পূরণ করা উচিত: X⊥⊥Ry|(Rx,Z)।

কথায়, X-এর পর্যবেক্ষণ করা অংশটি Z-এর প্রতিটি মানের শর্তসাপেক্ষে Y-এর অনুপস্থিতির অবস্থার ওপর স্বাধীন হওয়া উচিত। এই শর্ত পূরণ করতে ব্যর্থতা নির্দেশ করে যে সমস্যাটি MNAR বিভাগের অন্তর্ভুক্ত।[24]

(মন্তব্য: এই পরীক্ষাগুলো চলক-ভিত্তিক MAR-এর জন্য প্রয়োজনীয়, যা ইভেন্ট-ভিত্তিক MAR-এর একটি সামান্য ভিন্নতা।[25][26][27])

যখন ডেটা MNAR বিভাগে পড়ে, তখন মডেলে নির্দিষ্ট শর্ত পূরণ হলে প্যারামিটারগুলো ধারাবাহিকভাবে অনুমান করার জন্য কৌশল উপলব্ধ থাকে।[3] উদাহরণস্বরূপ, যদি Y চলকটি X-এর অনুপস্থিতির কারণ ব্যাখ্যা করে, এবং Y-এর নিজস্ব মান অনুপস্থিত থাকে, তবে X এবং Y-এর যৌথ সম্ভাবনা বিন্যাস (joint probability distribution) এখনও অনুমান করা যেতে পারে যদি Y-এর অনুপস্থিতি দৈব হয়। এই ক্ষেত্রে এস্টিম্যান্ড (estimand) হবে:

P(X,Y)=P(X|Y)P(Y)=P(X|Y,Rx=0,Ry=0)P(Y|Ry=0)

যেখানে Rx=0 এবং Ry=0 তাদের নিজ নিজ চলকের পর্যবেক্ষণ করা অংশগুলোকে নির্দেশ করে।

বিভিন্ন মডেল কাঠামো বিভিন্ন এস্টিম্যান্ড এবং অনুমানের বিভিন্ন পদ্ধতি প্রদান করতে পারে যখনই ধারাবাহিক অনুমান সম্ভব হয়। পূর্ববর্তী এস্টিম্যান্ডের জন্য প্রথমে সম্পূর্ণ ডেটা থেকে P(X|Y) অনুমান করা এবং এটিকে Y পর্যবেক্ষণ করা হয়েছে এমন কেসগুলো থেকে অনুমান করা P(Y) দ্বারা গুণ করা প্রয়োজন, X-এর অবস্থা নির্বিশেষে। অধিকন্তু, একটি ধারাবাহিক অনুমান পাওয়ার জন্য এটি অত্যন্ত গুরুত্বপূর্ণ যে প্রথম পদটি P(X|Y) হোক, P(Y|X)-এর বিপরীতে।

অনেক ক্ষেত্রে মডেল-ভিত্তিক কৌশলগুলো মডেল কাঠামোকে খণ্ডন পরীক্ষার (refutation tests) মধ্য দিয়ে যেতে দেয়।[27] যেকোনো মডেল যা একটি আংশিকভাবে পর্যবেক্ষণ করা চলক X এবং অন্য একটি চলক Y-এর অনুপস্থিতির সূচকের (অর্থাৎ Ry) মধ্যে স্বাধীনতার ইঙ্গিত দেয়, Rx-এর শর্তসাপেক্ষে, তা নিম্নোক্ত খণ্ডন পরীক্ষার জন্য জমা দেওয়া যেতে পারে: X⊥⊥Ry|Rx=0।

পরিশেষে, এই কৌশলগুলো থেকে উদ্ভূত এস্টিম্যান্ডগুলো ক্লোজড ফর্মে প্রাপ্ত হয় এবং এক্সপেক্টেশন ম্যাক্সিমাইজেশনের মতো পুনরাবৃত্তিমূলক পদ্ধতির প্রয়োজন হয় না যা স্থানীয় অপটিমার (local optima) প্রতি সংবেদনশীল।[28]

সমস্যার একটি বিশেষ শ্রেণী দেখা দেয় যখন অনুপস্থিতির সম্ভাবনা সময়ের ওপর নির্ভর করে। উদাহরণস্বরূপ, ট্রমা ডেটাবেসগুলোতে ট্রমার ফলাফলের বিষয়ে ডেটা হারানোর সম্ভাবনা ট্রমার পরের দিনের ওপর নির্ভর করে। এই ক্ষেত্রে বিভিন্ন নন-স্টেশনারি মার্কভ চেইন মডেল প্রয়োগ করা হয়। [29]

আরও দেখুন

  • সেন্সরিং
  • এক্সপেক্টেশন–ম্যাক্সিমাইজেশন অ্যালগরিদম
  • ইমপুটেশন
  • ইন্ডিকেটর চলক
  • ইনভার্স প্রোবাবিলিটি ওয়েটিং
  • ল্যাটেন্ট চলক
  • ম্যাট্রিক্স কমপ্লিশন

তথ্যসূত্র

  1. ↑ Messner SF. (1992). "Exploring the Consequences of Erratic Data Reporting for Cross-National Research on Homicide". Journal of Quantitative Criminology. 8 (2) 155–173. doi:10.1007/bf01066742.
  2. ↑ 2.0 2.1 2.2 2.3 (2008). "Advising on Research Methods: A Consultant's Companion". 305–332. Johannes van Kessel. ISBN 978-90-79418-01-5.
  3. ↑ 3.0 3.1 (2013). Advances in Neural Information Processing Systems 26. 1277–1285.
  4. ↑ Karvanen, Juha. (2015). "Study design in causal models". Scandinavian Journal of Statistics. 42 (2) 361–377. doi:10.1111/sjos.12110.
  5. ↑ 5.0 5.1 Polit DF Beck CT. (2012). "Nursing Research: Generating and Assessing Evidence for Nursing Practice, 9th ed.". Wolters Klower Health, Lippincott Williams & Wilkins.
  6. ↑ Deng. (2012-10-05). On Biostatistics and Clinical Trials.
  7. ↑ Home.
  8. ↑ (2002). "Statistical Analysis with Missing Data". Wiley..
  9. ↑ (1992-12-31). "Human Rights and Statistics". 62–78. University of Pennsylvania Press. ISBN 978-1-5128-0286-3. doi:10.9783/9781512802863-006.
  10. ↑ 10.0 10.1 (2023-01-25). Learning from data with structured missingness. Nature Machine Intelligence. 5 (1) 13–23. doi:10.1038/s42256-022-00596-z.
  11. ↑ (2023-07-05). "A Complete Characterisation of Structured Missingness".
  12. ↑ (October 2022). Planned Missingness: How to and How Much?. Organizational Research Methods. 25 (4) 623–641. doi:10.1177/10944281211016534.
  13. ↑ (March 2023). "Planned missingness: An underused but practical approach to reducing survey and test length". Industrial and Organizational Psychology. 16 (1) 129–142. doi:10.1017/iop.2022.113.
  14. ↑ (2014). "Standards should be applied in the prevention and handling of missing data for patient-centered outcomes research: a systematic review and expert consensus". Journal of Clinical Epidemiology. 67 (1) 15–32. doi:10.1016/j.jclinepi.2013.08.013.
  15. ↑ 15.0 15.1 (2010). "Reducing Survey Nonresponse: Lessons Learned from the European Social Survey". Wiley-Blackwell. ISBN 978-0-470-51669-0.
  16. ↑ (2007). "How Many Imputations Are Really Needed? Some Practical Clarifications of Multiple Imputation Theory". Preventative Science. 8 (3) 208–213. doi:10.1007/s11121-007-0070-9.
  17. ↑ (2020-05-03). "Rebutting Existing Misconceptions About Multiple Imputation as a Method for Handling Missing Data". Journal of Personality Assessment. 102 (3) 297–308. doi:10.1080/00223891.2018.1530680.
  18. ↑ van Buuren, S.. (2018). "Flexible imputation of missing data". CRC Press.
  19. ↑ (2023-02-23). "Best practices for addressing missing data through multiple imputation". Infant and Child Development. 33. doi:10.1002/icd.2407.
  20. ↑ (2017). "Test Statistics for the Comparison of Means for Two Samples That Include Both Paired and Independent Observations". Journal of Modern Applied Statistical Methods. 16 (1) 137–157. doi:10.22237/jmasm/1493597280.
  21. ↑ (2008-06-01). Max-margin Classification of incomplete data. Neural Information Processing Systems. 233–240.
  22. ↑ (2008-06-01). Max-margin Classification of Data with Absent Features. The Journal of Machine Learning Research. 9 1–21.
  23. ↑ Tamer, Elie. (2010). Partial Identification in Econometrics. Annual Review of Economics. 2 (1) 167–195. doi:10.1146/annurev.economics.050708.143401.
  24. ↑ (2014). "On the testability of models with missing data". Proceedings of AISTAT-2014, Forthcoming.
  25. ↑ (2009). "Modeling and Reasoning with Bayesian Networks". Cambridge University Press.
  26. ↑ (2006). "Can one assess whether missing data are missing at random in medical studies?". Statistical Methods in Medical Research. 15 (3) 213–234. doi:10.1191/0962280206sm448oa.
  27. ↑ 27.0 27.1 Pearl
  28. ↑ (2014). "An Efficient Method for Bayesian Network Parameter Learning from Incomplete Data". Presented at Causal Modeling and Machine Learning Workshop, ICML-2014.
  29. ↑ (2016). Handling missing data in large healthcare dataset: A case study of unknown trauma outcomes. Computers in Biology and Medicine. 75 203–216. doi:10.1016/j.compbiomed.2016.06.004.

আরও পড়ুন

  • Acock AC. (2005). "Working with missing values". Journal of Marriage and Family. 67 (4) 1012–28. doi:10.1111/j.1741-3737.2005.00191.x.
  • Allison, Paul D.. (2001). "Missing Data". SAGE Publishing.
  • Bouza-Herrera, Carlos N.. (2013). "Handling Missing Data in Ranked Set Sampling". Springer.
  • Enders, Craig K.. (2010). "Applied Missing Data Analysis". Guilford Press.
  • Graham, John W.. (2012). "Missing Data". Springer.
  • (2015). "Handbook of Missing Data Methodology". Chapman & Hall.
  • Raghunathan, Trivellore. (2016). "Missing Data Analysis in Practice". Chapman & Hall.
  • (2002). "Statistical Analysis with Missing Data". Wiley.
  • Tsiatis, Anastasios A.. (2006). "Semiparametric Theory and Missing Data". Springer.
  • (2005). "Data cleaning: detecting, diagnosing, and editing data abnormalities". PLOS Medicine. 2 (10) e267. doi:10.1371/journal.pmed.0020267.
  • (2006). "Techniques for Missing Value Recovering in Imbalanced Databases: Application in a marketing database with massive missing data". 3 2658–2664. doi:10.1109/ICSMC.2006.385265.

বহিঃসংযোগ

পটভূমি

সফটওয়্যার

collection

উৎস: ইংরেজি উইকিপিডিয়ার “Missing data” নিবন্ধের অনুবাদ। মূল নিবন্ধ: https://en.wikipedia.org/wiki/Missing_data এই অনুবাদটি স্বয়ংক্রিয়ভাবে প্রস্তুত করা হয়েছে।

Retrieved from "https://ltrc.sciwiki.in/index.php?title=মিসিং_ডেটা&oldid=3224"