আউটলায়ার

From LTRC
চিত্র ১. মাইকেলসন-মর্লি পরীক্ষা থেকে প্রাপ্ত ডেটার বক্স প্লট, যেখানে মাঝের কলামে চারটি আউটলায়ার এবং প্রথম কলামে একটি আউটলায়ার প্রদর্শিত হয়েছে।

পরিসংখ্যান-এ, একটি আউটলায়ার (outlier) হলো এমন একটি ডেটা পয়েন্ট যা অন্যান্য পর্যবেক্ষণ থেকে উল্লেখযোগ্যভাবে আলাদা।[1][2] একটি আউটলায়ার পরিমাপের পরিবর্তনশীলতা, নতুন ডেটার ইঙ্গিত, অথবা পরীক্ষামূলক ত্রুটির ফলাফল হতে পারে; শেষেরটিকে অনেক সময় ডেটা সেট থেকে বাদ দেওয়া হয়।[3][4] একটি আউটলায়ার উত্তেজনাপূর্ণ সম্ভাবনার ইঙ্গিত হতে পারে, তবে এটি পরিসংখ্যানগত বিশ্লেষণে গুরুতর সমস্যাও সৃষ্টি করতে পারে।

আউটলায়ার যেকোনো বিন্যাসে দৈবক্রমে ঘটতে পারে, তবে এগুলো ডেটা-সেটে নতুন আচরণ বা কাঠামো, পরিমাপ ত্রুটি, অথবা পপুলেশনের হেভি-টেইলড ডিস্ট্রিবিউশন (heavy-tailed distribution)-এর ইঙ্গিত দিতে পারে। পরিমাপ ত্রুটির ক্ষেত্রে, কেউ এগুলোকে বর্জন করতে চাইতে পারে অথবা এমন পরিসংখ্যান ব্যবহার করতে পারে যা আউটলায়ারের প্রতি সহনশীল (robust)। অন্যদিকে, হেভি-টেইলড ডিস্ট্রিবিউশনের ক্ষেত্রে, এগুলো নির্দেশ করে যে বিন্যাসটিতে উচ্চ স্কিউনেস (skewness) রয়েছে এবং নরমাল ডিস্ট্রিবিউশন ধরে নেওয়া সরঞ্জাম বা অন্তর্দৃষ্টি ব্যবহারের ক্ষেত্রে খুব সতর্ক থাকা উচিত। আউটলায়ারের একটি সাধারণ কারণ হলো দুটি বিন্যাসের মিশ্রণ, যা দুটি ভিন্ন উপ-পপুলেশন হতে পারে, অথবা 'সঠিক ট্রায়াল' বনাম 'পরিমাপ ত্রুটি' নির্দেশ করতে পারে; এটি একটি মিক্সচার মডেল দ্বারা মডেল করা হয়।

ডেটার বেশিরভাগ বৃহত্তর নমুনায়, কিছু ডেটা পয়েন্ট নমুনা গড় থেকে যুক্তিসঙ্গত সীমার চেয়ে বেশি দূরে থাকে। এটি আনুষঙ্গিক সিস্টেমেটিক এরর বা সম্ভাব্যতা বিন্যাস-এর একটি অনুমিত পরিবারের তত্ত্বের ত্রুটির কারণে হতে পারে, অথবা এমনও হতে পারে যে কিছু পর্যবেক্ষণ ডেটার কেন্দ্র থেকে অনেক দূরে। তাই আউটলায়ার পয়েন্টগুলো ত্রুটিপূর্ণ ডেটা, ভুল পদ্ধতি, অথবা এমন ক্ষেত্র নির্দেশ করতে পারে যেখানে একটি নির্দিষ্ট তত্ত্ব বৈধ নাও হতে পারে। তবে, বড় নমুনায় অল্প সংখ্যক আউটলায়ার প্রত্যাশিত (এবং এটি কোনো অস্বাভাবিক অবস্থার কারণে নয়)।

আউটলায়ারগুলো সবচেয়ে চরম পর্যবেক্ষণ হওয়ায়, এগুলো নমুনা সর্বোচ্চ বা নমুনা সর্বনিম্ন, অথবা উভয়ই অন্তর্ভুক্ত করতে পারে, যা নির্ভর করে সেগুলো অত্যন্ত উচ্চ নাকি নিম্ন তার ওপর। তবে, নমুনা সর্বোচ্চ এবং সর্বনিম্ন সবসময় আউটলায়ার হয় না কারণ সেগুলো অন্যান্য পর্যবেক্ষণ থেকে অস্বাভাবিকভাবে দূরে নাও থাকতে পারে।

আউটলায়ার অন্তর্ভুক্ত ডেটা সেট থেকে প্রাপ্ত পরিসংখ্যানের সরল ব্যাখ্যা বিভ্রান্তিকর হতে পারে। উদাহরণস্বরূপ, যদি কেউ একটি ঘরের ১০টি বস্তুর গড় তাপমাত্রা গণনা করে এবং তাদের মধ্যে নয়টি ২০ থেকে ২৫ ডিগ্রি সেলসিয়াস-এর মধ্যে থাকে, কিন্তু একটি ওভেন ১৭৫° সেলসিয়াসে থাকে, তবে ডেটার মধ্যমা ২০ থেকে ২৫° সেলসিয়াসের মধ্যে হবে কিন্তু গড় তাপমাত্রা ৩৫.৫ থেকে ৪০° সেলসিয়াসের মধ্যে হবে। এই ক্ষেত্রে, মধ্যমা গড় অপেক্ষা দৈবভাবে নমুনাভুক্ত বস্তুর তাপমাত্রাকে (কিন্তু ঘরের তাপমাত্রা নয়) আরও ভালোভাবে প্রতিফলিত করে; গড়কে "একটি সাধারণ নমুনা" হিসেবে সরল ব্যাখ্যা করা, যা মধ্যমার সমতুল্য, ভুল। এই ক্ষেত্রে যেমন চিত্রিত হয়েছে, আউটলায়ারগুলো এমন ডেটা পয়েন্ট নির্দেশ করতে পারে যা বাকি নমুনা সেটের চেয়ে ভিন্ন পপুলেশনের অন্তর্ভুক্ত।

আউটলায়ারের সাথে মোকাবিলা করতে সক্ষম এস্টিমেটর-গুলোকে রোবাস্ট বলা হয়: মধ্যমা হলো কেন্দ্রীয় প্রবণতা-র একটি রোবাস্ট পরিসংখ্যান, যেখানে গড় তা নয়।[5]

উপস্থিতি এবং কারণ

নরমাল ডিস্ট্রিবিউশনে আপেক্ষিক সম্ভাব্যতা

নরমাল ডিস্ট্রিবিউটেড ডেটার ক্ষেত্রে, থ্রি সিগমা রুল (three sigma rule) অনুযায়ী প্রায় ২২টি পর্যবেক্ষণের মধ্যে ১টি গড় থেকে স্ট্যান্ডার্ড ডেভিয়েশন-এর দ্বিগুণ বা তার বেশি আলাদা হবে এবং ৩৭০টির মধ্যে ১টি স্ট্যান্ডার্ড ডেভিয়েশনের তিনগুণ বিচ্যুত হবে।[6] ১০০০টি পর্যবেক্ষণের নমুনায়, গড় থেকে স্ট্যান্ডার্ড ডেভিয়েশনের তিনগুণের বেশি বিচ্যুত পাঁচটি পর্যন্ত পর্যবেক্ষণের উপস্থিতি প্রত্যাশিত সীমার মধ্যেই থাকে, যা প্রত্যাশিত সংখ্যার দ্বিগুণের কম এবং তাই প্রত্যাশিত সংখ্যার ১ স্ট্যান্ডার্ড ডেভিয়েশনের মধ্যে থাকে – দেখুন পয়সন বিন্যাস – এবং এটি কোনো অস্বাভাবিকতা নির্দেশ করে না। তবে, নমুনার আকার যদি মাত্র ১০০ হয়, তবে তিনটি আউটলায়ারই উদ্বেগের কারণ, যা প্রত্যাশিত সংখ্যার ১১ গুণেরও বেশি।

সাধারণভাবে, যদি পপুলেশন বিন্যাসের প্রকৃতি a priori জানা থাকে, তবে আউটলায়ারের সংখ্যা প্রত্যাশিত মানের চেয়ে তাৎপর্যপূর্ণভাবে বিচ্যুত কি না তা পরীক্ষা করা সম্ভব: একটি নির্দিষ্ট বিন্যাসের একটি নির্দিষ্ট কাটঅফের জন্য (যাতে নমুনাগুলো কাটঅফের বাইরে পড়ার সম্ভাবনা p), আউটলায়ারের সংখ্যা p প্যারামিটারসহ একটি দ্বিপদী বিন্যাস অনুসরণ করবে, যা সাধারণত λ = pn সহ পয়সন বিন্যাস দ্বারা ভালোভাবে আসন্ন করা যায়। সুতরাং, যদি কেউ গড় থেকে ৩ স্ট্যান্ডার্ড ডেভিয়েশন কাটঅফসহ একটি নরমাল ডিস্ট্রিবিউশন নেয়, তবে p প্রায় ০.৩%, এবং তাই ১০০০টি ট্রায়ালের জন্য ৩ সিগমার বেশি বিচ্যুতিসম্পন্ন নমুনার সংখ্যাকে λ = ৩ সহ একটি পয়সন বিন্যাস দ্বারা আসন্ন করা যায়।

কারণসমূহ

আউটলায়ারের অনেক অস্বাভাবিক কারণ থাকতে পারে। পরিমাপ গ্রহণের জন্য ব্যবহৃত কোনো ভৌত যন্ত্রে ক্ষণস্থায়ী ত্রুটি হতে পারে। ডেটা ট্রান্সমিশন বা প্রতিলিপিতে ভুল থাকতে পারে। সিস্টেমের আচরণের পরিবর্তন, প্রতারণামূলক আচরণ, মানবিক ত্রুটি, যন্ত্রের ত্রুটি বা পপুলেশনের স্বাভাবিক বিচ্যুতির কারণে আউটলায়ার উদ্ভূত হয়। নমুনাটি পরীক্ষাধীন পপুলেশনের বাইরের উপাদান দ্বারা দূষিত হতে পারে। বিকল্পভাবে, একটি আউটলায়ার অনুমিত তত্ত্বের ত্রুটির ফলাফল হতে পারে, যা গবেষকের দ্বারা আরও তদন্তের দাবি রাখে। উপরন্তু, একটি নির্দিষ্ট ধরনের আউটলায়ারের প্যাথলজিক্যাল উপস্থিতি বিভিন্ন ডেটাসেটে দেখা যায়, যা নির্দেশ করে যে ডেটার জন্য দায়ী প্রক্রিয়াটি চরম প্রান্তে ভিন্ন হতে পারে (কিং ইফেক্ট)।

সংজ্ঞা এবং শনাক্তকরণ

আউটলায়ার কী তা নিয়ে কোনো কঠোর গাণিতিক সংজ্ঞা নেই; একটি পর্যবেক্ষণ আউটলায়ার কি না তা নির্ধারণ করা শেষ পর্যন্ত একটি বিষয়ীগত অনুশীলন।[7]

আউটলায়ার শনাক্তকরণের বিভিন্ন পদ্ধতি রয়েছে, যার মধ্যে কিছুকে নোভেলটি ডিটেকশনের সমার্থক হিসেবে গণ্য করা হয়।[3][8][9][10][11] কিছু পদ্ধতি গ্রাফিক্যাল, যেমন নরমাল প্রোবাবিলিটি প্লট। অন্যগুলো মডেল-ভিত্তিক। বক্স প্লট হলো একটি হাইব্রিড।

শনাক্তকরণের জন্য সাধারণত ব্যবহৃত মডেল-ভিত্তিক পদ্ধতিগুলো ধরে নেয় যে ডেটা একটি নরমাল ডিস্ট্রিবিউশন থেকে এসেছে এবং গড় ও স্ট্যান্ডার্ড ডেভিয়েশনের ভিত্তিতে "অসম্ভাব্য" পর্যবেক্ষণগুলোকে শনাক্ত করে:

পিয়ার্স'স ক্রাইটেরিয়ন

মূল নিবন্ধ: Peirce's criterion

m সংখ্যক পর্যবেক্ষণের একটি সিরিজে ত্রুটির সীমা নির্ধারণ করার প্রস্তাব করা হয়েছে, যার বাইরে সমস্ত পর্যবেক্ষণ বর্জন করা যেতে পারে, যদি এমন n সংখ্যক পর্যবেক্ষণ থাকে। এই সমস্যা সমাধানের জন্য প্রস্তাবিত নীতিটি হলো, প্রস্তাবিত পর্যবেক্ষণগুলো বর্জন করা উচিত যখন সেগুলোকে রেখে প্রাপ্ত ত্রুটির সিস্টেমের সম্ভাব্যতা, সেগুলোকে বর্জন করে প্রাপ্ত ত্রুটির সিস্টেমের সম্ভাব্যতা এবং এতগুলো (এবং এর বেশি নয়) অস্বাভাবিক পর্যবেক্ষণ করার সম্ভাব্যতা দ্বারা গুণফলের চেয়ে কম হয়। (চভেনেট-এর এ ম্যানুয়াল অফ অ্যাস্ট্রোনমি ২:৫৫৮ থেকে পিয়ার্স (১৯৮২ সংস্করণ)-এর ৫১৬ পৃষ্ঠার সম্পাদকীয় নোটে উদ্ধৃত।) [13][14][15][16]

টুকেই'স ফেন্সেস

অন্যান্য পদ্ধতি ইন্টারকোয়ার্টাইল রেঞ্জ-এর মতো পরিমাপের ভিত্তিতে পর্যবেক্ষণগুলোকে চিহ্নিত করে। উদাহরণস্বরূপ, যদি Q1 এবং Q3 যথাক্রমে নিম্ন এবং উচ্চ কোয়ার্টাইল হয়, তবে কেউ আউটলায়ারকে এমন যেকোনো পর্যবেক্ষণ হিসেবে সংজ্ঞায়িত করতে পারে যা এই সীমার বাইরে:

[Q1−k(Q3−Q1),Q3+k(Q3−Q1)]

কিছু অ-ঋণাত্মক ধ্রুবক k-এর জন্য। জন টুকেই এই পরীক্ষাটি প্রস্তাব করেছিলেন, যেখানে k=1.5 একটি "আউটলায়ার" নির্দেশ করে এবং k=3 এমন ডেটা নির্দেশ করে যা "অনেক দূরে" (far out)।[17]

অ্যানোমালি ডিটেকশনে

মূল নিবন্ধ: Anomaly detection পরিসংখ্যান, সিগন্যাল প্রসেসিং, অর্থনীতি, ইকোনোমেট্রিক্স, ম্যানুফ্যাকচারিং, নেটওয়ার্কিং এবং ডেটা মাইনিং-এর মতো বিভিন্ন ক্ষেত্রে, অ্যানোমালি ডিটেকশন বা অস্বাভাবিকতা শনাক্তকরণের কাজটি অন্যান্য পদ্ধতি গ্রহণ করতে পারে। এর মধ্যে কিছু দূরত্ব-ভিত্তিক[18][19] এবং ঘনত্ব-ভিত্তিক হতে পারে, যেমন লোকাল আউটলায়ার ফ্যাক্টর (LOF)।[20] কিছু পদ্ধতি পর্যবেক্ষণগুলোকে আউটলায়ার বা নন-আউটলায়ার হিসেবে লেবেল করার জন্য k-নিয়ারেস্ট নেইবার-এর দূরত্ব ব্যবহার করতে পারে।[21]

মডিফাইড থম্পসন টাউ টেস্ট

আরও দেখুন: Studentized residual#Distribution মডিফাইড থম্পসন টাউ টেস্ট হলো একটি ডেটা সেটে আউটলায়ার বিদ্যমান কি না তা নির্ধারণ করার পদ্ধতি।[22] এই পদ্ধতির শক্তি হলো এটি ডেটা সেটের স্ট্যান্ডার্ড ডেভিয়েশন, গড় বিবেচনা করে এবং একটি পরিসংখ্যানগতভাবে নির্ধারিত বর্জন অঞ্চল প্রদান করে; এইভাবে একটি ডেটা পয়েন্ট আউটলায়ার কি না তা নির্ধারণ করার জন্য একটি বস্তুনিষ্ঠ পদ্ধতি প্রদান করে।[23] এটি যেভাবে কাজ করে: প্রথমে, একটি ডেটা সেটের গড় নির্ধারণ করা হয়। এরপর প্রতিটি ডেটা পয়েন্ট এবং গড়ের মধ্যে পরম বিচ্যুতি নির্ধারণ করা হয়। তৃতীয়ত, একটি বর্জন অঞ্চল নির্ধারণ করা হয় এই সূত্র ব্যবহার করে:

Failed to parse (syntax error): {\displaystyle \text{Rejection Region}= \frac{\left ( n-1 \right )}}{\sqrt{n}\sqrt{n-2+{t_{\alpha/2}^2}}} } ;

যেখানে tα/2 হলো n-2 ডিগ্রি অফ ফ্রিডমসহ স্টুডেন্ট t বিন্যাস থেকে প্রাপ্ত ক্রিটিক্যাল ভ্যালু, n হলো নমুনার আকার এবং s হলো নমুনার স্ট্যান্ডার্ড ডেভিয়েশন। একটি মান আউটলায়ার কি না তা নির্ধারণ করতে: δ=|(X−mean(X))/s| গণনা করুন। যদি δ > বর্জন অঞ্চল হয়, তবে ডেটা পয়েন্টটি একটি আউটলায়ার। যদি δ ≤ বর্জন অঞ্চল হয়, তবে ডেটা পয়েন্টটি আউটলায়ার নয়।

মডিফাইড থম্পসন টাউ টেস্ট একবারে একটি আউটলায়ার খুঁজে বের করতে ব্যবহৃত হয় (যদি এটি আউটলায়ার হয় তবে δ-এর বৃহত্তম মানটি সরানো হয়)। অর্থাৎ, যদি একটি ডেটা পয়েন্ট আউটলায়ার হিসেবে পাওয়া যায়, তবে সেটিকে ডেটা সেট থেকে সরিয়ে ফেলা হয় এবং নতুন গড় ও বর্জন অঞ্চলসহ পরীক্ষাটি পুনরায় প্রয়োগ করা হয়। এই প্রক্রিয়াটি ততক্ষণ চলতে থাকে যতক্ষণ না ডেটা সেটে কোনো আউটলায়ার অবশিষ্ট থাকে।

কিছু কাজ নামমাত্র (বা ক্যাটাগরিক্যাল) ডেটার জন্য আউটলায়ার পরীক্ষা করেছে। একটি ডেটা সেটে উদাহরণ (বা দৃষ্টান্ত)-এর সেটের প্রেক্ষাপটে, ইনস্ট্যান্স হার্ডনেস (instance hardness) সেই সম্ভাবনা পরিমাপ করে যে একটি দৃষ্টান্ত ভুলভাবে শ্রেণীবদ্ধ হবে ( 1−p(y|x) যেখানে y হলো নির্ধারিত ক্লাস লেবেল এবং x হলো ট্রেনিং সেট t-এর একটি দৃষ্টান্তের জন্য ইনপুট অ্যাট্রিবিউট মান)।[24] আদর্শগতভাবে, ইনস্ট্যান্স হার্ডনেস সমস্ত সম্ভাব্য হাইপোথিসিস H-এর সেটের ওপর যোগ করে গণনা করা হবে:

IH(⟨x,y⟩)=∑H(1−p(y,x,h))p(h|t)=∑Hp(h|t)−p(y,x,h)p(h|t)=1−∑Hp(y,x,h)p(h|t).

বাস্তবে, এই সূত্রটি অকার্যকর কারণ H সম্ভাব্য অসীম এবং অনেক অ্যালগরিদমের জন্য p(h|t) গণনা করা অজানা। সুতরাং, ইনস্ট্যান্স হার্ডনেস একটি বৈচিত্র্যময় সাবসেট L⊂H ব্যবহার করে আসন্ন করা যেতে পারে:

IHL(⟨x,y⟩)=1−1|L|∑j=1|L|p(y|x,gj(t,α))

যেখানে gj(t,α) হলো লার্নিং অ্যালগরিদম g_j দ্বারা প্ররোচিত হাইপোথিসিস, যা হাইপারপ্যারামিটার α সহ ট্রেনিং সেট t-এ প্রশিক্ষিত। ইনস্ট্যান্স হার্ডনেস একটি দৃষ্টান্ত আউটলায়ার কি না তা নির্ধারণ করার জন্য একটি অবিচ্ছিন্ন মান প্রদান করে।

আউটলায়ারের সাথে কাজ করা

আউটলায়ারের সাথে কীভাবে মোকাবিলা করা হবে তার পছন্দটি কারণের ওপর নির্ভর করা উচিত। কিছু এস্টিমেটর আউটলায়ারের প্রতি অত্যন্ত সংবেদনশীল, বিশেষ করে কোভ্যারিয়েন্স ম্যাট্রিক্সের প্রাক্কলন।

ধরে রাখা

এমনকি যখন বিশ্লেষণ করা ডেটার জন্য একটি নরমাল ডিস্ট্রিবিউশন মডেল উপযুক্ত হয়, তখনও বড় নমুনার আকারের জন্য আউটলায়ার প্রত্যাশিত এবং যদি তা হয় তবে স্বয়ংক্রিয়ভাবে বর্জন করা উচিত নয়।[25] পরিবর্তে, প্রাকৃতিকভাবে সৃষ্ট আউটলায়ারসহ ডেটা মডেল বা বিশ্লেষণ করার জন্য এমন একটি পদ্ধতি ব্যবহার করা উচিত যা আউটলায়ারের প্রতি রোবাস্ট।[25]

বর্জন

একটি আউটলায়ার অপসারণের সিদ্ধান্ত নেওয়ার সময়, কারণটি বিবেচনা করতে হবে। যেমনটি আগে উল্লেখ করা হয়েছে, যদি আউটলায়ারের উৎপত্তি পরীক্ষামূলক ত্রুটির কারণে হয়, অথবা যদি অন্যথায় নির্ধারণ করা যায় যে আউটলায়ার ডেটা পয়েন্টটি ভুল, তবে সাধারণত এটি অপসারণ করার পরামর্শ দেওয়া হয়।[25][26] তবে, সম্ভব হলে ভুল মানটি সংশোধন করা বেশি বাঞ্ছনীয়।

অন্যদিকে, শুধুমাত্র আউটলায়ার হওয়ার কারণে একটি ডেটা পয়েন্ট অপসারণ করা একটি বিতর্কিত অনুশীলন, যা অনেক বিজ্ঞানী এবং বিজ্ঞান প্রশিক্ষকদের দ্বারা অপছন্দ করা হয়, কারণ এটি সাধারণত পরিসংখ্যানগত ফলাফলকে অকার্যকর করে দেয়।[25][26] যদিও গাণিতিক মানদণ্ড ডেটা বর্জনের জন্য একটি বস্তুনিষ্ঠ এবং পরিমাণগত পদ্ধতি প্রদান করে, তবে সেগুলো অনুশীলনটিকে বৈজ্ঞানিকভাবে বা পদ্ধতিগতভাবে আরও সঠিক করে তোলে না, বিশেষ করে ছোট সেটে বা যেখানে নরমাল ডিস্ট্রিবিউশন ধরে নেওয়া যায় না। আউটলায়ার বর্জন অনুশীলনের সেই ক্ষেত্রগুলোতে বেশি গ্রহণযোগ্য যেখানে পরিমাপ করা প্রক্রিয়ার অন্তর্নিহিত মডেল এবং পরিমাপ ত্রুটির স্বাভাবিক বিন্যাস নিশ্চিতভাবে জানা থাকে।

আউটলায়ার বর্জনের দুটি সাধারণ পদ্ধতি হলো ট্রাঙ্কেশন (বা ট্রিমিং) এবং উইন্সরিসিং (Winsorising)। ট্রিমিং আউটলায়ারগুলোকে বাতিল করে, যেখানে উইন্সরিসিং আউটলায়ারগুলোকে নিকটতম "সন্দেহমুক্ত" ডেটা দিয়ে প্রতিস্থাপন করে।[27] বর্জন পরিমাপ প্রক্রিয়ার একটি পরিণতিও হতে পারে, যেমন যখন একটি পরীক্ষা এমন চরম মান পরিমাপ করতে সম্পূর্ণ সক্ষম হয় না, যার ফলে সেন্সরড ডেটা তৈরি হয়।[28]

রিগ্রেশন সমস্যায়, একটি বিকল্প পদ্ধতি হতে পারে শুধুমাত্র সেই পয়েন্টগুলোকে বর্জন করা যা আনুমানিক সহগগুলোর ওপর বড় মাত্রার প্রভাব প্রদর্শন করে, কুক'স ডিস্ট্যান্স-এর মতো পরিমাপ ব্যবহার করে।[29]

যদি একটি ডেটা পয়েন্ট (বা পয়েন্টগুলো) ডেটা বিশ্লেষণ থেকে বর্জন করা হয়, তবে এটি পরবর্তী যেকোনো প্রতিবেদনে স্পষ্টভাবে উল্লেখ করা উচিত।

অ-নরমাল বিন্যাস

এই সম্ভাবনাটি বিবেচনা করা উচিত যে ডেটার অন্তর্নিহিত বিন্যাসটি মোটামুটি নরমাল নয়, বরং "ফ্যাট টেইলস" (fat tails) রয়েছে। উদাহরণস্বরূপ, যখন একটি কশি বিন্যাস (Cauchy distribution) থেকে নমুনা নেওয়া হয়,[30] তখন নমুনা ভেরিয়েন্স নমুনার আকারের সাথে বৃদ্ধি পায়, নমুনার আকার বাড়ার সাথে সাথে নমুনা গড় অভিসারী হতে ব্যর্থ হয় এবং নরমাল ডিস্ট্রিবিউশনের তুলনায় অনেক বেশি হারে আউটলায়ার প্রত্যাশিত হয়। টেইলের পুরুত্বের সামান্য পার্থক্যও চরম মানের প্রত্যাশিত সংখ্যায় বড় পার্থক্য তৈরি করতে পারে।

সেট-মেম্বারশিপ অনিশ্চয়তা

একটি সেট মেম্বারশিপ পদ্ধতি বিবেচনা করে যে একটি অজানা র‍্যান্ডম ভেক্টর x-এর i-তম পরিমাপের সাথে সম্পর্কিত অনিশ্চয়তা একটি সেট Xi দ্বারা প্রতিনিধিত্ব করা হয় (সম্ভাব্যতা ঘনত্ব ফাংশনের পরিবর্তে)। যদি কোনো আউটলায়ার না ঘটে, তবে x-এর সমস্ত Xi-এর ছেদবিন্দুতে থাকা উচিত। যখন আউটলায়ার ঘটে, তখন এই ছেদবিন্দুটি খালি হতে পারে এবং কোনো অসামঞ্জস্যতা এড়াতে আমাদের Xi সেটগুলোর একটি ছোট সংখ্যা (যতটা সম্ভব কম) শিথিল করা উচিত।[31] এটি q-রিল্যাক্সড ইন্টারসেকশন ধারণা ব্যবহার করে করা যেতে পারে। চিত্র দ্বারা যেমন চিত্রিত হয়েছে, q-রিল্যাক্সড ইন্টারসেকশন সেই সমস্ত x-এর সেটকে নির্দেশ করে যা q সংখ্যক সেট ব্যতীত বাকি সব সেটের অন্তর্ভুক্ত। যে Xi সেটগুলো q-রিল্যাক্সড ইন্টারসেকশনের সাথে ছেদ করে না, সেগুলোকে আউটলায়ার হিসেবে সন্দেহ করা যেতে পারে।

চিত্র ৫. q=২ (লাল), q=৩ (সবুজ), q=৪ (নীল), q=৫ (হলুদ)-এর জন্য ৬টি সেটের q-রিল্যাক্সড ইন্টারসেকশন।

বিকল্প মডেল

যেসব ক্ষেত্রে আউটলায়ারের কারণ জানা থাকে, সেখানে এই প্রভাবটিকে মডেল কাঠামোতে অন্তর্ভুক্ত করা সম্ভব হতে পারে, উদাহরণস্বরূপ একটি হায়ারার্কিকাল বেয়েস মডেল বা একটি মিক্সচার মডেল ব্যবহার করে।[32][33]

দূরত্বের মেট্রিক্সের পছন্দ

ক্লাস্টার বিশ্লেষণ-এ, আউটলায়ার ফলাফলকে ব্যাপকভাবে বিকৃত করতে পারে। সুতরাং, আউটলায়ারের ব্যবস্থাপনা অনেক আলোচনার বিষয়।

ক্লাস্টার বিশ্লেষণ দূরত্বের পরিমাপের ওপর ব্যাপকভাবে নির্ভর করে। এটি প্রস্তাব করা হয়েছে যে ম্যানহাটান দূরত্ব, বর্গ করার অভাবের কারণে অসামঞ্জস্যপূর্ণভাবে বড় পার্থক্যের মানগুলোর জন্য, ইউক্লিডীয় দূরত্ব-এর চেয়ে আউটলায়ারগুলোকে আরও ভালোভাবে পরিচালনা করতে পারে।[34]

আরও দেখুন

তথ্যসূত্র

  1. ↑ Grubbs, F. E.. (February 1969). "Procedures for detecting outlying observations in samples". Technometrics. 11 (1) 1–21. doi:10.1080/00401706.1969.10490657.
  2. ↑ Maddala, G. S.. (1992). Introduction to Econometrics. 89. MacMillan. ISBN 978-0-02-374545-4.
  3. ↑ 3.0 3.1 Pimentel, M. A., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215-249.
  4. ↑ (Grubbs, 1969, p. 1) stating "An outlying observation may be merely an extreme manifestation of the random variability inherent in the data. ... On the other hand, an outlying observation may be the result of gross deviation from prescribed experimental procedure or an error in calculating or recording the numerical value."
  5. ↑ Ripley, Brian D. 2004. Robust statistics সংরক্ষিত সংস্করণ
  6. ↑ (2005). Intelligent Data Mining: Techniques and Applications. 318. Springer. ISBN 978-3-540-26256-5.
  7. ↑ (2018). There and back again: Outlier detection between statistical reasoning and data mining algorithms. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 8 (6). doi:10.1002/widm.1280.
  8. ↑ (1996). "Robust Regression and Outlier Detection". John Wiley & Sons.
  9. ↑ (2004). "A Survey of Outlier Detection Methodologies". Artificial Intelligence Review. 22 (2) 85–126. doi:10.1023/B:AIRE.0000045502.10941.a9.
  10. ↑ (1994). "Outliers in Statistical Data". Wiley. ISBN 978-0-471-93094-5.
  11. ↑ 11.0 11.1 (2012). "A survey on unsupervised outlier detection in high-dimensional numerical data". Statistical Analysis and Data Mining. 5 (5) 363–387. doi:10.1002/sam.11161.
  12. ↑ E178: Standard Practice for Dealing With Outlying Observations
  13. ↑ Benjamin Peirce, "Criterion for the Rejection of Doubtful Observations", Astronomical Journal II 45 (1852) and Errata to the original paper.
  14. ↑ Peirce, Benjamin. (May 1877 – May 1878). "On Peirce's criterion". Proceedings of the American Academy of Arts and Sciences. 13 348–351. doi:10.2307/25138498.
  15. ↑ Peirce, Charles Sanders. (1873). "Appendix No. 21. On the Theory of Errors of Observation". Report of the Superintendent of the United States Coast Survey Showing the Progress of the Survey During the Year 1870. 200–224.. NOAA PDF Eprint (goes to Report p. 200, PDF's p. 215).
  16. ↑ Peirce, Charles Sanders. (1986 ). Writings of Charles S. Peirce: A Chronological Edition. 3, 1872-1878 140–160. Indiana University Press. ISBN 978-0-253-37201-7. – Appendix 21, according to the editorial note on page 515
  17. ↑ Tukey, John W. (1977). Exploratory Data Analysis. Addison-Wesley. ISBN 978-0-201-07616-5.
  18. ↑ (2000). "Distance-based outliers: Algorithms and applications". The VLDB Journal the International Journal on Very Large Data Bases. 8 (3–4) 237. doi:10.1007/s007780050006.
  19. ↑ (2000). "Efficient algorithms for mining outliers from large data sets". 427. ISBN 1-58113-217-4. doi:10.1145/342009.335437.
  20. ↑ (2000). LOF: Identifying Density-based Local Outliers. Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data. 93–104. ISBN 1-58113-217-4. doi:10.1145/335191.335388.
  21. ↑ (2012). "Local outlier detection reconsidered: A generalized view on locality with applications to spatial, video, and network outlier detection". Data Mining and Knowledge Discovery. 28 190–237. doi:10.1007/s10618-012-0300-z.
  22. ↑ Wheeler, Donald J.. (11 January 2021). Some Outlier Tests: Part 2. Quality Digest.
  23. ↑ Thompson .R. (1985). "A Note on Restricted Maximum Likelihood Estimation with an Alternative Outlier Model".Journal of the Royal Statistical Society. Series B (Methodological), Vol. 47, No. 1, pp. 53-55
  24. ↑ Smith, M.R.; Martinez, T.; Giraud-Carrier, C. (2014). "An Instance Level Analysis of Data Complexity". Machine Learning, 95(2): 225-256.
  25. ↑ 25.0 25.1 25.2 25.3 (2023). Outliers may not be automatically removed.. Journal of Experimental Psychology: General. 152 (6) 1735–1753. doi:10.1037/xge0001357.
  26. ↑ 26.0 26.1 (2014). "Outlier removal, sum scores, and the inflation of the type I error rate in independent samples t tests: The power of alternatives and recommendations.". Psychological Methods. 19 (3) 409–427. doi:10.1037/met0000014.
  27. ↑ Wike, Edward L.. (2006). "Data Analysis: A Statistical Primer for Psychology Students". 24–25. Transaction Publishers. ISBN 978-0-202-36535-0.
  28. ↑ Dixon, W. J.. (June 1960). Simplified estimation from censored normal samples. The Annals of Mathematical Statistics. 31 (2) 385–391. doi:10.1214/aoms/1177705900.
  29. ↑ Cook, R. Dennis (Feb 1977). "Detection of Influential Observations in Linear Regression". Technometrics (American Statistical Association) 19 (1): 15–18.
  30. ↑ Weisstein, Eric W. Cauchy Distribution. From MathWorld--A Wolfram Web Resource
  31. ↑ (2010). Probabilistic set-membership approach for robust regression. Journal of Statistical Theory and Practice. 4 155–167. doi:10.1080/15598608.2010.10411978.
  32. ↑ Roberts, S. and Tarassenko, L.: 1995, A probabilistic resource allocating network for novelty detection. Neural Computation 6, 270–284.
  33. ↑ Bishop, C. M.. (August 1994). "Novelty detection and Neural Network validation". IEE Proceedings - Vision, Image, and Signal Processing. 141 (4) 217–222. doi:10.1049/ip-vis:19941330.
  34. ↑ Example: Mukhamedova, F. and Tyukin, I., 2024. Machine learning analysis of the effects of COVID-19 on migration patterns. Scientific Reports, 14(1), p.29815. They stated: "This advantage can be attributed to the Manhattan distance's reliance on summing absolute differences, which makes it less sensitive to outliers and ensures that all dimensions are treated equally."

বহিঃসংযোগ

উৎস: ইংরেজি উইকিপিডিয়ার “Outlier” নিবন্ধের অনুবাদ। মূল নিবন্ধ: https://en.wikipedia.org/wiki/Outlier এই অনুবাদটি স্বয়ংক্রিয়ভাবে প্রস্তুত করা হয়েছে।

Retrieved from "https://ltrc.sciwiki.in/index.php?title=আউটলায়ার&oldid=3247"