Exponential family

January 2025

সম্ভাবনা এবং পরিসংখ্যানে, একটি এক্সপোনেনশিয়াল ফ্যামিলি (Exponential family) হলো প্যারামেট্রিক সম্ভাবনা বিন্যাসের একটি সেট, যা নিচে নির্দিষ্ট করা হয়েছে। এই বিশেষ রূপটি গাণিতিক সুবিধার জন্য বেছে নেওয়া হয়েছে, যার মধ্যে রয়েছে কিছু দরকারী বীজগাণিতিক বৈশিষ্ট্যের ওপর ভিত্তি করে ডিফারেন্সিয়েশনের মাধ্যমে প্রত্যাশা (expectations) এবং কোভ্যারিয়েন্স (covariances) গণনা করার সক্ষমতা। এছাড়াও, এক্সপোনেনশিয়াল ফ্যামিলিগুলো এক অর্থে বিবেচনার জন্য বিন্যাসের অত্যন্ত স্বাভাবিক সেট হওয়ায় এদের সাধারণীকরণের সুবিধাও রয়েছে। "এক্সপোনেনশিয়াল ফ্যামিলি"-এর পরিবর্তে মাঝে মাঝে এক্সপোনেনশিয়াল ক্লাস (exponential class) বা পুরোনো পরিভাষা কুপম্যান-ডারমোইস ফ্যামিলি (Koopman–Darmois family) ব্যবহৃত হয়। কখনও কখনও আলগাভাবে 'দ্য' এক্সপোনেনশিয়াল ফ্যামিলি হিসেবে অভিহিত এই বিন্যাস শ্রেণিটি স্বতন্ত্র, কারণ এগুলোর সবকটিতেই বিভিন্ন কাঙ্ক্ষিত বৈশিষ্ট্য বিদ্যমান, যার মধ্যে সবচেয়ে গুরুত্বপূর্ণ হলো একটি সাফিসিয়েন্ট স্ট্যাটিস্টিক-এর অস্তিত্ব।

এক্সপোনেনশিয়াল ফ্যামিলির ধারণাটির কৃতিত্ব ১৯৩৫-১৯৩৬ সালে ই. জে. জি. পিটম্যান (E. J. G. Pitman), জি. ডারমোইস, এবং বি. ও. কুপম্যান-কে (B. O. Koopman) দেওয়া হয়। বিন্যাসের এক্সপোনেনশিয়াল ফ্যামিলিগুলো একটি প্যারামেট্রিক ফ্যামিলি-এর বিন্যাসের সম্ভাব্য বিকল্প প্যারামিটারাইজেশন নির্বাচনের জন্য একটি সাধারণ কাঠামো প্রদান করে, যা ন্যাচারাল প্যারামিটার এবং দরকারী স্যাম্পল স্ট্যাটিস্টিক (যাকে ফ্যামিলির ন্যাচারাল সাফিসিয়েন্ট স্ট্যাটিস্টিক বলা হয়) সংজ্ঞায়িত করার ক্ষেত্রে ব্যবহৃত হয়।

নামকরণের জটিলতা

"বিন্যাস" (distribution) এবং "ফ্যামিলি" (family) শব্দগুলো প্রায়ই আলগাভাবে ব্যবহৃত হয়: সুনির্দিষ্টভাবে, 'একটি' এক্সপোনেনশিয়াল ফ্যামিলি হলো বিন্যাসের একটি 'সেট', যেখানে নির্দিষ্ট বিন্যাসটি প্যারামিটারের সাথে পরিবর্তিত হয়; তবে, বিন্যাসের একটি প্যারামেট্রিক 'ফ্যামিলি'-কে প্রায়ই "একটি বিন্যাস" হিসেবে উল্লেখ করা হয় (যেমন "নরমাল বিন্যাস", যার অর্থ "নরমাল বিন্যাসের ফ্যামিলি"), এবং সমস্ত এক্সপোনেনশিয়াল ফ্যামিলির সেটকে কখনও কখনও আলগাভাবে "দ্য" এক্সপোনেনশিয়াল ফ্যামিলি বলা হয়।

সংজ্ঞা

সাধারণত ব্যবহৃত অধিকাংশ বিন্যাসই একটি এক্সপোনেনশিয়াল ফ্যামিলি বা এক্সপোনেনশিয়াল ফ্যামিলির উপসেট গঠন করে, যা নিচের উপবিভাগে তালিকাভুক্ত করা হয়েছে। এর পরের উপবিভাগগুলোতে এক্সপোনেনশিয়াল ফ্যামিলির ক্রমবর্ধমান সাধারণ গাণিতিক সংজ্ঞার একটি ক্রম দেওয়া হয়েছে। একজন সাধারণ পাঠক প্রথম এবং সহজতম সংজ্ঞার দিকে মনোযোগ দিতে চাইতে পারেন, যা বিচ্ছিন্ন বা অবিচ্ছিন্ন সম্ভাবনা বিন্যাসের একক-প্যারামিটার ফ্যামিলির সাথে সম্পর্কিত।

এক্সপোনেনশিয়াল ফ্যামিলি বিন্যাসের উদাহরণ

এক্সপোনেনশিয়াল ফ্যামিলির মধ্যে অনেক সাধারণ বিন্যাস অন্তর্ভুক্ত। অন্যান্য অনেকগুলোর মধ্যে, এক্সপোনেনশিয়াল ফ্যামিলিতে নিম্নলিখিতগুলো অন্তর্ভুক্ত:

• নরমাল
• এক্সপোনেনশিয়াল
• গামা
• কাই-স্কয়ার
• বিটা
• ডিরিক্লে
• বার্নোলি
• ক্যাটাগরিক্যাল
• পয়সন
• উইশার্ট
• ইনভার্স উইশার্ট
• জ্যামিতিক

অনেক সাধারণ বিন্যাস এক্সপোনেনশিয়াল ফ্যামিলি, কিন্তু কেবল তখনই যখন নির্দিষ্ট কিছু প্যারামিটার স্থির এবং জানা থাকে। উদাহরণস্বরূপ:

• দ্বিপদী (স্থির সংখ্যক ট্রায়াল সহ)
• মাল্টিনোমিয়াল (স্থির সংখ্যক ট্রায়াল সহ)
• নেগেটিভ বাইনোমিয়াল (স্থির সংখ্যক ফেইলিয়র সহ)

লক্ষ্য করুন যে প্রতিটি ক্ষেত্রে, যে প্যারামিটারগুলো অবশ্যই স্থির থাকতে হবে সেগুলো হলো সেই প্যারামিটার যা সম্ভাব্য পর্যবেক্ষণযোগ্য মানের সীমাকে সীমাবদ্ধ করে।

সাধারণ বিন্যাসের উদাহরণ যা এক্সপোনেনশিয়াল ফ্যামিলি 'নয়' তা হলো স্টুডেন্টস টি, অধিকাংশ মিশ্র বিন্যাস, এবং এমনকি ইউনিফর্ম বিন্যাস-এর ফ্যামিলি যখন সীমানাগুলো স্থির থাকে না। আরও আলোচনার জন্য উদাহরণ বিভাগটি দেখুন।

স্কেলার প্যারামিটার

$\theta$-এর মানকে ফ্যামিলির 'প্যারামিটার' বলা হয়।

একটি একক-প্যারামিটার এক্সপোনেনশিয়াল ফ্যামিলি হলো সম্ভাবনা বিন্যাসের একটি সেট যার সম্ভাবনা ঘনত্ব ফাংশন (বা বিচ্ছিন্ন বিন্যাসের ক্ষেত্রে সম্ভাবনা ভর ফাংশন) নিচের আকারে প্রকাশ করা যায়:

$$f_X\left(x\right|\theta )=h(x)\exp [\eta (\theta )\cdot T(x)-A(\theta )]$$

যেখানে T(x), h(x), η(θ), এবং A(θ) হলো জানা ফাংশন। ফাংশন h(x) অবশ্যই অ-ঋণাত্মক হতে হবে।

একটি বিকল্প, সমতুল্য রূপ যা প্রায়ই দেওয়া হয় তা হলো:

$$f_X\left(x\right|\theta )=h(x)g(\theta )\exp [\eta (\theta )\cdot T(x)]$$

অথবা সমতুল্যভাবে:

$$f_X\left(x\right|\theta )=\exp [\eta (\theta )\cdot T(x)-A(\theta )+B(x)].$$

লগ সম্ভাবনা-এর পরিপ্রেক্ষিতে, $$\log (f_X\left(x\right|\theta ))=\eta (\theta )\cdot T(x)-A(\theta )+B(x).$$

লক্ষ্য করুন যে $g(\theta )=e^{-A(\theta )}$ এবং $h(x)=e^{B(x)}$।

সাপোর্ট অবশ্যই θ-এর ওপর স্বাধীন হতে হবে

গুরুত্বপূর্ণভাবে, $f_X\left(x\right|\theta )$-এর 'সাপোর্ট' (সমস্ত সম্ভাব্য $x$ মান যার জন্য $f_X\left(x\right|\theta )$ এর মান $0$-এর চেয়ে বেশি) অবশ্যই $\theta$-এর ওপর নির্ভর করবে না। এই প্রয়োজনীয়তাটি একটি প্যারামেট্রিক ফ্যামিলি বিন্যাসকে এক্সপোনেনশিয়াল ফ্যামিলি হওয়া থেকে বাদ দিতে ব্যবহার করা যেতে পারে।

উদাহরণস্বরূপ: প্যারেটো বিন্যাস-এর একটি পিডিএফ (pdf) আছে যা $x\ge x_{\mathsf{m}}$-এর জন্য সংজ্ঞায়িত (ন্যূনতম মান, $x_m$, হলো স্কেল প্যারামিটার) এবং তাই এর সাপোর্টের নিম্নসীমা হলো $x_{\mathsf{m}}$। যেহেতু $f_{\alpha ,x_m}(x)$-এর সাপোর্ট প্যারামিটারের মানের ওপর নির্ভরশীল, তাই প্যারেটো বিন্যাস-এর ফ্যামিলি এক্সপোনেনশিয়াল ফ্যামিলি গঠন করে না (অন্তত যখন $x_m$ অজানা থাকে)।

আরেকটি উদাহরণ: বার্নোলি-টাইপ বিন্যাস – দ্বিপদী, নেগেটিভ বাইনোমিয়াল, জ্যামিতিক বিন্যাস, এবং অনুরূপ – কেবল তখনই এক্সপোনেনশিয়াল ক্লাসে অন্তর্ভুক্ত করা যেতে পারে যদি বার্নোলি ট্রায়াল-এর সংখ্যা, n, একটি স্থির ধ্রুবক হিসেবে গণ্য করা হয় – যা মুক্ত প্যারামিটার $\theta$ থেকে বাদ দেওয়া হয় – কারণ অনুমোদিত ট্রায়ালের সংখ্যা ট্রায়ালের সেটে পর্যবেক্ষণযোগ্য "সাফল্য" বা "ব্যর্থতা"-র সংখ্যার সীমা নির্ধারণ করে।

ভেক্টর মান বিশিষ্ট x এবং θ

প্রায়ই $x$ হলো পরিমাপের একটি ভেক্টর, সেক্ষেত্রে $T(x)$ হতে পারে $x$-এর সম্ভাব্য মানের স্পেস থেকে বাস্তব সংখ্যায় একটি ফাংশন।

আরও সাধারণভাবে, $\eta (\theta )$ এবং $T(x)$ প্রত্যেকেই ভেক্টর-মান বিশিষ্ট হতে পারে যাতে $\eta (\theta )\cdot T(x)$ বাস্তব-মান বিশিষ্ট হয়। তবে, কার্ভড (curved) এক্সপোনেনশিয়াল ফ্যামিলির ক্ষেত্রে ভেক্টর প্যারামিটার-এর ওপর নিচের আলোচনাটি দেখুন।

ক্যানোনিকাল ফর্মুলেশন

যদি $\eta (\theta )=\theta$ হয়, তবে এক্সপোনেনশিয়াল ফ্যামিলিকে ক্যানোনিকাল ফর্ম-এ আছে বলা হয়। একটি রূপান্তরিত প্যারামিটার $\eta =\eta (\theta )$ সংজ্ঞায়িত করে, একটি এক্সপোনেনশিয়াল ফ্যামিলিকে ক্যানোনিকাল ফর্মে রূপান্তর করা সর্বদা সম্ভব। ক্যানোনিকাল ফর্মটি অনন্য নয়, কারণ $\eta (\theta )$-কে যেকোনো অশূন্য ধ্রুবক দ্বারা গুণ করা যেতে পারে, যদি T(x)-কে সেই ধ্রুবকের অনন্য (reciprocal) দ্বারা গুণ করা হয়, অথবা একটি ধ্রুবক c-কে $\eta (\theta )$-এর সাথে যোগ করা যেতে পারে এবং h(x)-কে $\exp [-c\cdot T(x)]$ দ্বারা গুণ করে তা অফসেট করা যেতে পারে। বিশেষ ক্ষেত্রে যখন $\eta (\theta )=\theta$ এবং 1=T(x) = x, তখন ফ্যামিলিটিকে ন্যাচারাল এক্সপোনেনশিয়াল ফ্যামিলি বলা হয়।

এমনকি যখন $x$ একটি স্কেলার এবং কেবল একটি প্যারামিটার থাকে, তখনও ফাংশন $\eta (\theta )$ এবং $T(x)$ ভেক্টর হতে পারে, যা নিচে বর্ণিত হয়েছে।

ফাংশন $A(\theta )$, বা সমতুল্যভাবে $g(\theta )$, স্বয়ংক্রিয়ভাবে নির্ধারিত হয় একবার অন্য ফাংশনগুলো বেছে নেওয়া হলে, কারণ এটিকে এমন একটি রূপ নিতে হয় যা বিন্যাসটিকে নরমালাইজড (পুরো ডোমেইন জুড়ে যোগফল বা ইন্টিগ্রাল এক হতে হবে) করে। অধিকন্তু, এই ফাংশনগুলোর উভয়কেই সর্বদা $\eta$-এর ফাংশন হিসেবে লেখা যেতে পারে, এমনকি যখন $\eta (\theta )$ একটি ওয়ান-টু-ওয়ান ফাংশন নয়, অর্থাৎ $\theta$-এর দুই বা ততোধিক ভিন্ন মান $\eta (\theta )$-এর একই মানে ম্যাপ করে, এবং তাই $\eta (\theta )$-কে ইনভার্ট করা যায় না। এমন ক্ষেত্রে, $\eta (\theta )$-এর একই মানে ম্যাপ করা $\theta$-এর সমস্ত মানের জন্য $A(\theta )$ এবং $g(\theta )$-এর মানও একই হবে।

সংশ্লিষ্ট চলকগুলোর ফ্যাক্টরাইজেশন

যা লক্ষ্য করা গুরুত্বপূর্ণ এবং যা সমস্ত এক্সপোনেনশিয়াল ফ্যামিলি ভেরিয়েন্টকে বৈশিষ্ট্যমণ্ডিত করে তা হলো, প্যারামিটার(সমূহ) এবং পর্যবেক্ষণ চলক(সমূহ) অবশ্যই ফ্যাক্টরাইজ (এমন গুণফলে বিভক্ত করা যা কেবল এক ধরনের চলক জড়িত) হতে হবে, হয় সরাসরি অথবা একটি এক্সপোনেনশিয়েশন অপারেশনের যেকোনো অংশের (বেস বা এক্সপোনেন্ট) মধ্যে। সাধারণত, এর অর্থ হলো ঘনত্ব বা ভর ফাংশন গঠনকারী সমস্ত ফ্যাক্টর অবশ্যই নিচের রূপগুলোর একটি হতে হবে:

$$\begin{array}{rlrlrlrlr}f(x),& & c^{f(x)},& & {[f(x)]}^c,& & {[f(x)]}^{g(\theta )},& & {[f(x)]}^{h(x)g(\theta )},\\ g(\theta ),& & c^{g(\theta )},& & {[g(\theta )]}^c,& & {[g(\theta )]}^{f(x)},& & \mathsf{o}\mathsf{r}{[g(\theta )]}^{h(x)j(\theta )},\end{array}$$

যেখানে f এবং h হলো x (পর্যবেক্ষণ করা পরিসংখ্যানগত চলক)-এর ইচ্ছামাফিক ফাংশন; g এবং j হলো $\theta$ (বিন্যাসের আকৃতি নির্ধারণকারী স্থির প্যারামিটার)-এর ইচ্ছামাফিক ফাংশন; এবং c হলো যেকোনো ইচ্ছামাফিক ধ্রুবক রাশি (অর্থাৎ একটি সংখ্যা বা এমন রাশি যা x বা $\theta$-এর সাথে পরিবর্তিত হয় না)।

কতগুলো এমন ফ্যাক্টর থাকতে পারে তার ওপর আরও বিধিনিষেধ রয়েছে। উদাহরণস্বরূপ, দুটি রাশি:

$${[f(x)g(\theta )]}^{h(x)j(\theta )},{[f(x)]}^{h(x)j(\theta )}{[g(\theta )]}^{h(x)j(\theta )},$$

একই, অর্থাৎ দুটি "অনুমোদিত" ফ্যাক্টরের গুণফল। তবে, যখন ফ্যাক্টরাইজড ফর্মে পুনরায় লেখা হয়,

Failed to parse (unknown function "\begin{align}"): {\displaystyle \begin{align} {\left[f(x) g(\theta)\right]}^{h(x) j(\theta)} &= {\left[f(x)\right]}^{h(x) j(\theta)} {\left[g(\theta)\right]}^{h(x) j(\theta)} \\[4pt] &= \exp\left\ e^{-(x-\mu)^2/2\sigma^2}.}

এটি একটি একক-প্যারামিটার এক্সপোনেনশিয়াল ফ্যামিলি, যা নিচের মানগুলো নির্ধারণের মাধ্যমে দেখা যায়:

$$\begin{array}{rlrl}{T}_{\sigma }(x)& =\frac{x}{\sigma },& h_{\sigma }(x)& =\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-x^2/2{\sigma }^2},\\ A_{\sigma }(\mu )& =\frac{{\mu }^2}{2{\sigma }^2},& {\eta }_{\sigma }(\mu )& =\frac{\mu }{\sigma }.\end{array}$$

যদি 1=σ = 1 হয়, তবে এটি ক্যানোনিকাল ফর্মে থাকে, কারণ তখন 1=η(μ) = μ।

নরমাল বিন্যাস: অজানা গড় এবং অজানা ভেদাঙ্ক

পরবর্তীতে, অজানা গড় এবং অজানা ভেদাঙ্ক বিশিষ্ট নরমাল বিন্যাসের ক্ষেত্রটি বিবেচনা করুন। সেক্ষেত্রে সম্ভাবনা ঘনত্ব ফাংশনটি হলো:

$$f(y;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-(y-\mu {)}^2/2{\sigma }^2}.$$

এটি একটি এক্সপোনেনশিয়াল ফ্যামিলি যা নিচের সংজ্ঞাগুলোর মাধ্যমে ক্যানোনিকাল ফর্মে লেখা যায়:

$$\begin{array}{rlrl}h(y)& =\frac{1}{\sqrt{2\pi }},& \mathit{\eta }& =[\frac{\mu }{{\sigma }^2},-\frac{1}{2{\sigma }^2}],\\ T(y)& ={(y,y^2)}^{\mathsf{T}},& A(\mathit{\eta })& =\frac{{\mu }^2}{2{\sigma }^2}+\log |\sigma |=-\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log \left|\frac{1}{2{\eta }_2}\right|\end{array}$$

দ্বিপদী বিন্যাস

একটি বিচ্ছিন্ন এক্সপোনেনশিয়াল ফ্যামিলির উদাহরণ হিসেবে, জানা সংখ্যক ট্রায়াল n বিশিষ্ট দ্বিপদী বিন্যাস বিবেচনা করুন। এই বিন্যাসের সম্ভাবনা ভর ফাংশন (probability mass function) হলো: $$f(x)=(\genfrac{}{}{0ex}{}{n}{x})p^x{(1-p)}^{n-x},x\in \{0,1,2,\dots ,n\}.$$ একে সমতুল্যভাবে এভাবে লেখা যায়: $$f(x)=(\genfrac{}{}{0ex}{}{n}{x})\exp [x\log \left(\frac{p}{1-p}\right)+n\log (1-p)],$$ যা প্রমাণ করে যে দ্বিপদী বিন্যাস একটি এক্সপোনেনশিয়াল ফ্যামিলি, যার প্রাকৃতিক প্যারামিটার হলো: $$\eta =\log \frac{p}{1-p}.$$ p-এর এই ফাংশনটি লজিট (logit) নামে পরিচিত।

বিন্যাসের সারণি

নিচের সারণিতে দেখানো হয়েছে কীভাবে সাধারণ কিছু বিন্যাসকে প্রাকৃতিক প্যারামিটারসহ এক্সপোনেনশিয়াল-ফ্যামিলি বিন্যাস হিসেবে পুনরায় লেখা যায়। প্রধান এক্সপোনেনশিয়াল ফ্যামিলিগুলোর জন্য ফ্ল্যাশকার্ডগুলো দেখুন।

স্কেলার ভেরিয়েবল এবং স্কেলার প্যারামিটারের জন্য রূপটি নিম্নরূপ:

$$f_X(x\mid \theta )=h(x)\exp [\eta (\theta )T(x)-A(\eta )]$$

স্কেলার ভেরিয়েবল এবং ভেক্টর প্যারামিটারের জন্য:

$$\begin{array}{rl}{f}_X(x\mid \mathit{\theta })& =h(x)\exp [\mathit{\eta }(\mathit{\theta })\cdot \mathbf{𝐓}(x)-A(\mathit{\eta })]\\ f_X(x\mid \mathit{\theta })& =h(x)g(\mathit{\theta })\exp [\mathit{\eta }(\mathit{\theta })\cdot \mathbf{𝐓}(x)]\end{array}$$

ভেক্টর ভেরিয়েবল এবং ভেক্টর প্যারামিটারের জন্য:

$$f_X(\mathbf{𝐱}\mid \mathit{\theta })=h(\mathbf{𝐱})\exp [\mathit{\eta }(\mathit{\theta })\cdot \mathbf{𝐓}(\mathbf{𝐱})-A(\mathit{\eta })]$$

উপরের সূত্রগুলোতে লগ-পার্টিশন ফাংশন $A(\mathit{\eta })$ সহ এক্সপোনেনশিয়াল-ফ্যামিলির ফাংশনাল রূপ নির্বাচন করা হয়েছে। এর কারণ হলো, এই ফাংশনটিকে ব্যবকলন করার মাধ্যমে খুব সহজেই সাফিসিয়েন্ট স্ট্যাটিস্টিক বা পর্যাপ্ত পরিসংখ্যানের মোমেন্টগুলো নির্ণয় করা যায়। বিকল্প রূপগুলোতে প্রাকৃতিক প্যারামিটারের পরিবর্তে সাধারণ প্যারামিটার $\mathit{\theta }$ ব্যবহার করা হয় এবং/অথবা এক্সপোনেনশিয়ালের বাইরে একটি ফ্যাক্টর $g(\mathit{\eta })$ ব্যবহার করা হয়। পরবর্তী এবং পূর্ববর্তী রূপের মধ্যে সম্পর্ক হলো: $$\begin{array}{rl}A(\mathit{\eta })& =-\log g(\mathit{\eta }),\\ g(\mathit{\eta })& =e^{-A(\mathit{\eta })}\end{array}$$ দুই ধরনের প্যারামিটারের মধ্যে রূপান্তরের জন্য, একটিকে অন্যটির মাধ্যমে প্রকাশ করতে নিচের সূত্রগুলো ব্যবহার করুন।

বিন্যাস	প্যারামিটার(সমূহ) θ	প্রাকৃতিক প্যারামিটার(সমূহ) η	ইনভার্স প্যারামিটার ম্যাপিং	বেস মেজার h(x)	সাফিসিয়েন্ট স্ট্যাটিস্টিক T(x)	লগ-পার্টিশন A(η)	লগ-পার্টিশন A(θ)
বার্নোলি বিন্যাস	$p$	$\log \frac{p}{1-p}$ এটি লজিট ফাংশন।	$\frac{1}{1+e^{-\eta }}=\frac{e^{\eta }}{1+e^{\eta }}$ এটি লজিস্টিক ফাংশন।	$1$	$x$	$\log (1+e^{\eta })$	$-\log (1-p)$
দ্বিপদী বিন্যাস জানা ট্রায়াল সংখ্যা $n$ সহ	$p$	$\log \frac{p}{1-p}$	$\frac{1}{1+e^{-\eta }}=\frac{e^{\eta }}{1+e^{\eta }}$	$(\genfrac{}{}{0ex}{}{n}{x})$	$x$	$n\log (1+e^{\eta })$	$-n\log (1-p)$
পয়সোঁ বিন্যাস	$\lambda$	$\log \lambda$	$e^{\eta }$	$\frac{1}{x!}$	$x$	$e^{\eta }$	$\lambda$
নেগেটিভ দ্বিপদী বিন্যাস জানা ফেইলর সংখ্যা $r$ সহ	$p$	$\log (1-p)$	$1-e^{\eta }$	$(\genfrac{}{}{0ex}{}{x+r-1}{x})$	$x$	$-r\log (1-e^{\eta })$	$-r\log (p)$
এক্সপোনেনশিয়াল বিন্যাস	$\lambda$	$-\lambda$	$-\eta$	$1$	$x$	$-\log (-\eta )$	$-\log \lambda$
প্যারেটো বিন্যাস জানা সর্বনিম্ন মান $x_m$ সহ	$\alpha$	$-\alpha -1$	$-1-\eta$	$1$	$\log x$	$\begin{array}{rl}& -\log (-1-\eta )\\ & +(1+\eta )\log x_{\mathrm{m}}\end{array}$	$-\log \left(\alpha x_{\mathrm{m}}^{\alpha }\right)$
ওয়েইবুল বিন্যাস জানা শেপ k সহ	$\lambda$	$-\frac{1}{{\lambda }^k}$	$(-\eta {)}^{-1/k}$	$x^{k-1}$	$x^k$	$\log (-\frac{1}{\eta k})$	$\log \frac{{\lambda }^k}{k}$
ল্যাপলাস বিন্যাস জানা গড় $\mu$ সহ	$b$	$-\frac{1}{b}$	$-\frac{1}{\eta }$	$1$	$|x-\mu |$	$\log (-\frac{2}{\eta })$	$\log 2b$
কাই-স্কয়ার বিন্যাস	$\nu$	$\frac{\nu }{2}-1$	$2(\eta +1)$	$e^{-x/2}$	$\log x$	$\begin{array}{rl}& \log \mathrm{\Gamma }(\eta +1)\\ & +(\eta +1)\log 2\end{array}$	$\begin{array}{rl}& \log \mathrm{\Gamma }\left(\frac{\nu }{2}\right)\\ & +\frac{\nu }{2}\log 2\end{array}$
নরমাল বিন্যাস জানা ভেদাঙ্ক	$\mu$	$\frac{\mu }{\sigma }$	$\sigma \eta$	$\frac{e^{-x^2/(2{\sigma }^2)}}{\sqrt{2\pi }\sigma }$	$\frac{x}{\sigma }$	$\frac{{\eta }^2}{2}$	$\frac{{\mu }^2}{2{\sigma }^2}$
কন্টিনিউয়াস বার্নোলি বিন্যাস	$\lambda$	$\log \frac{\lambda }{1-\lambda }$	$\frac{e^{\eta }}{1+e^{\eta }}$	$1$	$x$	$\log \frac{e^{\eta }-1}{\eta }$	$\begin{array}{rl}& \log \left(\frac{1-2\lambda }{1-\lambda }\right)\\ -& {\log }^2(\frac{1}{\lambda }-1)\end{array}$ যেখানে log2 বলতে ইটারেটেড লগারিদম বোঝায়
নরমাল বিন্যাস	$\mu ,{\sigma }^2$	$\left[\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right]$	$\left[\begin{array}{c}-\frac{{\eta }_1}{2{\eta }_2}\\ -\frac{1}{2{\eta }_2}\end{array}\right]$	$\frac{1}{\sqrt{2\pi }}$	$\left[\begin{array}{c}x\\ x^2\end{array}\right]$	$-\frac{{\eta }_1^2}{4{\eta }_2}-\frac{1}{2}\log (-2{\eta }_2)$	$\frac{{\mu }^2}{2{\sigma }^2}+\log \sigma$
লগ-নরমাল বিন্যাস	$\mu ,{\sigma }^2$	$\left[\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ -\frac{1}{2{\sigma }^2}\end{array}\right]$	$\left[\begin{array}{c}-\frac{{\eta }_1}{2{\eta }_2}\\ -\frac{1}{2{\eta }_2}\end{array}\right]$	$\frac{1}{\sqrt{2\pi }x}$	$\left[\begin{array}{c}\log x\\ (\log x{)}^2\end{array}\right]$	$-\frac{{\eta }_1^2}{4{\eta }_2}-\frac{1}{2}\log (-2{\eta }_2)$	$\frac{{\mu }^2}{2{\sigma }^2}+\log \sigma$
ইনভার্স গাউসিয়ান বিন্যাস	$\mu ,\lambda$	$\left[\begin{array}{c}-\frac{\lambda }{2{\mu }^2}\\ -\frac{\lambda }{2}\end{array}\right]$	$\left[\begin{array}{c}\sqrt{\frac{{\eta }_2}{{\eta }_1}}\\ -2{\eta }_2\end{array}\right]$	$\frac{1}{\sqrt{2\pi }{x}^{3/2}}$	$\left[\begin{array}{c}x\\ \frac{1}{x}\end{array}\right]$	$-2\sqrt{{\eta }_1{\eta }_2}-\frac{1}{2}\log (-2{\eta }_2)$	$-\frac{\lambda }{\mu }-\frac{1}{2}\log \lambda$
গামা বিন্যাস	$\alpha ,\beta$	$\left[\begin{array}{c}\alpha -1\\ -\beta \end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+1\\ -{\eta }_2\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x\\ x\end{array}\right]$	$\begin{array}{rl}& \log \mathrm{\Gamma }({\eta }_1+1)\\ -& ({\eta }_1+1)\log (-{\eta }_2)\end{array}$	$\log \frac{\mathrm{\Gamma }(\alpha )}{{\beta }^{\alpha }}$
	$k,\theta$	$\left[\begin{array}{c}k-1\\ -\frac{1}{\theta }\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+1\\ -\frac{1}{{\eta }_2}\end{array}\right]$				$\log ({\theta }^k\mathrm{\Gamma }(k))$
ইনভার্স গামা বিন্যাস	$\alpha ,\beta$	$\left[\begin{array}{c}-\alpha -1\\ -\beta \end{array}\right]$	$\left[\begin{array}{c}-{\eta }_1-1\\ -{\eta }_2\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x\\ \frac{1}{x}\end{array}\right]$	$\begin{array}{rl}& \log \mathrm{\Gamma }(-{\eta }_1-1)\\ +& ({\eta }_1+1)\log (-{\eta }_2)\end{array}$	$\log \frac{\mathrm{\Gamma }(\alpha )}{{\beta }^{\alpha }}$
জেনারালাইজড ইনভার্স গাউসিয়ান বিন্যাস	$p,a,b$	$\left[\begin{array}{c}p-1\\ -a/2\\ -b/2\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+1\\ -2{\eta }_2\\ -2{\eta }_3\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x\\ x\\ \frac{1}{x}\end{array}\right]$	$\begin{array}{rl}& \log 2K_{{\eta }_1+1}\left(\sqrt{4{\eta }_2{\eta }_3}\right)\\ -& \frac{{\eta }_1+1}{2}\log \frac{{\eta }_2}{{\eta }_3}\end{array}$	$\begin{array}{rl}& \log 2K_p(\sqrt{ab})\\ & -\frac{p}{2}\log \frac{a}{b}\end{array}$
স্কেলড ইনভার্স কাই-স্কয়ার বিন্যাস	$\nu ,{\sigma }^2$	$\left[\begin{array}{c}-\frac{\nu }{2}-1\\ -\frac{\nu {\sigma }^2}{2}\end{array}\right]$	$\left[\begin{array}{c}-2({\eta }_1+1)\\ \frac{{\eta }_2}{{\eta }_1+1}\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x\\ \frac{1}{x}\end{array}\right]$	$\begin{array}{rl}& \log \mathrm{\Gamma }(-{\eta }_1-1)\\ +& ({\eta }_1+1)\log (-{\eta }_2)\end{array}$	$\begin{array}{rl}& \log \mathrm{\Gamma }\left(\frac{\nu }{2}\right)\\ -& \frac{\nu }{2}\log \frac{\nu {\sigma }^2}{2}\end{array}$
বিটা বিন্যাস (ভ্যারিয়েন্ট ১)	$\alpha ,\beta$	$\left[\begin{array}{c}\alpha \\ \beta \end{array}\right]$	$\left[\begin{array}{c}{\eta }_1\\ {\eta }_2\end{array}\right]$	$\frac{1}{x(1-x)}$	$\left[\begin{array}{c}\log x\\ \log (1-x)\end{array}\right]$	$\log \frac{\mathrm{\Gamma }({\eta }_1)\mathrm{\Gamma }({\eta }_2)}{\mathrm{\Gamma }({\eta }_1+{\eta }_2)}$	$\log \frac{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )}{\mathrm{\Gamma }(\alpha +\beta )}$
বিটা বিন্যাস (ভ্যারিয়েন্ট ২)	$\alpha ,\beta$	$\left[\begin{array}{c}\alpha -1\\ \beta -1\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+1\\ {\eta }_2+1\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x\\ \log (1-x)\end{array}\right]$	$\log \frac{\mathrm{\Gamma }({\eta }_1+1)\mathrm{\Gamma }({\eta }_2+1)}{\mathrm{\Gamma }({\eta }_1+{\eta }_2+2)}$	$\log \frac{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )}{\mathrm{\Gamma }(\alpha +\beta )}$
মাল্টিভ্যারিয়েট নরমাল বিন্যাস	$\mathit{\mu },\mathrm{\Sigma }$	$\left[\begin{array}{c}{\mathrm{\Sigma }}^{-1}\mathit{\mu }\\ -\frac{1}{2}{\mathrm{\Sigma }}^{-1}\end{array}\right]$	$\left[\begin{array}{c}-\frac{1}{2}{\mathit{\eta }}_2^{-1}{\mathit{\eta }}_1\\ -\frac{1}{2}{\mathit{\eta }}_2^{-1}\end{array}\right]$	$(2\pi {)}^{-\frac{k}{2}}$	$\left[\begin{array}{c}\mathbf{𝐱}\\ \mathbf{𝐱}{\mathbf{𝐱}}^{\mathsf{T}}\end{array}\right]$	$\begin{array}{rl}& -\frac{1}{4}{\mathit{\eta }}_1^{\mathsf{T}}{\mathit{\eta }}_2^{-1}{\mathit{\eta }}_1\\ & -\frac{1}{2}\log |-2{\mathit{\eta }}_2|\end{array}$	$\begin{array}{rl}& \frac{1}{2}{\mathit{\mu }}^{\mathsf{T}}{\mathrm{\Sigma }}^{-1}\mathit{\mu }\\ +& \frac{1}{2}\log \left|\mathrm{\Sigma }\right|\end{array}$
ক্যাটাগরিক্যাল বিন্যাস (ভ্যারিয়েন্ট ১)	$p_1,\dots ,p_k$ যেখানে $\sum _{i=1}^k{p}_i=1$	$\left[\begin{array}{c}\log p_1\\ ⋮\\ \log p_k\end{array}\right]$	$\left[\begin{array}{c}{e}^{{\eta }_1}\\ ⋮\\ e^{{\eta }_k}\end{array}\right]$ যেখানে $\sum _{i=1}^k{e}^{{\eta }_i}=1$	$1$	$\left[\begin{array}{c}[x=1]\\ ⋮\\ [x=k]\end{array}\right]$$[x=i]$ হলো আইভারসন ব্র্যাকেট	$0$	$0$
ক্যাটাগরিক্যাল বিন্যাস (ভ্যারিয়েন্ট ২)	$p_1,\dots ,p_k$ যেখানে $\sum _{i=1}^k{p}_i=1$	$\left[\begin{array}{c}\log p_1+C\\ ⋮\\ \log p_k+C\end{array}\right]$	$\frac{1}{C}\left[\begin{array}{c}{e}^{{\eta }_1}\\ ⋮\\ e^{{\eta }_k}\end{array}\right]$যেখানে $C=\sum _{i=1}^k{e}^{{\eta }_i}$	$1$	$\left[\begin{array}{c}[x=1]\\ ⋮\\ [x=k]\end{array}\right]$$[x=i]$ হলো আইভারসন ব্র্যাকেট	$0$	$0$
ক্যাটাগরিক্যাল বিন্যাস (ভ্যারিয়েন্ট ৩)	$p_1,\dots ,p_k$ যেখানে $p_k=1-\sum _{i=1}^{k-1}{p}_i$	$\left[\begin{array}{c}\log \frac{p_1}{p_k}\\ ⋮\\ \log \frac{p_{k-1}}{p_k}\\ 0\end{array}\right]$ এটি ইনভার্স সফটম্যাক্স ফাংশন, যা লজিট ফাংশন-এর একটি সাধারণীকরণ।	$\frac{1}{C_1}\left[\begin{array}{c}{e}^{{\eta }_1}\\ ⋮\\ e^{{\eta }_k}\end{array}\right]=$ $\frac{1}{C_2}\left[\begin{array}{c}{e}^{{\eta }_1}\\ ⋮\\ e^{{\eta }_{k-1}}\\ 1\end{array}\right]$ যেখানে $C_1=\sum _{i=1}^k{e}^{{\eta }_i}$ এবং $C_2=1+\sum _{i=1}^{k-1}{e}^{{\eta }_i}$। এটি সফটম্যাক্স ফাংশন, যা লজিস্টিক ফাংশন-এর একটি সাধারণীকরণ।	$1$	$\left[\begin{array}{c}[x=1]\\ ⋮\\ [x=k]\end{array}\right]$$[x=i]$ হলো আইভারসন ব্র্যাকেট	$\begin{array}{rl}& \log \left(\sum _{i=1}^k{e}^{{\eta }_i}\right)\\ =& \log (1+\sum _{i=1}^{k-1}{e}^{{\eta }_i})\end{array}$	$-\log p_k$
মাল্টিনোমিয়াল বিন্যাস (ভ্যারিয়েন্ট ১) জানা ট্রায়াল সংখ্যা n সহ	$p_1,\dots ,p_k$ যেখানে $\sum _{i=1}^k{p}_i=1$	$\left[\begin{array}{c}\log p_1\\ ⋮\\ \log p_k\end{array}\right]$	$\left[\begin{array}{c}{e}^{{\eta }_1}\\ ⋮\\ e^{{\eta }_k}\end{array}\right]$ যেখানে $\sum _{i=1}^k{e}^{{\eta }_i}=1$	$\frac{n!}{\prod _{i=1}^k{x}_i!}$	$\left[\begin{array}{c}{x}_1\\ ⋮\\ x_k\end{array}\right]$	$0$	$0$
মাল্টিনোমিয়াল বিন্যাস (ভ্যারিয়েন্ট ২) জানা ট্রায়াল সংখ্যা $n$ সহ	$p_1,\dots ,p_k$ যেখানে $\sum _{i=1}^k{p}_i=1$	$\left[\begin{array}{c}\log p_1+C\\ ⋮\\ \log p_k+C\end{array}\right]$	$\frac{1}{C}\left[\begin{array}{c}{e}^{{\eta }_1}\\ ⋮\\ e^{{\eta }_k}\end{array}\right]$ যেখানে $C=\sum _{i=1}^k{e}^{{\eta }_i}$	$\frac{n!}{\prod _{i=1}^k{x}_i!}$	$\left[\begin{array}{c}{x}_1\\ ⋮\\ x_k\end{array}\right]$	$0$	$0$
মাল্টিনোমিয়াল বিন্যাস (ভ্যারিয়েন্ট ৩) জানা ট্রায়াল সংখ্যা $n$ সহ	$p_1,\dots ,p_k$ যেখানে $p_k=1-\sum _{i=1}^{k-1}{p}_i$	$\left[\begin{array}{c}\log \frac{p_1}{p_k}\\ ⋮\\ \log \frac{p_{k-1}}{p_k}\\ 0\end{array}\right]$	$\frac{1}{C_1}\left[\begin{array}{c}{e}^{{\eta }_1}\\ ⋮\\ e^{{\eta }_k}\end{array}\right]=$ $\frac{1}{C_2}\left[\begin{array}{c}{e}^{{\eta }_1}\\ ⋮\\ e^{{\eta }_{k-1}}\\ 1\end{array}\right]$ যেখানে $C_1=\sum _{i=1}^k{e}^{{\eta }_i}$ এবং $C_2=1+\sum _{i=1}^{k-1}{e}^{{\eta }_i}$	$\frac{n!}{\prod _{i=1}^k{x}_i!}$	$\left[\begin{array}{c}{x}_1\\ ⋮\\ x_k\end{array}\right]$	$\begin{array}{rl}& n\log \left(\sum _{i=1}^k{e}^{{\eta }_i}\right)\\ =& n\log (1+\sum _{i=1}^{k-1}{e}^{{\eta }_i})\end{array}$	$-n\log p_k$
ডিরিক্লে বিন্যাস (ভ্যারিয়েন্ট ১)	${\alpha }_1,\dots ,{\alpha }_k$	$\left[\begin{array}{c}{\alpha }_1\\ ⋮\\ {\alpha }_k\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1\\ ⋮\\ {\eta }_k\end{array}\right]$	$\frac{1}{\prod _{i=1}^k{x}_i}$	$\left[\begin{array}{c}\log x_1\\ ⋮\\ \log x_k\end{array}\right]$	$\begin{array}{r}\sum _{i=1}^k\log \mathrm{\Gamma }({\eta }_i)\\ -\log \mathrm{\Gamma }\left(\sum _{i=1}^k{\eta }_i\right)\end{array}$	$\begin{array}{rl}& \sum _{i=1}^k\log \mathrm{\Gamma }({\alpha }_i)\\ -& \log \mathrm{\Gamma }\left(\sum _{i=1}^k{\alpha }_i\right)\end{array}$
ডিরিক্লে বিন্যাস (ভ্যারিয়েন্ট ২)	${\alpha }_1,\dots ,{\alpha }_k$	$\left[\begin{array}{c}{\alpha }_1-1\\ ⋮\\ {\alpha }_k-1\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+1\\ ⋮\\ {\eta }_k+1\end{array}\right]$	$1$	$\left[\begin{array}{c}\log x_1\\ ⋮\\ \log x_k\end{array}\right]$	$\begin{array}{rl}& \sum _{i=1}^k\log \mathrm{\Gamma }({\eta }_i+1)\\ -& \log \mathrm{\Gamma }(\sum _{i=1}^k({\eta }_i+1))\end{array}$	$\begin{array}{rl}& \sum _{i=1}^k\log \mathrm{\Gamma }({\alpha }_i)\\ -& \log \mathrm{\Gamma }\left(\sum _{i=1}^k{\alpha }_i\right)\end{array}$
উইশার্ট বিন্যাস	$\mathbf{𝐕},n$	$\left[\begin{array}{c}-\frac{1}{2}{\mathbf{𝐕}}^{-1}\\ \frac{n-p-1}{2}\end{array}\right]$	$\left[\begin{array}{c}-\frac{1}{2}{\mathit{\eta }}_1^{-1}\\ 2{\eta }_2+p+1\end{array}\right]$	$1$	$\left[\begin{array}{c}\mathbf{𝐗}\\ \log |\mathbf{𝐗}|\end{array}\right]$	$\begin{array}{rl}& -[{\eta }_2+\frac{p+1}{2}]\log |-{\mathit{\eta }}_1|\\ & +\log {\mathrm{\Gamma }}_p({\eta }_2+\frac{p+1}{2})\\ =& -\frac{n}{2}\log |-{\mathit{\eta }}_1|\\ & +\log {\mathrm{\Gamma }}_p\left(\frac{n}{2}\right)\\ =& [{\eta }_2+\frac{p+1}{2}]\log \left(2^p\left|\mathbf{𝐕}\right|\right)\\ & +\log {\mathrm{\Gamma }}_p({\eta }_2+\frac{p+1}{2})\end{array}$ সাফিসিয়েন্ট স্ট্যাটিস্টিকের মোমেন্ট নির্ণয় সহজ করার জন্য ভিন্ন প্যারামিটারাইজেশনসহ তিনটি ভ্যারিয়েন্ট দেওয়া হয়েছে।	$\begin{array}{rl}& \frac{n}{2}\log \left(2^p\left|\mathbf{𝐕}\right|\right)\\ & +\log {\mathrm{\Gamma }}_p\left(\frac{n}{2}\right)\end{array}$
	দ্রষ্টব্য: এই সত্যটি ব্যবহার করা হয়েছে যে $\mathrm{tr}({\mathbf{𝐀}}^{\mathsf{T}}\mathbf{𝐁})=\mathrm{vec}(\mathbf{𝐀})\cdot \mathrm{vec}(\mathbf{𝐁}),$ অর্থাৎ ম্যাট্রিক্স গুণফল-এর ট্রেস অনেকটা ডট প্রোডাক্ট-এর মতো। এক্সপোনেনশিয়াল ফর্মে বসানোর সময় ম্যাট্রিক্স প্যারামিটারগুলোকে ভেক্টরাইজড (একটি ভেক্টরে সাজানো) ধরা হয়েছে। এছাড়া, $\mathbf{𝐕}$ এবং $\mathbf{𝐗}$ প্রতিসম, তাই যেমন ${\mathbf{𝐕}}^{\mathsf{T}}=\mathbf{𝐕}.$
ইনভার্স উইশার্ট বিন্যাস	$\mathrm{\Psi },m$	$-\frac{1}{2}\left[\begin{array}{c}\mathrm{\Psi }\\ m+p+1\end{array}\right]$	$-\left[\begin{array}{c}2{\mathit{\eta }}_1\\ 2{\eta }_2+p+1\end{array}\right]$	$1$	$\left[\begin{array}{c}{\mathbf{𝐗}}^{-1}\\ \log |\mathbf{𝐗}|\end{array}\right]$	$\begin{array}{rl}& [{\eta }_2+\frac{p+1}{2}]\log |-{\mathit{\eta }}_1|\\ & +\log {\mathrm{\Gamma }}_p(-{\eta }_2-\frac{p+1}{2})\\ =& -\frac{m}{2}\log |-{\mathit{\eta }}_1|\\ & +\log {\mathrm{\Gamma }}_p\left(\frac{m}{2}\right)\\ =& -[{\eta }_2+\frac{p+1}{2}]\log \frac{2^p}{\left|\mathrm{\Psi }\right|}\\ & +\log {\mathrm{\Gamma }}_p(-{\eta }_2-\frac{p+1}{2})\end{array}$	$\begin{array}{r}\frac{m}{2}\log \frac{2^p}{|\mathrm{\Psi }|}\\ +\log {\mathrm{\Gamma }}_p\left(\frac{m}{2}\right)\end{array}$
নরমাল-গামা বিন্যাস	$\alpha ,\beta ,\mu ,\lambda$	$\left[\begin{array}{c}\alpha -\frac{1}{2}\\ -\beta -\frac{\lambda {\mu }^2}{2}\\ \lambda \mu \\ -\frac{\lambda }{2}\end{array}\right]$	$\left[\begin{array}{c}{\eta }_1+\frac{1}{2}\\ -{\eta }_2+\frac{{\eta }_3^2}{4{\eta }_4}\\ -\frac{{\eta }_3}{2{\eta }_4}\\ -2{\eta }_4\end{array}\right]$	$\frac{1}{\sqrt{2\pi }}$	$\left[\begin{array}{c}\log \tau \\ \tau \\ \tau x\\ \tau x^2\end{array}\right]$	$\begin{array}{rl}& \log \mathrm{\Gamma }({\eta }_1+\frac{1}{2})\\ -& \frac{1}{2}\log (-2{\eta }_4)\\ -& ({\eta }_1+\frac{1}{2})\log (\frac{{\eta }_3^2}{4{\eta }_4}-{\eta }_2)\end{array}$	$\begin{array}{rl}& \log \mathrm{\Gamma }\left(\alpha \right)\\ & -\alpha \log \beta \\ & -\frac{1}{2}\log \lambda \end{array}$

ক্যাটাগরিক্যাল বিন্যাস এবং মাল্টিনোমিয়াল বিন্যাস-এর তিনটি ভ্যারিয়েন্টের কারণ হলো প্যারামিটার $p_i$-এর ওপর সীমাবদ্ধতা, যা হলো:

$$\sum _{i=1}^k{p}_i=1.$$

সুতরাং, এখানে মাত্র $k-1$ টি স্বাধীন প্যারামিটার রয়েছে।

• ভ্যারিয়েন্ট ১-এ $k$ টি প্রাকৃতিক প্যারামিটার ব্যবহার করা হয়েছে, যেখানে স্ট্যান্ডার্ড এবং প্রাকৃতিক প্যারামিটারের মধ্যে একটি সহজ সম্পর্ক রয়েছে; তবে, প্রাকৃতিক প্যারামিটারগুলোর মধ্যে মাত্র $k-1$ টি স্বাধীন এবং $k$ টি প্রাকৃতিক প্যারামিটারের সেটটি অশনাক্তযোগ্য (nonidentifiable)। সাধারণ প্যারামিটারগুলোর ওপরের সীমাবদ্ধতা প্রাকৃতিক প্যারামিটারগুলোর ওপরও একই সীমাবদ্ধতা তৈরি করে।
• ভ্যারিয়েন্ট ২ এই সত্যটি প্রদর্শন করে যে প্রাকৃতিক প্যারামিটারগুলোর পুরো সেটটি অশনাক্তযোগ্য: প্রাকৃতিক প্যারামিটারগুলোর সাথে যেকোনো ধ্রুবক মান যোগ করলে তা বিন্যাসের ওপর কোনো প্রভাব ফেলে না। তবে, প্রাকৃতিক প্যারামিটারগুলোর ওপর সীমাবদ্ধতা ব্যবহার করে, প্রাকৃতিক প্যারামিটারগুলোর সাপেক্ষে সাধারণ প্যারামিটারগুলোর সূত্র এমনভাবে লেখা যায় যা যোগ করা ধ্রুবকের ওপর নির্ভর করে না।
• ভ্যারিয়েন্ট ৩ দেখায় কীভাবে $C=-\log p_k$ নির্ধারণ করে সুবিধাজনক উপায়ে প্যারামিটারগুলোকে শনাক্তযোগ্য করা যায়। এটি কার্যকরভাবে $p_k$-এর সাপেক্ষে "পিভট" করে এবং শেষ প্রাকৃতিক প্যারামিটারটির মান ধ্রুবক ০ করে দেয়। অবশিষ্ট সব সূত্র এমনভাবে লেখা হয়েছে যাতে $p_k$-এর প্রয়োজন হয় না, ফলে কার্যকরভাবে মডেলটিতে সাধারণ এবং প্রাকৃতিক উভয় ধরনের মাত্র $k-1$ টি প্যারামিটার থাকে।

ভ্যারিয়েন্ট ১ এবং ২ আসলে স্ট্যান্ডার্ড এক্সপোনেনশিয়াল ফ্যামিলি নয়। বরং এগুলো হলো কার্ভড এক্সপোনেনশিয়াল ফ্যামিলি, অর্থাৎ $k$-মাত্রিক প্যারামিটার স্পেসে $k-1$ টি স্বাধীন প্যারামিটার এমবেড করা থাকে। এক্সপোনেনশিয়াল ফ্যামিলির অনেক স্ট্যান্ডার্ড ফলাফল কার্ভড এক্সপোনেনশিয়াল ফ্যামিলির ক্ষেত্রে প্রযোজ্য নয়। একটি উদাহরণ হলো লগ-পার্টিশন ফাংশন $A(x)$, যার মান কার্ভড ক্ষেত্রে ০ হয়। স্ট্যান্ডার্ড এক্সপোনেনশিয়াল ফ্যামিলিতে, এই ফাংশনের ব্যবকলনগুলো সাফিসিয়েন্ট স্ট্যাটিস্টিকের মোমেন্ট (আরও প্রযুক্তিগতভাবে, কিউমুলাণ্ট) নির্দেশ করে, যেমন গড় এবং ভেদাঙ্ক। কিন্তু ০ মানটি নির্দেশ করে যে সব সাফিসিয়েন্ট স্ট্যাটিস্টিকের গড় এবং ভেদাঙ্ক অভিন্নভাবে ০, যেখানে প্রকৃতপক্ষে $i$-তম সাফিসিয়েন্ট স্ট্যাটিস্টিকের গড় হওয়া উচিত $p_i$। (এটি ভ্যারিয়েন্ট ৩-এ প্রদর্শিত $A(x)$-এর রূপ ব্যবহার করলে সঠিকভাবে পাওয়া যায়।)

সাফিসিয়েন্ট স্ট্যাটিস্টিকের মোমেন্ট এবং কিউমুলাণ্ট

বিন্যাসের নরমালাইজেশন

আমরা সম্ভাবনা বিন্যাসের নরমালাইজেশন দিয়ে শুরু করি। সাধারণভাবে, যেকোনো অ-ঋণাত্মক ফাংশন f(x) যা একটি সম্ভাবনা বিন্যাসের কার্নেল (যে অংশটি x-এর ওপর সমস্ত নির্ভরতা এনকোড করে) হিসেবে কাজ করে, তাকে নরমালাইজ করার মাধ্যমে একটি সঠিক বিন্যাসে পরিণত করা যায়: অর্থাৎ

$$p(x)=\frac{1}{Z}f(x)$$

যেখানে

$$Z=\underset{x}{\int }f(x)dx.$$

ফ্যাক্টর Z-কে কখনো কখনো নরমালাইজার বা পার্টিশন ফাংশন বলা হয়, যা পরিসংখ্যানিক পদার্থবিজ্ঞান-এর সাথে সাদৃশ্যের ওপর ভিত্তি করে নামকরণ করা হয়েছে।

এক্সপোনেনশিয়াল ফ্যামিলির ক্ষেত্রে যেখানে $$p(x;\mathit{\eta })=g(\mathit{\eta })h(x)e^{\mathit{\eta }\cdot \mathbf{𝐓}(x)},$$

সেখানে কার্নেল হলো $$K(x)=h(x)e^{\mathit{\eta }\cdot \mathbf{𝐓}(x)}$$ এবং পার্টিশন ফাংশন হলো $$Z=\underset{x}{\int }h(x)e^{\mathit{\eta }\cdot \mathbf{𝐓}(x)}dx.$$

যেহেতু বিন্যাসটিকে অবশ্যই নরমালাইজড হতে হবে, তাই আমরা পাই

$$\begin{array}{rl}1& =\underset{x}{\int }g(\mathit{\eta })h(x)e^{\mathit{\eta }\cdot \mathbf{𝐓}(x)}dx\\ & =g(\mathit{\eta })\underset{x}{\int }h(x)e^{\mathit{\eta }\cdot \mathbf{𝐓}(x)}dx\\ & =g(\mathit{\eta })Z.\end{array}$$

অন্য কথায়, $$g(\mathit{\eta })=\frac{1}{Z}$$ বা সমতুল্যভাবে $$A(\mathit{\eta })=-\log g(\mathit{\eta })=\log Z.$$

এটি A-কে লগ-নরমালাইজার বা লগ-পার্টিশন ফাংশন বলার যৌক্তিকতা প্রদান করে।

সাফিসিয়েন্ট স্ট্যাটিস্টিকের মোমেন্ট-জেনারেটিং ফাংশন

এখন, T(x)-এর মোমেন্ট-জেনারেটিং ফাংশন হলো

$$\begin{array}{rl}{M}_T(u)& \equiv \mathrm{E}[\exp (u^{\mathsf{T}}T(x))\mid \eta ]\\ & =\underset{x}{\int }h(x)\exp [(\eta +u{)}^{\mathsf{T}}T(x)-A(\eta )]dx\\ & =e^{A(\eta +u)-A(\eta )}\end{array}$$

যা পূর্বের এই উক্তিটিকে প্রমাণ করে যে

$$K(u\mid \eta )=A(\eta +u)-A(\eta )$$

হলো T-এর জন্য কিউমুলাণ্ট জেনারেটিং ফাংশন।

এক্সপোনেনশিয়াল ফ্যামিলির একটি গুরুত্বপূর্ণ উপশ্রেণি হলো ন্যাচারাল এক্সপোনেনশিয়াল ফ্যামিলি, যার x-এর বিন্যাসের মোমেন্ট-জেনারেটিং ফাংশনের জন্য একই রূপ রয়েছে।

কিউমুলাণ্টের জন্য ডিফারেনশিয়াল আইডেন্টিটি

বিশেষভাবে, কিউমুলাণ্ট জেনারেটিং ফাংশনের বৈশিষ্ট্যগুলো ব্যবহার করে,

$$\mathrm{E}(T_j)=\frac{\partial A(\eta )}{\partial {\eta }_j}$$

এবং

$$\mathrm{cov}(T_i,T_j)=\frac{{\partial }^{2}A(\eta )}{\partial {\eta }_i\partial {\eta }_j}.$$

প্রথম দুটি র (raw) মোমেন্ট এবং সমস্ত মিশ্রিত দ্বিতীয় মোমেন্ট এই দুটি অভেদ থেকে পুনরুদ্ধার করা যায়। উচ্চতর ক্রমের মোমেন্ট এবং কিউমুলাণ্টগুলো উচ্চতর অন্তরকলনের মাধ্যমে পাওয়া যায়। যখন T ডেটার একটি জটিল ফাংশন হয়, যার মোমেন্টগুলো সমাকলনের মাধ্যমে নির্ণয় করা কঠিন, তখন এই কৌশলটি প্রায়শই কার্যকর হয়।

এটি দেখার আরেকটি উপায়, যা কিউমুলাণ্ট (cumulant) তত্ত্বের ওপর নির্ভর করে না, তা হলো এক্সপোনেনশিয়াল ফ্যামিলির বিন্যাস অবশ্যই নরমালাইজড বা প্রমিত হতে হবে—এই সত্য থেকে শুরু করা এবং অন্তরকলন করা। আমরা এক-মাত্রিক প্যারামিটারের সহজ ক্ষেত্রে এটি চিত্রিত করছি, তবে একটি অনুরূপ প্রতিপাদন আরও সাধারণভাবে প্রযোজ্য।

এক-মাত্রিক ক্ষেত্রে, আমরা পাই $$p(x)=g(\eta )h(x)e^{\eta T(x)}.$$

এটি অবশ্যই নরমালাইজড হতে হবে, সুতরাং

$$1=\underset{x}{\int }p(x)dx=\underset{x}{\int }g(\eta )h(x)e^{\eta T(x)}dx=g(\eta )\underset{x}{\int }h(x)e^{\eta T(x)}dx.$$

η-এর সাপেক্ষে উভয় পক্ষের অন্তরকলন (derivative) নিন:

$$\begin{array}{rl}0& =g(\eta )\frac{d}{d\eta }\underset{x}{\int }h(x)e^{\eta T(x)}dx+g^{\prime }(\eta )\underset{x}{\int }h(x)e^{\eta T(x)}dx\\ & =g(\eta )\underset{x}{\int }h(x)\left(\frac{d}{d\eta }{e}^{\eta T(x)}\right)dx+g^{\prime }(\eta )\underset{x}{\int }h(x)e^{\eta T(x)}dx\\ & =g(\eta )\underset{x}{\int }h(x)e^{\eta T(x)}T(x)dx+g^{\prime }(\eta )\underset{x}{\int }h(x)e^{\eta T(x)}dx\\ & =\underset{x}{\int }T(x)g(\eta )h(x)e^{\eta T(x)}dx+\frac{g^{\prime }(\eta )}{g(\eta )}\underset{x}{\int }g(\eta )h(x)e^{\eta T(x)}dx\\ & =\underset{x}{\int }T(x)p(x)dx+\frac{g^{\prime }(\eta )}{g(\eta )}\underset{x}{\int }p(x)dx\\ & =\mathrm{E}[T(x)]+\frac{g^{\prime }(\eta )}{g(\eta )}\\ & =\mathrm{E}[T(x)]+\frac{d}{d\eta }\log g(\eta )\end{array}$$

অতএব, $$\mathrm{E}[T(x)]=-\frac{d}{d\eta }\log g(\eta )=\frac{d}{d\eta }A(\eta ).$$

উদাহরণ ১

একটি প্রারম্ভিক উদাহরণ হিসেবে, গামা বিন্যাস (gamma distribution) বিবেচনা করুন, যার বিন্যাস নিম্নরূপে সংজ্ঞায়িত:

$$p(x)=\frac{{\beta }^{\alpha }}{\mathrm{\Gamma }(\alpha )}{x}^{\alpha -1}{e}^{-\beta x}.$$

উপরের সারণীটি উল্লেখ করে, আমরা দেখতে পাই যে প্রাকৃতিক প্যারামিটারটি নিম্নরূপ:

$$\begin{array}{rl}{\eta }_1& =\alpha -1,\\ {\eta }_2& =-\beta ,\end{array}$$

বিপরীত প্রতিস্থাপনগুলো হলো

$$\begin{array}{rl}\alpha & ={\eta }_1+1,\\ \beta & =-{\eta }_2,\end{array}$$

পর্যাপ্ত পরিসংখ্যানগুলো (sufficient statistics) হলো (log x, x), এবং লগ-পার্টিশন ফাংশনটি হলো

$$A({\eta }_1,{\eta }_2)=\log \mathrm{\Gamma }({\eta }_1+1)-({\eta }_1+1)\log (-{\eta }_2).$$

আমরা পর্যাপ্ত পরিসংখ্যানের গড় নিম্নরূপে নির্ণয় করতে পারি। প্রথমে, η₁-এর জন্য:

$$\begin{array}{rl}\mathrm{E}[\log x]& =\frac{\partial }{\partial {\eta }_1}A({\eta }_1,{\eta }_2)\\ & =\frac{\partial }{\partial {\eta }_1}[\log \mathrm{\Gamma }({\eta }_1+1)-({\eta }_1+1)\log (-{\eta }_2)]\\ & =\psi ({\eta }_1+1)-\log (-{\eta }_2)\\ & =\psi (\alpha )-\log \beta ,\end{array}$$

যেখানে $\psi (x)$ হলো ডাইগামা ফাংশন (লগ গামার অন্তরকলন), এবং শেষ ধাপে আমরা বিপরীত প্রতিস্থাপনগুলো ব্যবহার করেছি।

এখন, η₂-এর জন্য:

$$\begin{array}{rl}\mathrm{E}[x]& =\frac{\partial }{\partial {\eta }_2}A({\eta }_1,{\eta }_2)\\ & =\frac{\partial }{\partial {\eta }_2}[\log \mathrm{\Gamma }({\eta }_1+1)-({\eta }_1+1)\log (-{\eta }_2)]\\ & =-({\eta }_1+1)\frac{1}{-{\eta }_2}(-1)=\frac{{\eta }_1+1}{-{\eta }_2}=\frac{\alpha }{\beta },\end{array}$$

এখানেও শেষ ধাপে বিপরীত প্রতিস্থাপন করা হয়েছে।

x-এর ভেদাঙ্ক (variance) গণনা করতে, আমরা পুনরায় অন্তরকলন করি:

$$\begin{array}{rl}\mathrm{Var}(x)& =\frac{{\partial }^2}{\partial {\eta }_2^2}A({\eta }_1,{\eta }_2)=\frac{\partial }{\partial {\eta }_2}\frac{{\eta }_1+1}{-{\eta }_2}\\ & =\frac{{\eta }_1+1}{{\eta }_2^2}=\frac{\alpha }{{\beta }^2}.\end{array}$$

এই সমস্ত গণনা সমাকলনের মাধ্যমে করা যেতে পারে, গামা ফাংশন-এর বিভিন্ন বৈশিষ্ট্য ব্যবহার করে, কিন্তু এতে উল্লেখযোগ্যভাবে বেশি পরিশ্রমের প্রয়োজন হয়।

উদাহরণ ২

আরেকটি উদাহরণ হিসেবে একটি বাস্তব মানবিশিষ্ট র‍্যান্ডম ভেরিয়েবল X বিবেচনা করুন যার ঘনত্ব

$$p_{\theta }(x)=\frac{\theta e^{-x}}{{(1+e^{-x})}^{\theta +1}}$$

যা শেপ প্যারামিটার $\theta \in (0,\mathrm{\infty })$ দ্বারা সূচিত (একে স্কিউ-লজিস্টিক বিন্যাস বলা হয়)। ঘনত্বটিকে পুনরায় এভাবে লেখা যায়

$$\frac{e^{-x}}{1+e^{-x}}\exp [-\theta \log (1+e^{-x})+\log (\theta )]$$

লক্ষ্য করুন এটি একটি এক্সপোনেনশিয়াল ফ্যামিলি যার প্রাকৃতিক প্যারামিটার

$$\eta =-\theta ,$$

পর্যাপ্ত পরিসংখ্যান

$$T=\log (1+e^{-x}),$$

এবং লগ-পার্টিশন ফাংশন

$$A(\eta )=-\log (\theta )=-\log (-\eta )$$

সুতরাং প্রথম অভেদটি ব্যবহার করে,

$$\mathrm{E}[\log (1+e^{-X})]=\mathrm{E}(T)=\frac{\partial A(\eta )}{\partial \eta }=\frac{\partial }{\partial \eta }[-\log (-\eta )]=\frac{1}{-\eta }=\frac{1}{\theta },$$

এবং দ্বিতীয় অভেদটি ব্যবহার করে

Failed to parse (syntax error): {\displaystyle \operatorname{var}\left[\log\left(1 + e^{-X} \right)\right] = \frac{\partial^2 A(\eta)}{\partial \eta^2} = \frac{\partial}{\partial \eta} \left[\frac{1}{-\eta}\right] = \frac{1}}{\partial \mathbf{X = (\mathbf{X}^{-1})^\mathsf{T}}

তারপর:

$$\begin{array}{rl}\mathrm{E}[\mathbf{𝐗}]& =\frac{\partial }{\partial {\mathit{\eta }}_1}A({\mathit{\eta }}_1,\dots )\\ & =\frac{\partial }{\partial {\mathit{\eta }}_1}[-\frac{n}{2}\log |-{\mathit{\eta }}_1|+\log {\mathrm{\Gamma }}_p\left(\frac{n}{2}\right)]\\ & =-\frac{n}{2}({\mathit{\eta }}_1^{-1}{)}^{\mathsf{T}}\\ & =\frac{n}{2}(-{\mathit{\eta }}_1^{-1}{)}^{\mathsf{T}}\\ & =n(\mathbf{𝐕}{)}^{\mathsf{T}}\\ & =n\mathbf{𝐕}\end{array}$$

শেষ লাইনে এই সত্যটি ব্যবহার করা হয়েছে যে V একটি প্রতিসম ম্যাট্রিক্স, এবং তাই ট্রান্সপোজ করলে এটি একই থাকে।

লগ |X|-এর প্রত্যাশা (η₂-এর সাথে সংশ্লিষ্ট)

এখন, η₂-এর জন্য, আমাদের প্রথমে লগ-পার্টিশন ফাংশনের সেই অংশটি প্রসারিত করতে হবে যা মাল্টিভ্যারিয়েট গামা ফাংশন-এর সাথে জড়িত:

$$\begin{array}{rl}\log {\mathrm{\Gamma }}_p(a)& =\log \left({\pi }^{\frac{p(p-1)}{4}}\prod _{j=1}^p\mathrm{\Gamma }(a+\frac{1-j}{2})\right)\\ & =\frac{p(p-1)}{4}\log \pi +\sum _{j=1}^p\log \mathrm{\Gamma }(a+\frac{1-j}{2})\end{array}$$

আমাদের ডাইগামা ফাংশন-ও প্রয়োজন:

$$\psi (x)=\frac{d}{dx}\log \mathrm{\Gamma }(x).$$

তারপর:

$$\begin{array}{rl}\mathrm{E}[\log |\mathbf{𝐗}|]& =\frac{\partial }{\partial {\eta }_2}A(\dots ,{\eta }_2)\\ & =\frac{\partial }{\partial {\eta }_2}[-({\eta }_2+\frac{p+1}{2})\log \left(2^p\left|\mathbf{𝐕}\right|\right)+\log {\mathrm{\Gamma }}_p({\eta }_2+\frac{p+1}{2})]\\ & =\frac{\partial }{\partial {\eta }_2}[({\eta }_2+\frac{p+1}{2})\log \left(2^p\left|\mathbf{𝐕}\right|\right)]+\frac{\partial }{\partial {\eta }_2}[\frac{p(p-1)}{4}\log \pi ]\\ & \phantom{=}+\frac{\partial }{\partial {\eta }_2}\sum _{j=1}^p\log \mathrm{\Gamma }({\eta }_2+\frac{p+1}{2}+\frac{1-j}{2})\\ & =p\log 2+\log |\mathbf{𝐕}|+\sum _{j=1}^p\psi ({\eta }_2+\frac{p+1}{2}+\frac{1-j}{2})\\ & =p\log 2+\log |\mathbf{𝐕}|+\sum _{j=1}^p\psi (\frac{n-p-1}{2}+\frac{p+1}{2}+\frac{1-j}{2})\\ & =p\log 2+\log |\mathbf{𝐕}|+\sum _{j=1}^p\psi \left(\frac{n+1-j}{2}\right)\end{array}$$

এই পরবর্তী সূত্রটি উইশার্ট বিন্যাস নিবন্ধে তালিকাভুক্ত করা হয়েছে। উইশার্ট বিন্যাস জড়িত এমন একটি বেইস নেটওয়ার্ক-এ ভ্যারিয়েশনাল বেইস আপডেট সমীকরণগুলো প্রতিপাদন করার সময় এই প্রত্যাশাগুলোর উভয়ই প্রয়োজন হয় (যা মাল্টিভ্যারিয়েট নরমাল বিন্যাস-এর কনজুগেট প্রায়োর)।

সমাকলন ব্যবহার করে এই সূত্রগুলো গণনা করা অনেক বেশি কঠিন হতো। উদাহরণস্বরূপ, প্রথমটির জন্য ম্যাট্রিক্স সমাকলনের প্রয়োজন হতো।

এনট্রপি

আপেক্ষিক এনট্রপি

একটি এক্সপোনেনশিয়াল ফ্যামিলির দুটি বিন্যাসের আপেক্ষিক এনট্রপি (কুলব্যাক–লেইবলার ডাইভারজেন্স, KL ডাইভারজেন্স)-এর একটি সহজ প্রকাশ রয়েছে, যা লগ-নরমালাইজারের সাপেক্ষে প্রাকৃতিক প্যারামিটারগুলোর মধ্যে ব্রেগম্যান ডাইভারজেন্স হিসেবে পরিচিত।(Nielsen, Nock, 2010, 4. Bregman Divergences and Relative Entropy of Exponential Families) আপেক্ষিক এনট্রপি সমাকলনের মাধ্যমে সংজ্ঞায়িত, যেখানে ব্রেগম্যান ডাইভারজেন্স অন্তরকলন এবং ইনার প্রোডাক্টের মাধ্যমে সংজ্ঞায়িত, এবং তাই এটি গণনা করা সহজ এবং এর একটি ক্লোজড-ফর্ম এক্সপ্রেশন রয়েছে (যদি ধরে নেওয়া হয় যে অন্তরকলনের একটি ক্লোজড-ফর্ম এক্সপ্রেশন আছে)। অধিকন্তু, প্রাকৃতিক প্যারামিটার এবং লগ-নরমালাইজারের সাপেক্ষে ব্রেগম্যান ডাইভারজেন্স, দ্বৈত প্যারামিটারগুলোর (প্রত্যাশা প্যারামিটার) ব্রেগম্যান ডাইভারজেন্সের সমান হয়, বিপরীত ক্রমে, কনভেক্স কনজুগেট ফাংশনের জন্য।(Barndorff-Nielsen, 1978, 9.1 Convex duality and exponential families)

লগ-নরমালাইজার A (কনভেক্স কনজুগেট A^* সহ) বিশিষ্ট একটি এক্সপোনেনশিয়াল ফ্যামিলি স্থির করে, প্রাকৃতিক প্যারামিটার \theta-এর একটি নির্দিষ্ট মানের সাথে সংশ্লিষ্ট এই ফ্যামিলির বিন্যাসের জন্য $P_{A,\theta }$ লিখে (অন্য মানের জন্য \theta' লিখে, এবং সংশ্লিষ্ট দ্বৈত প্রত্যাশা/মোমেন্ট প্যারামিটারের জন্য \eta, \eta' লিখে), KL ডাইভারজেন্সের জন্য KL এবং ব্রেগম্যান ডাইভারজেন্সের জন্য B_A লিখে, ডাইভারজেন্সগুলো নিম্নরূপে সম্পর্কিত: $$\mathrm{KL}(P_{A,\theta }\parallel P_{A,{\theta }^{\prime }})=B_A({\theta }^{\prime }\parallel \theta )=B_{A^{*}}(\eta \parallel {\eta }^{\prime }).$$

KL ডাইভারজেন্স প্রথাগতভাবে 'প্রথম' প্যারামিটারের সাপেক্ষে লেখা হয়, যেখানে ব্রেগম্যান ডাইভারজেন্স প্রথাগতভাবে 'দ্বিতীয়' প্যারামিটারের সাপেক্ষে লেখা হয়, এবং তাই এটিকে এভাবে পড়া যেতে পারে "আপেক্ষিক এনট্রপি হলো অদলবদল করা প্রাকৃতিক প্যারামিটারগুলোর ওপর লগ-নরমালাইজার দ্বারা সংজ্ঞায়িত ব্রেগম্যান ডাইভারজেন্সের সমান", অথবা সমতুল্যভাবে "প্রত্যাশা প্যারামিটারগুলোর ওপর লগ-নরমালাইজারের দ্বৈত দ্বারা সংজ্ঞায়িত ব্রেগম্যান ডাইভারজেন্সের সমান"।

সর্বোচ্চ-এনট্রপি প্রতিপাদন

এক্সপোনেনশিয়াল ফ্যামিলিগুলো স্বাভাবিকভাবেই নিম্নলিখিত প্রশ্নের উত্তর হিসেবে উদ্ভূত হয়: প্রত্যাশিত মানের ওপর প্রদত্ত সীমাবদ্ধতার সাথে সামঞ্জস্যপূর্ণ সর্বোচ্চ-এনট্রপি বিন্যাস কোনটি?

একটি প্রোবাবিলিটি ডিস্ট্রিবিউশনের ইনফরমেশন এনট্রপি dF(x) শুধুমাত্র অন্য কোনো প্রোবাবিলিটি ডিস্ট্রিবিউশনের (অথবা, আরও সাধারণভাবে, একটি পজিটিভ মেজার) সাপেক্ষে গণনা করা যেতে পারে, এবং উভয় পরিমাপ-কেই পারস্পরিকভাবে অ্যাবসোলিউটলি কন্টিনিউয়াস হতে হবে। তদনুসারে, আমাদের dF(x)-এর মতো একই সাপোর্ট বিশিষ্ট একটি 'রেফারেন্স মেজার' dH(x) নির্বাচন করতে হবে।

dH(x)-এর সাপেক্ষে dF(x)-এর এনট্রপি হলো

$$S[dF\mid dH]=-\int \frac{dF}{dH}\log \frac{dF}{dH}dH$$

অথবা

$$S[dF\mid dH]=\int \log \frac{dH}{dF}dF$$

যেখানে dF/dH এবং dH/dF হলো র‍্যাডন–নিকোডিম ডেরিভেটিভ। একটি সেট I-এর ওপর সাপোর্টেড ডিসক্রিট বিন্যাসের জন্য এনট্রপির সাধারণ সংজ্ঞা, অর্থাৎ

$$S=-\sum _{i\in I}{p}_i\log p_i$$

এটি 'ধরে নেয়' যে, যদিও এটি খুব কমই উল্লেখ করা হয়, dH-কে I-এর ওপর কাউন্টিং মেজার হিসেবে নির্বাচন করা হয়েছে।

এখন পর্যবেক্ষণযোগ্য রাশিগুলোর (র‍্যান্ডম ভেরিয়েবল) একটি সংগ্রহ T_i বিবেচনা করুন। যে প্রোবাবিলিটি ডিস্ট্রিবিউশন dF-এর এনট্রপি dH-এর সাপেক্ষে সর্বোচ্চ, এই শর্ত সাপেক্ষে যে T_i-এর প্রত্যাশিত মান t_i-এর সমান হতে হবে, তা হলো একটি এক্সপোনেনশিয়াল ফ্যামিলি যার রেফারেন্স মেজার হিসেবে dH এবং পর্যাপ্ত পরিসংখ্যান হিসেবে (T₁, ..., T_n) রয়েছে।

এই প্রতিপাদনটি ল্যাগ্রাঞ্জ মাল্টিপ্লায়ার ব্যবহার করে একটি সাধারণ ভ্যারিয়েশনাল গণনা। 1=T₀ = 1-কে সীমাবদ্ধতাগুলোর একটি হিসেবে ধরে নরমালাইজেশন আরোপ করা হয়। বিন্যাসের প্রাকৃতিক প্যারামিটারগুলো হলো ল্যাগ্রাঞ্জ মাল্টিপ্লায়ার, এবং নরমালাইজেশন ফ্যাক্টর হলো T₀-এর সাথে সংশ্লিষ্ট ল্যাগ্রাঞ্জ মাল্টিপ্লায়ার।

এই ধরনের প্রতিপাদনের উদাহরণের জন্য, দেখুন সর্বোচ্চ এনট্রপি প্রোবাবিলিটি ডিস্ট্রিবিউশন।

পরিসংখ্যানে ভূমিকা

ধ্রুপদী প্রাক্কলন: পর্যাপ্ততা

পিটম্যান–কুপম্যান–ডারমোইস উপপাদ্য অনুযায়ী, যে প্রোবাবিলিটি ডিস্ট্রিবিউশন ফ্যামিলির ডোমেইন প্রাক্কলনকৃত প্যারামিটারের সাথে পরিবর্তিত হয় না, তাদের মধ্যে শুধুমাত্র এক্সপোনেনশিয়াল ফ্যামিলিতেই এমন একটি পর্যাপ্ত পরিসংখ্যান (sufficient statistic) থাকে যার মাত্রা নমুনার আকার বৃদ্ধির সাথে সাথে সীমাবদ্ধ থাকে।

সহজ কথায়, ধরুন X_k, (যেখানে 1=k = 1, 2, 3, ... n) হলো স্বাধীন, অভিন্নভাবে বিন্যস্ত র‍্যান্ডম ভেরিয়েবল। শুধুমাত্র যদি তাদের বিন্যাস 'এক্সপোনেনশিয়াল ফ্যামিলি'র বিন্যাসগুলোর একটি হয়, তবেই এমন একটি পর্যাপ্ত পরিসংখ্যান T(X₁, ..., X_n) থাকে যার স্কেলার উপাদানের সংখ্যা নমুনার আকার n বৃদ্ধির সাথে সাথে বৃদ্ধি পায় না; পরিসংখ্যান T একটি ভেক্টর বা একটি একক স্কেলার সংখ্যা হতে পারে, কিন্তু যাই হোক না কেন, আরও ডেটা পাওয়া গেলে এর আকার বৃদ্ধি বা হ্রাস পাবে না।

এই শর্তগুলো শিথিল করা হলে একটি বিপরীত উদাহরণ হিসেবে, ইউনিফর্ম বিন্যাস (ডিসক্রিট বা কন্টিনিউয়াস, যার এক বা উভয় সীমা অজানা)-এর ফ্যামিলিতে একটি পর্যাপ্ত পরিসংখ্যান থাকে, যথা নমুনার সর্বোচ্চ মান, নমুনার সর্বনিম্ন মান এবং নমুনার আকার, কিন্তু এটি একটি এক্সপোনেনশিয়াল ফ্যামিলি গঠন করে না, কারণ ডোমেইনটি প্যারামিটারগুলোর সাথে পরিবর্তিত হয়।

বেইসিয়ান প্রাক্কলন: কনজুগেট বিন্যাস

এক্সপোনেনশিয়াল ফ্যামিলিগুলো বেইসিয়ান পরিসংখ্যান-এও গুরুত্বপূর্ণ। বেইসিয়ান পরিসংখ্যানে একটি প্রায়োর ডিস্ট্রিবিউশন-কে একটি লাইকলিহুড ফাংশন দ্বারা গুণ করা হয় এবং তারপর একটি পোস্টেরিয়ার ডিস্ট্রিবিউশন তৈরি করার জন্য নরমালাইজ করা হয়। এমন লাইকলিহুডের ক্ষেত্রে যা একটি এক্সপোনেনশিয়াল ফ্যামিলির অন্তর্ভুক্ত, সেখানে একটি কনজুগেট প্রায়োর বিদ্যমান থাকে, যা প্রায়শই একটি এক্সপোনেনশিয়াল ফ্যামিলিতেও থাকে। একটি এক্সপোনেনশিয়াল ফ্যামিলির প্যারামিটার $\mathit{\eta }$-এর জন্য একটি কনজুগেট প্রায়োর π

$$f(x\mid \mathit{\eta })=h(x)\exp [{\mathit{\eta }}^{\mathsf{T}}\mathbf{𝐓}(x)-A(\mathit{\eta })]$$

নিম্নরূপে দেওয়া হয়

$$p_{\pi }(\mathit{\eta }\mid \mathit{\chi },\nu )=f(\mathit{\chi },\nu )\exp [{\mathit{\eta }}^{\mathsf{T}}\mathit{\chi }-\nu A(\mathit{\eta })],$$

অথবা সমতুল্যভাবে

$$p_{\pi }(\mathit{\eta }\mid \mathit{\chi },\nu )=f(\mathit{\chi },\nu )g(\mathit{\eta }{)}^{\nu }\exp \left({\mathit{\eta }}^{\mathsf{T}}\mathit{\chi }\right),\mathit{\chi }\in {\mathbb{ℝ}}^s$$

যেখানে s হলো $\mathit{\eta }$-এর মাত্রা এবং $\nu >0$ এবং $\mathit{\chi }$ হলো হাইপারপ্যারামিটার (প্যারামিটার নিয়ন্ত্রণকারী প্যারামিটার)। $\nu$ প্রায়োর ডিস্ট্রিবিউশন যে কার্যকর সংখ্যক পর্যবেক্ষণ প্রদান করে তার সাথে সংশ্লিষ্ট, এবং $\mathit{\chi }$ হলো মোট পরিমাণ যা এই সিউডো-পর্যবেক্ষণগুলো সমস্ত পর্যবেক্ষণ এবং সিউডো-পর্যবেক্ষণ জুড়ে পর্যাপ্ত পরিসংখ্যান-এ অবদান রাখে। $f(\mathit{\chi },\nu )$ হলো একটি নরমালাইজেশন কনস্ট্যান্ট যা অবশিষ্ট ফাংশনগুলো দ্বারা স্বয়ংক্রিয়ভাবে নির্ধারিত হয় এবং এটি নিশ্চিত করে যে প্রদত্ত ফাংশনটি একটি প্রোবাবিলিটি ডেনসিটি ফাংশন (অর্থাৎ এটি নরমালাইজড)। $A(\mathit{\eta })$ এবং সমতুল্যভাবে $g(\mathit{\eta })$ হলো সেই একই ফাংশন যা সেই বিন্যাসের সংজ্ঞায় ব্যবহৃত হয়েছে যার ওপর π হলো কনজুগেট প্রায়োর।

একটি কনজুগেট প্রায়োর হলো এমন একটি প্রায়োর যা লাইকলিহুডের সাথে মিলিত হয়ে এবং নরমালাইজড হয়ে এমন একটি পোস্টেরিয়ার ডিস্ট্রিবিউশন তৈরি করে যা প্রায়োরের একই ধরনের। উদাহরণস্বরূপ, যদি কেউ একটি দ্বিপদী বিন্যাসের সাফল্যের সম্ভাবনা প্রাক্কলন করে, তবে যদি কেউ প্রায়োর হিসেবে একটি বিটা বিন্যাস ব্যবহার করতে বেছে নেয়, তবে পোস্টেরিয়ারটি আরেকটি বিটা বিন্যাস হবে। এটি পোস্টেরিয়ারের গণনাকে বিশেষভাবে সহজ করে তোলে। একইভাবে, যদি কেউ একটি পয়সন বিন্যাস-এর প্যারামিটার প্রাক্কলন করে, তবে একটি গামা প্রায়োরের ব্যবহার আরেকটি গামা পোস্টেরিয়ারের দিকে নিয়ে যাবে। কনজুগেট প্রায়োরগুলো প্রায়শই খুব নমনীয় এবং খুব সুবিধাজনক হতে পারে। তবে, যদি থিটা প্যারামিটারের সম্ভাব্য মান সম্পর্কে কারো বিশ্বাস একটি বাইমোডাল (দুই-কুঁজ বিশিষ্ট) প্রায়োর ডিস্ট্রিবিউশন দ্বারা উপস্থাপিত হয়, তবে এটি একটি বিটা বিন্যাস দ্বারা উপস্থাপন করা যাবে না। তবে এটি প্রায়োর হিসেবে একটি মিক্সচার ডেনসিটি ব্যবহার করে উপস্থাপন করা যেতে পারে, এখানে দুটি বিটা বিন্যাসের সংমিশ্রণ; এটি একটি হাইপারপ্রায়োর-এর রূপ।

একটি নির্বিচারে লাইকলিহুড এক্সপোনেনশিয়াল ফ্যামিলির অন্তর্ভুক্ত হবে না, এবং তাই সাধারণভাবে কোনো কনজুগেট প্রায়োর বিদ্যমান নেই। তখন পোস্টেরিয়ারটি সংখ্যাসূচক পদ্ধতির মাধ্যমে গণনা করতে হবে।

উপরের প্রায়োর ডিস্ট্রিবিউশনটি যে একটি কনজুগেট প্রায়োর তা দেখানোর জন্য, আমরা পোস্টেরিয়ারটি প্রতিপাদন করতে পারি।

প্রথমে, ধরে নিন যে একটি একক পর্যবেক্ষণের সম্ভাবনা একটি এক্সপোনেনশিয়াল ফ্যামিলি অনুসরণ করে, যা এর প্রাকৃতিক প্যারামিটার ব্যবহার করে প্যারামিটারাইজ করা হয়েছে:

$$p_F(x\mid \mathit{\eta })=h(x)g(\mathit{\eta })\exp [{\mathit{\eta }}^{\mathsf{T}}\mathbf{𝐓}(x)]$$

তারপর, ডেটা $\mathbf{𝐗}=(x_1,\dots ,x_n)$-এর জন্য, লাইকলিহুড নিম্নরূপে গণনা করা হয়:

$$p(\mathbf{𝐗}\mid \mathit{\eta })=(\prod _{i=1}^{n}h(x_i))g(\mathit{\eta }{)}^n\exp ({\mathit{\eta }}^{\mathsf{T}}\sum _{i=1}^n\mathbf{𝐓}(x_i))$$

তারপর, উপরের কনজুগেট প্রায়োরের জন্য:

$$\begin{array}{rl}{p}_{\pi }(\mathit{\eta }\mid \mathit{\chi },\nu )& =f(\mathit{\chi },\nu )g(\mathit{\eta }{)}^{\nu }\exp ({\mathit{\eta }}^{\mathsf{T}}\mathit{\chi })\propto g(\mathit{\eta }{)}^{\nu }\exp ({\mathit{\eta }}^{\mathsf{T}}\mathit{\chi })\end{array}$$

আমরা তখন পোস্টেরিয়ারটি নিম্নরূপে গণনা করতে পারি:

$$\begin{array}{rl}p(\mathit{\eta }\mid \mathbf{𝐗},\mathit{\chi },\nu )& \propto p(\mathbf{𝐗}\mid \mathit{\eta })p_{\pi }(\mathit{\eta }\mid \mathit{\chi },\nu )\\ & =(\prod _{i=1}^{n}h(x_i))g(\mathit{\eta }{)}^n\exp ({\mathit{\eta }}^{\mathsf{T}}\sum _{i=1}^n\mathbf{𝐓}(x_i))f(\mathit{\chi },\nu )g(\mathit{\eta }{)}^{\nu }\exp ({\mathit{\eta }}^{\mathsf{T}}\mathit{\chi })\\ & \propto g(\mathit{\eta }{)}^n\exp ({\mathit{\eta }}^{\mathsf{T}}\sum _{i=1}^n\mathbf{𝐓}(x_i))g(\mathit{\eta }{)}^{\nu }\exp ({\mathit{\eta }}^{\mathsf{T}}\mathit{\chi })\\ & =g(\mathit{\eta }{)}^{\nu +n}\exp \left({\mathit{\eta }}^{\mathsf{T}}(\mathit{\chi }+\sum _{i=1}^n\mathbf{𝐓}(x_i))\right)\end{array}$$

শেষ লাইনটি পোস্টেরিয়ার ডিস্ট্রিবিউশনের কার্নেল, অর্থাৎ

$$p(\mathit{\eta }\mid \mathbf{𝐗},\mathit{\chi },\nu )=p_{\pi }\left(\mathit{\eta }|\mathit{\chi }+\sum _{i=1}^n\mathbf{𝐓}(x_i),\nu +n\right)$$

এটি দেখায় যে পোস্টেরিয়ারটির রূপ প্রায়োরের মতোই।

ডেটা X এই সমীকরণে 'শুধুমাত্র' নিম্নলিখিত রাশিতে প্রবেশ করে

$$\mathbf{𝐓}(\mathbf{𝐗})=\sum _{i=1}^n\mathbf{𝐓}(x_i),$$

যাকে ডেটার পর্যাপ্ত পরিসংখ্যান বলা হয়। অর্থাৎ, পর্যাপ্ত পরিসংখ্যানের মান পোস্টেরিয়ার ডিস্ট্রিবিউশন সম্পূর্ণভাবে নির্ধারণ করার জন্য যথেষ্ট। প্রকৃত ডেটা পয়েন্টগুলোর নিজেদের প্রয়োজন নেই, এবং একই পর্যাপ্ত পরিসংখ্যান বিশিষ্ট সমস্ত ডেটা পয়েন্টের সেটের একই বিন্যাস থাকবে। এটি গুরুত্বপূর্ণ কারণ পর্যাপ্ত পরিসংখ্যানের মাত্রা ডেটার আকারের সাথে বৃদ্ধি পায় না — এতে $\mathit{\eta }$-এর উপাদানের সমান সংখ্যক উপাদান থাকে (সমতুল্যভাবে, একটি একক ডেটা পয়েন্টের বিন্যাসের প্যারামিটারের সংখ্যা)।

আপডেট সমীকরণগুলো নিম্নরূপ:

$$\begin{array}{rl}{\mathit{\chi }}^{\prime }& =\mathit{\chi }+\mathbf{𝐓}(\mathbf{𝐗})\\ & =\mathit{\chi }+\sum _{i=1}^n\mathbf{𝐓}(x_i)\\ {\nu }^{\prime }& =\nu +n\end{array}$$

এটি দেখায় যে আপডেট সমীকরণগুলো ডেটার সংখ্যা এবং ডেটার পর্যাপ্ত পরিসংখ্যান-এর পরিপ্রেক্ষিতে সহজভাবে লেখা যেতে পারে। এটি কনজুগেট প্রায়োর পৃষ্ঠায় দেখানো আপডেট সমীকরণের বিভিন্ন উদাহরণে স্পষ্টভাবে দেখা যায়। পর্যাপ্ত পরিসংখ্যান যেভাবে গণনা করা হয় তার কারণে, এটি অনিবার্যভাবে ডেটার উপাদানগুলোর যোগফল জড়িত করে (কিছু ক্ষেত্রে গুণফল বা অন্যান্য রূপ হিসেবে ছদ্মবেশে থাকে — একটি গুণফলকে লগারিদম-এর যোগফল হিসেবে লেখা যেতে পারে)। যে ক্ষেত্রে নির্দিষ্ট বিন্যাসের জন্য আপডেট সমীকরণগুলো উপরের রূপগুলোর সাথে হুবহু মেলে না, সেগুলো হলো এমন ক্ষেত্র যেখানে কনজুগেট প্রায়োরটি এমন একটি প্যারামিটারাইজেশন ব্যবহার করে প্রকাশ করা হয়েছে যা উপরের রূপের কনজুগেট প্রায়োর তৈরি করে না — প্রায়শই বিশেষভাবে কারণ উপরের রূপটি প্রাকৃতিক প্যারামিটার $\mathit{\eta }$-এর ওপর সংজ্ঞায়িত, যেখানে কনজুগেট প্রায়োরগুলো সাধারণত প্রকৃত প্যারামিটার $\mathit{\theta }$-এর ওপর সংজ্ঞায়িত হয়।

নিরপেক্ষ প্রাক্কলন

যদি লাইকলিহুড $z|\eta \sim e^{\eta z}{f}_1(\eta )f_0(z)$ একটি এক্সপোনেনশিয়াল ফ্যামিলি হয়, তবে $\eta$-এর নিরপেক্ষ প্রাক্কলক (unbiased estimator) হলো $-\frac{d}{dz}\ln f_0(z)$।

হাইপোথিসিস টেস্টিং: ইউনিফর্মলি মোস্ট পাওয়ারফুল টেস্ট

আরও দেখুন: Uniformly most powerful test#Important case: exponential family

একটি এক-প্যারামিটার এক্সপোনেনশিয়াল ফ্যামিলির পর্যাপ্ত পরিসংখ্যান T(x)-এ একটি একঘেয়ে অ-হ্রাসমান লাইকলিহুড রেশিও থাকে, যদি η(θ) অ-হ্রাসমান হয়। ফলস্বরূপ, হাইপোথিসিস পরীক্ষার জন্য একটি ইউনিফর্মলি মোস্ট পাওয়ারফুল টেস্ট বিদ্যমান, যা H₀: θ ≥ θ₀ বনাম H₁: θ < θ₀ পরীক্ষা করে।

জেনারালাইজড লিনিয়ার মডেল

এক্সপোনেনশিয়াল ফ্যামিলিগুলো জেনারালাইজড লিনিয়ার মডেল (GLM)-এ ব্যবহৃত বিন্যাস ফাংশনগুলোর ভিত্তি গঠন করে, যা পরিসংখ্যানে সাধারণত ব্যবহৃত অনেক রিগ্রেশন মডেলকে অন্তর্ভুক্ত করে। উদাহরণগুলোর মধ্যে রয়েছে দ্বিপদী ফ্যামিলি ব্যবহার করে লজিস্টিক রিগ্রেশন এবং পয়সন রিগ্রেশন।

আরও দেখুন

• এক্সপোনেনশিয়াল ডিসপারশন মডেল
• গিবস মেজার
• ন্যাচারাল এক্সপোনেনশিয়াল ফ্যামিলি

তথ্যসূত্র

উদ্ধৃতি

November 2010

উৎস

• Barndorff-Nielsen, Ole. (1978). "Information and exponential families in statistical theory". ix+238 pp. John Wiley & Sons, Ltd.. ISBN 0-471-99545-2.
  • Reprinted as Barndorff-Nielsen
• (2009). "Statistical exponential families: A digest with flash cards".
• (2010). Entropies and cross-entropies of exponential families. doi:10.1109/ICIP.2010.5652054.

আরও পড়ুন

• Fahrmeir, Ludwig. (1994). "Multivariate Statistical Modelling based on Generalized Linear Models". 18–22, 345–349. Springer. ISBN 0-387-94233-5.
• Keener, Robert W.. (2006). "Theoretical Statistics: Topics for a Core Course". 27–28, 32–33. Springer. ISBN 978-0-387-93838-7.
• Lehmann, E. L.. (1998). "Theory of Point Estimation". ISBN 0-387-98502-6.

বহিঃসংযোগ

• A primer on the exponential family of distributions
• Exponential family of distributions on the Earliest known uses of some of the words of mathematics
• jMEF: A Java library for exponential families সংরক্ষিত সংস্করণ
• Graphical Models, Exponential Families, and Variational Inference by Wainwright and Jordan (2008)

collapsed collapsed

---

উৎস: ইংরেজি উইকিপিডিয়ার “Exponential family” নিবন্ধের অনুবাদ। মূল নিবন্ধ: https://en.wikipedia.org/wiki/Exponential_family এই অনুবাদটি স্বয়ংক্রিয়ভাবে প্রস্তুত করা হয়েছে।