واگرایی

واگرایی اندازه گیری تفاوت بین دو توزیع احتمال است. اغلب از این برای تعیین تفاوت بین یک نمونه و یک توزیع احتمال شناخته شده استفاده می شود.

واگرایی یک مقدار غیر منفی می گیرد. وقتی دو توزیع احتمال مساوی باشند مقدار صفر است.

ما در اینجا دو اندازه گیری واگرایی را در نظر می گیریم.

واگرایی کولبک-لایبلر (KL)

ما فرض می کنیم که وقتی y_من= 0، سپس x_i= 0، و در این مورد، ln(x را تنظیم می کنیم_i /y_من) = 0. همچنین توجه داشته باشید که فرض می شود عناصر x₁, …, x_nو y₁, …, y_nمقادیر یک توزیع احتمال گسسته هستند و بنابراین هر کدام باید به یک جمع شوند. بنابراین، ممکن است لازم باشد هر x را جایگزین کنید_iتوسط x_i/، و به طور مشابه برای y_i .

همچنین می توانیم از اصطلاح KL (p || q) استفاده کنیم که در آن p pdf است که مقادیر آن x است.₁, …, x_nو q pdf است که مقادیر آن y است₁, …, y_n. می توانیم KL (p || q) را به عنوان نمایانگر اطلاعاتی که با استفاده از p به جای q به دست می آیند، ببینیم. از دیدگاه بیزی، اطلاعاتی را که هنگام بازبینی باورهای قبلی شما از p به توزیع پسین q به دست می آید اندازه گیری می کند.

توجه داشته باشید که KL (x ||y) و KL (y|| x) لزوماً برابر نیستند. چوب طبیعی را می توان با یک سیاهه درخت پایه 2 جایگزین کرد.

واگرایی جنسن-شانون (JS)

مثال ها

مثال 1: تعیین کنید که توزیع گسسته نمایش داده شده در ستون C شکل 1 چقدر به توزیع دو جمله ای با n = 3 و p = 0. 4 تقریب دارد.

شکل 1 - واگرایی کولبک-لایبلر

عناصر توزیع دو جمله ای در ستون B نشان داده شده است. سلول B4 حاوی فرمول =BINOM. DIST(A4, 3, 0. 4, FALSE) است. سپس فرمول =B4*LN(B4/C4) را در سلول E4 وارد می کنیم، محدوده E4:E7 را برجسته می کنیم و سپس Ctrl-D را فشار می دهیم. با قرار دادن فرمول =SUM(E4:E7) در سلول E8، اندازه گیری واگرایی Kulback-Leibler را محاسبه می کنیم.

مثال 2: واگرایی جنسن-شانون را برای توزیع های مثال 1 محاسبه کنید.

ما ابتدا توزیع میانگین را همانطور که در ستون D شکل 2 نشان داده شده است محاسبه می کنیم. سپس KL(bin||mean) و KL(dist||mean) را همانطور که در سلول های F8 و H8 نشان داده شده است محاسبه می کنیم. در نهایت، JS(bin، dist) میانگین این دو مقدار، یعنی 0. 039847 است، همانطور که در سلول J8 نشان داده شده است.

شکل 2 - واگرایی جنسن-شانون

توابع کاربرگ

توابع آمار واقعی: بسته منابع آمار واقعی توابع کاربرگ زیر را ارائه می دهد که در آن R1 و R2 آرایه های ستونی با تعداد ردیف یکسان هستند.

KL_DIVERGE (R1, R2) = واگرایی Kullback-Leibler برای R1 ||R2

JS_DIVERGE (R1, R2) = واگرایی جنسون-شانون برای R1 و R2

به عنوان مثال. اندازه گیری واگرایی KL برای مثال 1 را می توان از طریق فرمول =KL_DIVERGE(B4:B7, C4:C7) محاسبه کرد. به طور مشابه، ما می توانیم اندازه گیری واگرایی JD را برای مثال 2 از طریق فرمول =JS_DIVERGE(B4:B7, C4:C7) محاسبه کنیم.

واگرایی امتیازدهی اعتباری

همچنین معیار دیگری از واگرایی وجود دارد که برای امتیازدهی اعتباری استفاده می شود. برای اطلاعات بیشتر در مورد این نوع واگرایی اینجا را کلیک کنید.

نمونه های کتاب کار

برای دانلود کتاب کار اکسل با مثال های توضیح داده شده در این صفحه اینجا کلیک کنید.