نمودارهای تجزیه و تحلیل پیش بینی

بیاموزید که چگونه نمودارهای موجود در برگه تجزیه و تحلیل یک پیش بینی را درک کنید. نظارت بر پیش بینی ها منبع اطلاعات ارزشمندی در مورد عملکرد مدل های شما است.

از این بینش ها برای شناسایی و حل مسائل مربوط به عملکرد ، خروجی مدل و ورودی مدل (پیش بینی کننده ها) استفاده کنید. دریابید که چگونه می توانید پیش بینی خود را برای به دست آوردن نتایج دقیق تر بهبود بخشید.

توجه: این مقاله مربوط به پیش بینی هایی است که در جذب مشتری و مدیریت پرونده استفاده می شود. برای کسب اطلاعات در مورد نمودارهای مورد استفاده برای تجزیه و تحلیل پیش بینی متن ، به نمودارهای تجزیه و تحلیل پیش بینی متن مراجعه کنید.

قطب تصمیم مشتری PEGA

میزان موفقیت (٪)

میزان موفقیت نسبت تعداد دفعاتی است که یک گزاره نتیجه موفقیت آمیز (کلیک ، پذیرفته شده ، تبدیل و غیره) را به تعداد دفعاتی که تحت تأثیر یا ارائه شده بود ، داشته است. نرخ موفقیت با تقسیم تعداد پاسخ های مثبت توسط کل پاسخ های دریافت شده محاسبه می شود.

این متریک خوب است که به تدریج به سمت بالا گرایش پیدا کند یا پایدار باشد. این متریک هنگامی که روند نزولی در نرخ موفقیت وجود داشته باشد ، نیاز به توجه دارد. نرخ موفقیت ممکن است در شرایط زیر کاهش یابد:

• بسیاری از پیشنهادات رد می شوند که نشان دهنده مشکلی در مدل های اساسی است
• زمان پاسخگویی فعال است ، اما پاسخ های صریح در دوره زمانی وارد نمی شوند ، که منجر به پاسخ های منفی ضمنی می شود.

بلند کردن

آسانسور اندازه گیری است که اولویت بندی مدل محور بهتر در مقایسه با اولویت بندی تصادفی است. پیش بینی ها از یک گروه کنترل استفاده می کنند و ویژگی های تصادفی را برای افراد در آن گروه فراهم می کنند.

این متریک خوب است که به تدریج به سمت بالا گرایش پیدا کند یا پایدار باشد. این متریک هنگامی که روند نزولی به مرور زمان وجود داشته باشد ، نیاز به توجه دارد. بالابر ممکن است در شرایط زیر روند پایین بیاید:

• پیشنهادات زیادی رد می شود ، که باعث کاهش میزان موفقیت برای گروه آزمون شده است ، که همچنین نشان دهنده مشکلی در مدل های اساسی است.
• گروه کنترل به اندازه کافی نماینده جمعیت واقعی افراد یا مشتریان نیست.

عملکرد (AUC)

AUC (منطقه زیر منحنی) اندازه گیری دقت یک مدل در پیش بینی نتیجه است ، که از 50 تا 100 متغیر است. AUC بالا به این معنی است که مدل در پیش بینی نتیجه خوب است ، در حالی که AUC پایین به این معنی است که مدل نیستدر پیش بینی نتیجه خوب است.

این متریک خوب است که روند با گذشت زمان پایدار باشد یا به تدریج روند آن را افزایش دهد. این متریک هنگام روند نزولی نیاز به توجه دارد ، زیرا این ممکن است مشکلات مربوط به مدل ها را نشان دهد. AUC در شرایط زیر می تواند کم باشد:

• مدل مبتنی بر نتیجه پاسخ های کافی با نتایج مثبت دریافت نکرده است.
• این مدل مجموعه مناسبی از پیش بینی کننده ها را ندارد.
• اقدامات موجود برای مدل بسیار محدود کننده است.

در یک سناریوی به روزرسانی مدل ، که در آن یک مدل سایه در کنار یک مدل فعال اجرا می شود ، نمودار عملکرد منحنی های عملکرد را برای هر مدل در جفت سایه فعال نشان می دهد. این مقایسه می تواند به شما کمک کند تعیین کنید که کدام مدل مؤثرتر است و تصمیم می گیرید که آیا می خواهید مدل سایه را به موقعیت مدل فعال ارتقا دهید. این تجزیه و تحلیل برای هر دو مدل مبتنی بر نتیجه و پشتیبانی در دسترس است.

شکل زیر نمودار عملکرد مدل فعال را نشان می دهد ، پیش بینی DRF Chu. این مدل با یک مدل سایه ای ، chu gbm جفت می شود. نمودار دو خط مجزا را نشان می دهد که عملکرد هر مدل را در طول زمان نشان می دهد. برای دیدن نمرات دقیق برای هر مدل در زمان های مختلف ، روی خطوط با نشانگر ماوس حرکت کنید. در این مثال ، دو خط در حدود 27 ژانویه همگرا می شوند ، نشان می دهد که مدل ها به همان اندازه خوب عمل می کنند. اطلاعات مفصلی که در ابزار ابزار نمایش داده می شود نشان می دهد که مدل فعال نمره کمی بالاتر دارد.

کل پاسخ

کل پاسخ ها اندازه گیری تعداد پاسخ هایی است که مدل ها دریافت می کنند ، که بر روی آنها خروجی خود را پایه گذاری می کنند.

این متریک هنگام دریافت مدل برای هر روز که مدل اجرا می شود ، خوب است. این متریک نیاز به توجه دارد که پاسخ های دریافت شده 0 برای یک هفته یا بیشتر باشد که در آن مدل تصمیمات فعال می گیرد. مدل ها می توانند در شرایط زیر 0 پاسخ دریافت کنند:

• اقدامات یا پیشنهادات محدود معرفی شده است که هیچ گونه پاسخ دریافت نمی کنند.
• استراتژی پاسخ به طور نادرست پیکربندی شده است و معمار تصمیم باید آن را مرور کند.

توزیع دهکده گرایش

تمایل اندازه گیری احتمال یک نتیجه خاص است و در یک عدد از 0 تا 1 بیان می شود. به عنوان مثال ، چقدر احتمال دارد که مشتری پیشنهادی را بپذیرد.

این متریک خوب است وقتی منحنی را نشان می دهد که در انتهای پایین دامنه گرایش قرار می گیرد ، با دم بلند به سمت ویژگی های بالاتر. توزیع گرایش خوب منحنی را نشان می دهد که از دامنه میانی (0. 5) قله می کند و به تدریج به سمت دامنه گرایش بالاتر افزایش می یابد ، به این معنی که این مدل در طول زمان پاسخ های مثبتی دریافت کرده است. اگر نمودار گرایش با گذشت زمان تغییر نکند ، این متریک نیاز به توجه دارد ، اگر نمودار تمایل یک نوار پایدار را در محدوده میانی نشان دهد یا توزیع در اطراف محدوده گرایش اولیه باشد. این می تواند در شرایط زیر اتفاق بیفتد:

• پیکربندی پیش بینی اشتباه است.
• این مدل از پاسخ ها یاد نمی گیرد.
• اقدامات موجود در مدل بسیار محدود کننده است ..
• این مدل اخیراً مستقر شده و هنوز پاسخ دریافت نکرده است. با افزودن سر و صدای بیشتر ، تمایل با حدود 0. 5 صاف می شود.
• پاسخ های مثبت در طول زمان کاهش می یابد که می تواند به این دلیل باشد:
  • اقدامات یا پیشنهادات محدود معرفی می شود.
  • پیکربندی پیش بینی اشتباه است.

ارزش از دست رفته

مقادیر از دست رفته یک پیش بینی کننده ، نسبت تعداد دفعاتی است که پیش بینی کننده مقادیر زیادی را در تعداد دفعاتی که پیش بینی کننده به عنوان بخشی از اجرای یک مدل استفاده می شود ، از دست داده است ، به عنوان درصد بیان شده است.

این متریک خوب است وقتی نوار مقادیر گمشده صفر یا نزدیک به صفر است. این متریک هنگامی که درصد مقادیر گمشده یک پیش بینی کننده با گذشت زمان در حال افزایش است ، نیاز به توجه دارد. مقادیر پیش بینی کننده می تواند در موقعیت های زیر وجود داشته باشد:

• نقشه برداری پیش بینی کننده ها نادرست است.
• خاصیت PEGA Platform که به پیش بینی کننده نقشه برداری شده است ، ارزش آن را از یک منبع زیرین دریافت نمی کند.

کل مقادیر منحصر به فرد

مقادیر منحصر به فرد کل تعداد تعداد مقادیر منحصر به فرد است که برای یک پیش بینی کننده نمادین در دوره ای که مدل اجرا می شود ، مشاهده می شود.

این متریک خوب است که تعداد مقادیر منحصر به فرد با داده های پیش بینی کننده به مدل سازگار باشد. این متریک هنگامی که تعداد مقادیر منحصر به فرد به صفر کاهش می یابد یا با گذشت زمان کاهش می یابد ، نیاز به توجه دارد ، یا نوسان مکرر در میله ها وجود دارد. این می تواند در شرایط زیر اتفاق بیفتد:

• پیش بینی کننده نمادین به درستی از منبع داده مربوطه تهیه نمی شود.
• پیکربندی پیش بینی کننده ها در استراتژی نادرست است. هنگامی که از پیش بینی کننده های پارامتری استفاده می شود ، اطمینان حاصل کنید که مدل ورودی ها را به درستی با داده های عرضه از طریق مؤلفه مدل دریافت می کند.
• تغییر در جریان نمادها برای پیش بینی کننده از منبع داده وجود دارد.

توزیع ارزش تجمعی

این نمودار توزیع نسبی بیشترین مقادیر نمادین (به عنوان درصد) را نشان می دهد. فقط پنج مقدار اغلب اتفاق می افتد در نمودار نشان داده شده است. بقیه مقادیر در گروه دیگر گروه بندی می شوند

این متریک نیاز به توجه دارد که نسبت مقادیر در طول دوره انتخاب شده با توزیع مورد انتظار مطابقت نداشته باشد. اگر نسبت ها برای یک یا چند پیش بینی کننده متفاوت باشد ، ممکن است نشان دهد که:

• پیش بینی کننده ممکن است نادرست از مدل داده های پلت فرم PEGA زیربنایی تهیه شود.
• نقشه برداری بین مدل داده پلت فرم PEGA و مدل پیش بینی کننده یا تطبیقی ممکن است نادرست باشد.

مقادیر برتر (٪)

این نمودار خط روند متداول ترین مقادیر یک پیش بینی کننده نمادین را در بازه زمانی انتخاب شده نشان می دهد. این نمودار را در ترکیب با نمودار توزیع ارزش تجمعی مشاهده کنید. فقط پنج نماد اغلب از نمودار توزیع تجمعی در نمودار مقادیر برتر نشان داده شده است. بقیه نمادها به گروه دیگر گروه بندی می شوند.

این متریک خوب است وقتی نمودار مقادیری را نشان می دهد که با مقادیر برتر مورد انتظار برای این پیش بینی کننده نمادین سازگار است. توزیع مقادیر برتر در این نمودار در دوره انتخاب شده پایدار است. این متریک در صورت تغییر شدید خط روند ، یا نقاطی که از بین می رود ، نیاز به توجه دارد ، می تواند نشان دهنده تغییر اساسی در داده ها باشد. این تغییرات شدید ممکن است در شرایط زیر رخ دهد:

• مقادیر پیش بینی کننده واقعی تغییر کرده است.
• نمادهایی که در بازه زمانی انتخاب شده ظاهر می شوند یا ناپدید می شوند می توانند حاکی از افزودن یا حذف سطح نماد باشند که می تواند بر عملکرد مدل تأثیر بگذارد.
• ویژگی کلاس مقادیر صحیح را از استراتژی یا مدل پیش بینی دریافت نمی کند.

صدک های گرایش

نمودار مقادیر صدک ، صدک 90 ، 10 و میانه را برای تولید پیش بینی نشان می دهد. خطوط P10 و P90 خروجی را برای کمترین 10 ٪ و برای بالاترین 90 ٪ نشان می دهد. مقادیر صدک دامنه مقادیر این خروجی عددی را نشان می دهد.

این متریک خوب است وقتی خطوط موجود در نمودار نوسانات زیادی را با گذشت زمان نشان نمی دهند. این متریک هنگامی که حرکات زیادی از مقادیر صدک وجود داشته باشد (به سمت بالا برای صدک 90 و پایین برای صدک 10) نیاز به توجه دارد. علل ریشه احتمالی عبارتند از:

• برای مدل ها رانش داده ای وجود داشته است.
• این مدل مقادیر مفقود شده زیادی دریافت کرده است ، که منجر به رانش صدک شده است.

حداقل/حداکثر گرایش

حداقل گرایش ، حداکثر نمودار حداکثر و حداقل صدک را برای خروجی پیش بینی نشان می دهد. این نمودارها همراه با نمودارهای مقادیر 10 ، 90 و مقادیر متوسط ، ممکن است نوسانات در مقادیر خروجی های مدل را نشان دهد.

این متریک خوب است وقتی خطوط موجود در نمودار نوسانات زیادی را با گذشت زمان نشان نمی دهند. این متریک هنگامی که خطوط حرکات بزرگی از مقادیر صدک را نشان می دهند ، نیاز به توجه دارد. علل ریشه احتمالی عبارتند از:

• برای مدل ها رانش داده ای وجود داشته است.
• این مدل مقادیر مفقود شده زیادی دریافت کرده است ، که منجر به رانش صدک شده است.

برچسب خروجی (٪)

نمودار برچسب خروجی درصد توزیع خروجی های مدل را برای چارچوب زمانی انتخاب شده نشان می دهد.

این متریک خوب است وقتی نمودار توزیع یکنواخت از خروجی های مدل را برای محدوده زمانی نشان می دهد. این متریک هنگامی که بخش ها به طور ناهموار برای محدوده زمانی توزیع می شوند ، نیاز به توجه دارد. این می تواند در شرایط زیر رخ دهد:

• نقشه برداری پیش بینی کننده در مدل یا استراتژی نادرست است.
• مقدار پیش بینی کننده از منابع داده مربوطه در دسترس نیست یا به درستی در ویژگی PEGA Platform ترسیم نشده است.

توزیع برچسب خروجی تجمعی (٪)

نمودار توزیع برچسب خروجی تجمعی ، درصد توزیع تجمعی خروجی های مدل را برای بازه زمانی انتخاب شده نشان می دهد.

این متریک خوب است وقتی نمودار توزیع یکنواخت از خروجی های مدل را برای بازه زمانی نشان می دهد. این متریک هنگامی که نمودارهای پای به شدت ناهموار هستند ، نیاز به توجه دارد. این می تواند در شرایط زیر رخ دهد:

• نقشه برداری پیش بینی کننده در مدل یا استراتژی نادرست است.
• مقدار پیش بینی کننده از منابع داده مربوطه در دسترس نیست یا به درستی در ویژگی PEGA Platform ترسیم نشده است.

• نظارت بر پیش بینی ها

• پیش بینی های نظارت بر موضوع قبلی
• موضوع بعدی به روزرسانی مدلهای فعال در پیش بینی با MLOP