برای درک توزیع داده ها با دانستن احتمال واقعی در یک محدوده

قبل از رفتن بیشتر ، بیایید با آن روبرو شویم.

اگر مدتی در زمینه علوم داده بوده اید ، احتمالاً شما می توانید توطئه های چگالی احتمال (مشابه زیر) را برای درک توزیع کلی داده های خود ساخته باشید.

خوب ... اول از همه ، یک طرح چگالی چیست؟توضیحی عالی و واضح توسط ویل کوهسن این است:

یک طرح چگالی یک نسخه صاف و مداوم از هیستوگرام است که از داده ها تخمین زده می شود.

متداول ترین شکل تخمین به عنوان تخمین چگالی هسته (KDE) شناخته می شود.

در این روش ، یک منحنی مداوم (هسته) در هر نقطه داده جداگانه ترسیم می شود و سپس تمام این منحنی ها به هم اضافه می شوند تا یک تخمین تراکم صاف واحد انجام شود.

هسته که اغلب مورد استفاده قرار می گیرد یک گاوسی است (که در هر نقطه داده منحنی زنگ گاوسی را تولید می کند)

یک طرح چگالی احتمال به سادگی به معنای یک طرح چگالی از عملکرد چگالی احتمال (محور y) در مقابل نقاط داده یک متغیر (محور x) است.

به طور معمول ، از توطئه های چگالی احتمال برای درک توزیع داده ها برای یک متغیر مداوم استفاده می شود و ما می خواهیم احتمال (یا احتمال) بدست آوردن طیف وسیعی از مقادیر را که متغیر مداوم می تواند فرض کند ، بدانیم.

ولی موضوع اینه.

با نشان دادن توطئه های چگالی احتمال ، ما فقط می توانیم توزیع داده ها را به صورت بصری درک کنیم بدون اینکه احتمال دقیقی را برای طیف خاصی از مقادیر بدانیم.

به عبارت دیگر ، تعیین کمیت احتمال زیر منحنی با نگاه کردن به طرح دشوار است.

با این حال ، گرفتن احتمال دقیق در زیر منحنی بسیار مهم است (من به شما می گویم که چرا در بخش بعدی) ، به ویژه هنگامی که شما به ذینفعان مشاغل ارائه می دهید.

در این مقاله ، من کد کاملی را که برای محاسبه احتمال استفاده می کردم به شما نشان خواهم داد و قدم به قدم در مورد چگونگی انجام این کار برای شما توضیح می دهم.

با پایان این مقاله ، امیدوارم که با محاسبه احتمال واقعی در طیف وسیعی از مقادیر ، توزیع داده ها را بهتر درک کنید و متعاقباً بتوانید ذینفعان را با بینش خود متقاعد کنید.

بیا شروع کنیم!

چرا توطئه های چگالی احتمال به اندازه کافی قانع کننده نیستند؟

با نگاهی به طرح چگالی در بالا بصری ، ممکن است به این نتیجه برسید که پروازهای هواپیمایی آلاسکا بیشتر از پیش از شرکت هواپیمایی یونایتد است.

تصور کنید اکنون رئیس شما این سؤال را می پرسد و اظهارات شما را به چالش می کشد ، "چقدر پروازهای هواپیمایی آلاسکا با هواپیمایی یونایتد مقایسه شده است و شانس این اتفاق چقدر زیاد است؟آیا شواهد عددی دارید تا نشان دهید که نتیجه گیری شما صحیح است؟ "

شما متحیر هستیداز آنجا که نتیجه گیری از مشاهده شما از توزیع کلی داده ها ناشی می شود.

حتی بدتر ، اکنون شما هیچ مدرک عددی ندارید - احتمال دقیق - برای حمایت از ادعای خود.

شما به خوبی آماده نیستید و اگر قادر به اثبات نکات خود نیستید ، اعتبار شما به عنوان یک دانشمند داده فوراً از هم جدا می شود.

این جایی است که اهمیت محاسبه احتمال از توطئه های چگالی احتمال وارد می شود.

متأسفانه ، محاسبه احتمال در صورت استفاده از Seabo برای ساخت توطئه های چگالی با استفاده از Distplot بسیار دشوار است.

پس از گذراندن مدت زمان سختی برای فهمیدن چگونگی محاسبه احتمال ، تصمیم گرفتم از هسته ای از Sklea استفاده کنم.

این روش مانند جذابیت کار می کند و من بسیار هیجان زده ام که این را با شما به اشتراک بگذارم! آموزش کار در فارکس...