چگونه در داده ها معنی پیدا می کنید؟در پروژه مینی ما ، دوست من erikasm و من به دنبال پیش بینی حداقل دستمزد سنگاپور در صورتی بودیم و این روند را در مقاله ای در اینجا ثبت کردیم. اگر آن را نخوانده اید ، نگاهی بیندازید.

از آن زمان ، ما در مورد روند و پیشنهادات خود اظهارنظرهایی برای توسعه بینش عمیق تر از اطلاعات خود داشته ایم. به این ترتیب ، این مقاله پیگیری دو هدف اصلی ، یافتن معنا در داده ها و یادگیری نحوه انجام رگرسیون گام به گام را تشریح می کند.

زمینه

در مقاله قبلی ، ما بحث کردیم که چگونه صحبت در مورد حداقل دستمزد در سنگاپور اغلب موضوعی داغ برای مباحث بوده است. این امر به این دلیل است که سنگاپور از یک مدل دستمزد مترقی استفاده می کند و از این رو حداقل دستمزد ندارد.

موضع رسمی دولت سنگاپور این است که یک ساختار رقابتی دستمزد ، نیروی کار را برای کار سخت وادار می کند ، مطابق با ارزش شایسته سالاری تعبیه شده در فرهنگ سنگاپور. صرف نظر از استدلال های مربوط به یا در برابر حداقل دستمزد در سنگاپور ، تلاش ضعیف برای تأمین نیازها و مراقبت از خود و خانواده های آنها.

ما یک موضع خنثی را تصدیق کردیم که اعتبار هر دو طرف استدلال را تأیید کرد و در عوض مقایسه پیش بینی حداقل دستمزد سنگاپور را با استفاده از معیارهای خاص در کشورهای مختلف ارائه داد. حداقل دستمزد پیش بینی شده نیز با کف دستمزد در مدل دستمزد مترقی (PWM) در مشاغل خاص در تضاد بود تا بحث در مورد اینکه آیا فقیرترین درآمد کافی دارند یا خیر.

روش شناسی

ما از داده های ویکی پدیا و داده های جهانی برای جمع آوری داده ها در مورد حداقل دستمزد ، هزینه زندگی و کیفیت زندگی استفاده کردیم. مجموعه داده های کیفیت زندگی شامل نمرات در چند دسته است: ثبات ، حقوق ، بهداشت ، ایمنی ، آب و هوا ، هزینه ها و محبوبیت.

نمرات در بین شاخص ها و دسته ها در یک مدل رگرسیون خطی تغذیه می شدند ، که سپس برای پیش بینی حداقل دستمزد با استفاده از آمار سنگاپور به عنوان متغیرهای مستقل استفاده می شد. این مدل خطی با استفاده از Sklea روی پایتون کدگذاری شد و جزئیات بیشتر در مورد برنامه نویسی را می توان در مقاله قبلی ما مشاهده کرد. با این حال ، من همچنین به طور خلاصه روند مدل سازی و پیش بینی را در این مقاله نیز بیان خواهم کرد.

حداقل دستمزد سالانه پیش بینی شده برای سنگاپور 20،927. 50 دلار آمریکا بود. مقایسه مختصری را می توان در این نمودار زیر مشاهده کرد.

استاد ما ما را ترغیب به استفاده از رگرسیون گام به گام برای درک بهتر متغیرهای خود کرد. از این تکرار ، ما رگرسیون گام به گام را برای کمک به ما در کاهش ابعاد نه تنها برای تولید یک مدل ساده تر و مؤثرتر ، بلکه به دست آوردن بینش در داده های خود درج کردیم.

رگرسیون گام به گام

بنابراین رگرسیون مرحله به مرحله دقیقاً چیست؟در هر پدیده ، عوامل خاصی وجود خواهد داشت که نقش بیشتری در تعیین نتیجه دارند. به عبارت ساده ، رگرسیون گام به گام فرایندی است که به تعیین اینکه کدام عوامل مهم هستند و کدام ها نیستند ، کمک می کند. متغیرهای خاص دارای مقدار P نسبتاً بالایی هستند و به طور معناداری در صحت پیش بینی ما نقش ندارند. از آنجا ، فقط عوامل مهمی برای اطمینان از اینكه مدل خطی پیش بینی خود را بر اساس عواملی انجام می دهد كه می تواند به تولید دقیق ترین نتیجه كمك كند ، انجام می شود.

در این مقاله ، استفاده از رگرسیون گام به گام را که از یک رویکرد حذف عقب استفاده می کند ، تشریح می کنم. این جایی است که در ابتدا تمام متغیرها گنجانده شده اند و در هر مرحله ، بیشترین ناچیز متغیر از بین می رود. به عبارت دیگر ، "بی فایده ترین" متغیر لگد می شود. این تکرار می شود تا زمانی که تمام متغیرهای باقی مانده از نظر آماری معنی دار باشند.

بیت های برنامه نویسی

قبل از اقدام به تجزیه و تحلیل مدلهای رگرسیون ، ابتدا داده ها را اصلاح کردیم تا به جای دستمزد سالانه ، دستمزد ماهانه را منعکس کنیم. این امر به این دلیل بود که ما تشخیص دادیم که بیشتر مردم تمایل دارند دستمزد خود را در ماه ها و نه در کل سال مشاهده کنند. بیان داده های ما به این ترتیب به مخاطبان ما این امکان را می دهد تا داده های ما را بهتر درک کنند. با این حال ، شایان ذکر است که این تغییر در مقیاس بر روند مدل سازی یا نتایج تأثیر نمی گذارد.

با نگاهی به مدل قبلی خود ، ما آماری را برای آزمایش صحت مدل تولید کردیم. اما قبل از آن ، ما ابتدا باید ستون های X و Y مربوطه را مشخص کنیم و آن اطلاعات را از DataFile بدست آوریم.

در مرحله بعد ، برای جمع آوری آمار مدل ، ما باید از کتابخانه statmodels. api استفاده کنیم. در اینجا ، تابعی ایجاد شده است که ستون های مورد علاقه را از یک لیست می گیرد و سپس یک مدل خطی حداقل مربعات معمولی را به آن متناسب می کند. سپس خلاصه آمار می تواند به راحتی چاپ شود.

Here we are conceed about the column “P >| t | ". این ستون با استناد به برخی توضیحات فنی از موسسه تحقیقات دیجیتال UCLA ، ارزش P 2 دم استفاده شده در آزمایش فرضیه تهی را ارائه می دهد.

"ضرایب دارای مقادیر P کمتر از آلفا از نظر آماری معنی دار هستند. به عنوان مثال ، اگر آلفا را به عنوان 0. 05 انتخاب کردید ، ضرایب دارای ارزش P 0. 05 یا کمتر از نظر آماری معنی دار خواهند بود (به عنوان مثال ، می توانید فرضیه تهی را رد کنید و بگویید که ضریب تفاوت معنی داری با 0 دارد). "

به عبارت دیگر ، ما به طور کلی می خواهیم متغیرهایی را با مقدار p بیشتر از 0. 05 رها کنیم. همانطور که از خلاصه اولیه بالا مشاهده می شود ، کمترین متغیر از نظر آماری "ایمنی" با ارزش P 0. 968 است. از این رو ، ما می خواهیم "ایمنی" را به عنوان متغیر همانطور که در زیر آمده است ، رها کنیم. خلاصه جدید نیز در زیر نشان داده شده است.

این بار ، متغیر جدید از نظر آماری جدید "سلامتی" است. به همین ترتیب ، ما می خواهیم این متغیر را حذف کنیم.

ما این فرآیند را ادامه می دهیم تا تمام مقادیر p زیر 0. 05 باشد.

سرانجام ، می فهمیم که 5 متغیر باقی مانده است ، یعنی هفته کار ، تولید ناخالص داخلی سرانه ، هزینه شاخص زندگی ، حقوق و محبوبیت. از آنجا که هر یک از مقادیر p زیر 0. 05 است ، گفته می شود که همه این متغیرها از نظر آماری معنی دار هستند.

اکنون می توانیم بر اساس این مجموعه جدید از متغیرها یک مدل خطی تولید کنیم. ما همچنین می توانیم از این امر برای پیش بینی حداقل دستمزد سنگاپور استفاده کنیم. همانطور که مشاهده می شود ، حداقل دستمزد ماهانه پیش بینی شده حدود 1774 دلار است.

پیدا کردن معنا در داده ها

این مهمترین بخش فرآیند است. کارلی فیورینا ، مدیرعامل پیشین هیولت پاکارد ، یک بار گفت: "هدف این است که داده ها را به اطلاعات و اطلاعات به بینش تبدیل کنیم."این دقیقاً همان چیزی است که ما هدف آن دستیابی به آن هستیم.

"هدف این است که داده ها را به اطلاعات و اطلاعات به بینش تبدیل کنیم."~کارلی فیورینا ، مدیرعامل سابق Hewlett-Packard

فقط از نگاه کردن به متغیرها ، به راحتی پیش بینی می کردیم که از نظر آماری معنی دار بودند. به عنوان مثال ، سرانه تولید ناخالص داخلی و هزینه شاخص زندگی از نظر منطقی شاخص های خوبی برای حداقل دستمزد در یک کشور خواهد بود. حتی تعداد ساعات کار در هفته کاری به عنوان یک شاخص معنی دارد.

با این حال ، ما متوجه شدیم که "حقوق" هنوز در مدل خطی گنجانده شده است. این باعث شد که ابتدا به رابطه بین حقوق و حداقل دستمزد نگاه کنیم. پس از ترسیم نمودار ، ما این رابطه زیبایی شناختی را پیدا کردیم.

در ابتدا ، ما در نظر نمی گرفتیم که حقوق با حداقل دستمزد ارتباط داشته باشد زیرا نامزدهای واضح تر تولید ناخالص داخلی و هزینه زندگی بیشتر به عنوان مشارکت کننده در حداقل سطح دستمزد برجسته بودند. این باعث شد تا ما دوباره تجدید نظر کنیم که چگونه حداقل دستمزد را درک کردیم و ما را مجبور به حفر عمیق تر کرد.

از داده های جهانی ، "حقوق" شامل حقوق مدنی بود و عمدتاً حول مشارکت مردم در سیاست و فساد می چرخید. ما دریافتیم که شاخص حقوق مدنی شامل مشارکت دموکراتیک توسط جمعیت و اقدامات برای مبارزه با فساد است. این شاخص همچنین شامل درک عمومی از دولت از جمله داده های شفافیت. org است.

علاوه بر این ، سایر عوامل شامل مشارکت دموکراتیک توسط جمعیت و (با تأکید کمتر) برای مبارزه با فساد است. به منظور ارزیابی نه تنها اقدامات در برابر فساد ، بلکه درک آن توسط جمعیت ، شاخص فساد بر اساس شفافیت. org نیز در نظر گرفته شد. "

این ما را وادار به در نظر گرفتن همبستگی بین حقوق مدنی و حداقل دستمزد کرد. با دانستن این اطلاعات ، ما تحقیقات بیشتری انجام دادیم و چندین مقاله پیدا کردیم که ممکن است این همبستگی را توضیح دهد.

گروه بهره مدنی حقوق مدنی آمریکا ، کنفرانس رهبری حقوق مدنی و حقوق بشر ، گزارشی را منتشر کرد که چرا حداقل دستمزد یک مسئله حقوق مدنی و حقوق بشر است و نیاز به سیاست حداقل دستمزد قوی تر برای کاهش نابرابری و اطمینان از اینکه افراد و خانواده هایی که در پایین تلاش می کنندپرداخت شغل عادلانه پرداخت می شود. از این رو معقول است زیرا کشوری که مشارکت دموکراتیک بیشتری دارد نیز احتمالاً نگرانی در مورد حداقل دستمزد ، مجبور کردن بحث و در نتیجه افزایش آن با گذشت زمان است.

متغیر بعدی که به آن نگاه کردیم محبوبیت بود. ما برای اولین بار جستجو کردیم که چگونه این از داده های جهان اندازه گیری شد.

بنابراین ، نرخ مهاجرت عمومی و تعداد گردشگران خارجی به عنوان شاخص های محبوبیت یک کشور مورد ارزیابی قرار گرفت. از رتبه پایین تر نیز برای مقایسه وضعیت پناهندگان در کشور مربوطه استفاده شد. تعداد بیشتری از پناهندگان خارجی منجر به محبوبیت بیشتری می شوند ، در حالی که تعداد زیادی از پناهندگان فرار محبوبیت را کاهش می دهد. "

در نگاه اول ، به نظر می رسد که هیچ ارتباطی وجود ندارد. با این حال ، اگر چین ، فرانسه ، ایالات متحده و اسپانیا را به عنوان Outliers در نظر بگیریم ، به نظر می رسد اکثر نقاط داده بهتر از یک نمودار نمایی متناسب هستند. این دو سوال ایجاد می کند. اولا ، چرا بین محبوبیت و حداقل دستمزد رابطه وجود دارد؟ثانیا ، چرا این چهار کشور از کشور خارج هستند؟

برای اینکه بسیار صادقانه باشد ، این ما را نادیده گرفت. ما به سادگی نتوانستیم به هیچ وجه ببینیم که محبوبیت با حداقل دستمزد در ارتباط باشد. با این وجود ، یک راه حل مهم وجود دارد: این محبوبیت به نوعی از نظر آماری در پیش بینی حداقل دستمزد یک کشور قابل توجه است. در حالی که ما ممکن است مردم برای کشف این رابطه نباشیم ، این بینش به داده های دیگر کم معنی تر ما می دهد.

نتیجه

مهم است که نقل قول از کارلی فیورینا را برگردانید ، "هدف این است که داده ها را به اطلاعات و اطلاعات به بینش تبدیل کنیم."ما به عنوان انسان به ابزار و روش هایی برای تبدیل داده ها به اطلاعات و تجربه/دانش برای تبدیل آن اطلاعات به بینش نیاز داریم.

ما ابتدا از پایتون به عنوان ابزاری استفاده کردیم و رگرسیون گام به گام را برای حس کردن داده های خام اجرا کردیم. این به ما اجازه می دهد نه تنها اطلاعاتی را که پیش بینی کرده بودیم ، بلکه اطلاعات جدیدی را که در ابتدا در نظر نگرفتیم ، کشف کنیم. به راحتی می توان حدس زد که هفته کار ، تولید ناخالص داخلی و هزینه زندگی شاخص های قوی حداقل دستمزد هستند. با این حال ، فقط از طریق رگرسیون متوجه شدیم که حقوق مدنی و محبوبیت نیز از نظر آماری قابل توجه است.

در این حالت ، تحقیقات آنلاین انجام شد که دریافتیم که احتمالاً می تواند این اطلاعات را توضیح دهد. این امر به این بینش جدید منجر شد که حداقل دستمزد در واقع به عنوان یک حق انسانی تلقی می شود ، و افزایش مشارکت دموکراتیک احتمالاً می تواند منجر به مکالمات بیشتر در مورد حداقل دستمزد و از این رو افزایش یابد.

با این حال ، همیشه یافتن معنا در داده هایی که به راحتی امکان پذیر نیست. متأسفانه ، ما ، به عنوان دانشجویان دانشگاه ، ممکن است بهترین افراد برای ارائه توضیحات احتمالی به اطلاعات خود نباشیم. این در تلاشهای ما برای توضیح رابطه بین محبوبیت و حداقل دستمزد مشاهده می شود. با این حال ، این در اختیار ماست که این اطلاعات را بگیریم و آن را به جهان گسترش دهیم ، و آن را به عنوان یک سؤال پایان یافته برای شکوفایی بحث ها رها کنیم.