تعریف رگرسیون خطی (Linear Regression) قسمت ۵

برآورد پارامترهای رگرسیون خطی ساده

به منظور برآورد پارامترهای رگرسیون خطی ساده، کافی است تابع مجموع مربعات خطا را کمینه کرد. برای این کار مراحل زیر باید طی شوند:

  • محاسبه مجموع توان دوم خطا

∑(yi−(β^۰+β^۱xi))2

  • مشتق مجموع مربعات خطا برحسب پارامتر β^۰

∑(−yi+β^۰+β^۱xi)

  • برابر قرار دادن مشتق با صفر به منظور پیدا کردن نقاط کمینه

∑(−yi+β^۰+β^۱xi)=0

  • پیدا کردن ریشه برای معادله حاصل برحسب β^۰

β^۰=y¯−β^۱x¯

  • مشتق مجموع مربعات خطا بر حسب پارامتر  β^۱

∑(−۲xiyi+2β^۰xi+2β^۱xi2)

  • جایگذاری β^۰ و پیدا کردن ریشه برای معادله حاصل برحسب β^۱

−∑(xiyi+(y¯−β^۱x¯)∑xi+β^۱∑xi2)=0

β۱^=∑(xi−x¯)(yi−y¯)∑(xi−x¯)۲

به این ترتیب برآورد پارامترهای مدل خطی به صورت زیر خواهند بود.

β۱^=∑(xi−x¯)(yi−y¯)∑(xi−x¯)۲

β۰^=y¯−β۱^x¯

که در آن   و  میانگین x و y هستند.

برای راحتی محاسبات، می‌توان برآورد β۱ را به فرم دیگری نیز نوشت:

β۱^=n(xy¯−x¯y¯))(n−۱)σx2

که منظور از xy¯ میانگین حاصلضرب x و y بوده و σx2 نیز بیانگر واریانس مقدارهای x است.

اگر y^ مقدار برآورد برای متغیر وابسته باشد، می‌توانیم آن را میانگین مشاهدات برای متغیر وابسته به ازای مقدار ثابت متغیر مستقل در نظر گرفت. پس با فرض اینکه میانگین جمله خطا نیز صفر است، خواهیم داشت:

y^=E(Y|X=x)=β۰^+β۱^x

که در آن E(Y|X=x) نشان‌دهنده امید ریاضی (متوسط) شرطی است و همچنین  β۰^ و β^۱ برآوردهای مربوط به هر یک از پارامترها هستند.

نکته: به راحتی دیده می‌شود که میانگین مربوط به متغیر مستقل و وابسته روی خط رگرسیون قرار دارند. یعنی این نقطه در معادله خط رگرسیون صدق می‌کند. زیرا با توجه به محاسبه β۰ داریم:

β۰^=y¯−β۱^x¯→Y¯=β^۰+β^۱X¯

مثال

اطلاعات مربوط به ۵۰ خانه شامل قیمت (به میلیون ریال) و متراژ (متر مربع) در شهر تهران جمع‌آوری شده است. این اطلاعات را می‌توانید با قالب اکسل از اینجا دریافت کنید.

با توجه به ضریب همبستگی بین این دو متغیر که برابر با ۰٫۹۸۹۱ است،‌ مشخص است که رابطه خطی شدیدی بینشان برقرار است. اگر فرض کنیم قیمت خانه متغیری وابسته به متراژ است، محاسبات اولیه برای برآورد پارامترهای مدل رگرسیونی در جدول زیر قرار گرفته.

XY¯ σX2
۸۴٫۹ ۴۵۱٫۱۳۶ ۴۰۳۵۰٫۶ ۴۱۱٫۷۲۴

بر این اساس برآورد پارامترهای مدل خطی به صورت β^۰=۱۹٫۹۶۵ و β^۱=۵٫۰۷۸  خواهد بود. در نتیجه می‌توان معادله مربوط برآورد مقدار متغیر وابسته را به صورت زیر نوشت:

yi^=19.965+5.078xi

پس اگر لازم باشد که ارزش خانه‌ای با متراژ ۶۱ متر محاسبه شود، کافی است در معادله بالا برای xi‌ مقدار ۶۱ را جایگزین کرده،‌ مقدار y^i را بدست آوریم که برابر با ۳۲۹٫۷۵۸ میلیون ریال است. در تصویر زیر نمودار مربوط به داده‌ها و خط رگرسیون دیده می‌شود.

yi^=19.965+5.078(61)=329.758

 

 

تعریف رگرسیون خطی (Linear Regression) قسمت ۱
تعریف رگرسیون خطی (Linear Regression) قسمت ۲
تعریف رگرسیون خطی (Linear Regression) قسمت ۳
تعریف رگرسیون خطی (Linear Regression) قسمت ۴
تعریف رگرسیون خطی (Linear Regression) قسمت ۵
تعریف رگرسیون خطی (Linear Regression) قسمت ۶
تعریف رگرسیون خطی (Linear Regression) قسمت ۷

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *