برآورد پارامترهای رگرسیون خطی ساده

به منظور برآورد پارامترهای رگرسیون خطی ساده، کافی است تابع مجموع مربعات خطا را کمینه کرد. برای این کار مراحل زیر باید طی شوند:

• محاسبه مجموع توان دوم خطا

$$\sum (y_i-({\hat{\beta }}_0+{\hat{\beta }}_1{x}_i){)}^2$$

• مشتق مجموع مربعات خطا برحسب پارامتر $${\hat{\beta }}_0$$

$$\sum (-y_i+{\hat{\beta }}_0+{\hat{\beta }}_1{x}_i)$$

• برابر قرار دادن مشتق با صفر به منظور پیدا کردن نقاط کمینه

$$\sum (-y_i+{\hat{\beta }}_0+{\hat{\beta }}_1{x}_i)=0$$

• پیدا کردن ریشه برای معادله حاصل برحسب $${\hat{\beta }}_0$$

$${\hat{\beta }}_0=\overline{y}-{\hat{\beta }}_1\overline{x}$$

• مشتق مجموع مربعات خطا بر حسب پارامتر  $${\hat{\beta }}_1$$

$$\sum (-2x_i{y}_i+2{\hat{\beta }}_0{x}_i+2{\hat{\beta }}_1{x}_i^2)$$

• جایگذاری $${\hat{\beta }}_0$$ و پیدا کردن ریشه برای معادله حاصل برحسب $${\hat{\beta }}_1$$

$$-\sum (x_i{y}_i+(\overline{y}-{\hat{\beta }}_1\overline{x})\sum x_i+{\hat{\beta }}_1\sum x_i^2)=0$$

$$\widehat{{\beta }_1}=\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x}{)}^2}$$

به این ترتیب برآورد پارامترهای مدل خطی به صورت زیر خواهند بود.

$$\widehat{{\beta }_1}=\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x}{)}^2}$$

$$\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}$$

که در آن $$\overline{x}$$  و $$\overline{y}$$ میانگین $$x$$ و $$y$$ هستند.

برای راحتی محاسبات، می‌توان برآورد $${\beta }_1$$ را به فرم دیگری نیز نوشت:

$$\widehat{{\beta }_1}=\frac{n(\overline{xy}-\overline{x}\overline{y}))}{(n-1){\sigma }_x^2}$$

که منظور از $$\overline{xy}$$ میانگین حاصلضرب x و y بوده و $${\sigma }_x^2$$ نیز بیانگر واریانس مقدارهای x است.

اگر $$\hat{y}$$ مقدار برآورد برای متغیر وابسته باشد، می‌توانیم آن را میانگین مشاهدات برای متغیر وابسته به ازای مقدار ثابت متغیر مستقل در نظر گرفت. پس با فرض اینکه میانگین جمله خطا نیز صفر است، خواهیم داشت:

$$\hat{y}=E(Y|X=x)=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$$

که در آن $$E(Y|X=x)$$ نشان‌دهنده امید ریاضی (متوسط) شرطی است و همچنین  $$\widehat{{\beta }_0}$$ و $${\hat{\beta }}_1$$ برآوردهای مربوط به هر یک از پارامترها هستند.

نکته: به راحتی دیده می‌شود که میانگین مربوط به متغیر مستقل و وابسته روی خط رگرسیون قرار دارند. یعنی این نقطه در معادله خط رگرسیون صدق می‌کند. زیرا با توجه به محاسبه $${\beta }_0$$ داریم:

$$\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}\to \overline{Y}={\hat{\beta }}_0+{\hat{\beta }}_1\overline{X}$$

مثال

اطلاعات مربوط به ۵۰ خانه شامل قیمت (به میلیون ریال) و متراژ (متر مربع) در شهر تهران جمع‌آوری شده است. این اطلاعات را می‌توانید با قالب اکسل از اینجا دریافت کنید.

با توجه به ضریب همبستگی بین این دو متغیر که برابر با 0.9891 است،‌ مشخص است که رابطه خطی شدیدی بینشان برقرار است. اگر فرض کنیم قیمت خانه متغیری وابسته به متراژ است، محاسبات اولیه برای برآورد پارامترهای مدل رگرسیونی در جدول زیر قرار گرفته.

$$\overline{X}$$	$$\overline{Y}$$	$$\overline{XY}$$	$${\sigma }_X^2$$
84.9	451.136	40350.6	411.724

بر این اساس برآورد پارامترهای مدل خطی به صورت $${\hat{\beta }}_0=19.965$$ و $${\hat{\beta }}_1=5.078$$  خواهد بود. در نتیجه می‌توان معادله مربوط برآورد مقدار متغیر وابسته را به صورت زیر نوشت:

$$\widehat{y_i}=19.965+5.078x_i$$

پس اگر لازم باشد که ارزش خانه‌ای با متراژ 61 متر محاسبه شود، کافی است در معادله بالا برای $$x_i$$‌ مقدار 61 را جایگزین کرده،‌ مقدار $${\hat{y}}_i$$ را بدست آوریم که برابر با 329.758 میلیون ریال است. در تصویر زیر نمودار مربوط به داده‌ها و خط رگرسیون دیده می‌شود.

$$\widehat{y_i}=19.965+5.078\left(61\right)=329.758$$

 

 

تعریف رگرسیون خطی (Linear Regression) قسمت 1
تعریف رگرسیون خطی (Linear Regression) قسمت 2
تعریف رگرسیون خطی (Linear Regression) قسمت 3
تعریف رگرسیون خطی (Linear Regression) قسمت 4
تعریف رگرسیون خطی (Linear Regression) قسمت 5
تعریف رگرسیون خطی (Linear Regression) قسمت 6
تعریف رگرسیون خطی (Linear Regression) قسمت 7