بایگانی‌های Regularization

بایگانی برچسب برای: Regularization

تعریف رگرسیون خطی (Linear Regression) قسمت 3

تنظیم مدل (Regularization)

پیچیدگی مدلهای پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش (Overfitting) برای مدل بیشتر است پدیده بیش‌برازش زمانی رخ می‌دهد که مدل بجای یادگیری الگوهای داده، داده را را حفظ می‌کند و در عمل یادگیری به خوبی انجام نمی‌شود. برای جلوگیری از بیش‌برازش در مدلهای خطی مانند رگرسیون خطی یارگرسیون لجستیک جریمه‌ای به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. به این کار تنظیم مدل یا Regularization گفته می‌شود. دو راه متداول تنظیم مدلهای خطی روشهای $L_{1}$ و $L_{2}$ هستند. در روش $L_{1}$ ضریبی از نُرمِ $L_{1}$ به تابع هزینه اضافه می‌شود و در روش $L_{2}$ ضریبی از نُرمِ $L_{2}$ که همان نُرمِ اقلیدسی است به تابع هزینه اضافه می‌شود.

در تنظیم مدل به روش $L_{1}$ تابع هزینه را به این شکل تغییر می‌دهیم:

$L_{r}(D,{\vec {\beta }})=L(D,{\vec {\beta }})+\lambda ||{\vec {\beta }}||_{1}=\sum _{i=1}^{n}({\vec {\beta }}\,.\,{\vec {x_{i}}}-y_{i})^{2}+\lambda \sum _{k=0}^{m}|\beta _{k}|$

این روش تنظیم مدل که به روش لاسو (Lasso) نیز شهرت دارد باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصلاح خلوت (Sparse) شود.

در تنظیم مدل به روش $L_{2}$ تابع هزینه را به این شکل تغییر می‌دهیم:

$L_{r}(D,{\vec {\beta }})=L(D,{\vec {\beta }})+\lambda ||{\vec {\beta }}||_{2}^{2}=\sum _{i=1}^{n}({\vec {\beta }}\,.\,{\vec {x_{i}}}-y_{i})^{2}+\lambda \sum _{k=0}^{m}\beta _{k}^{2}$

در روش تنظیم از طریق $L_{2}$ سعی می‌شود طول اقلیدسی بردار ${\vec {\beta }}$ کوتاه نگه داشته شود. $\lambda$ در روش $L_{1}$ و $L_{2}$ یک عدد مثبت است که میزان تنظیم مدل را معین می‌کند. هرچقدر $\lambda$ کوچکتر باشد جریمه کمتری برا بزرگی نرم بردار پارامترها یعنی ${\vec {\beta }}$ پرداخت می‌کنیم. مقدار ایدئال $\lambda$ از طریق آزمایش بر روی داده اعتبار (Validation Data) پیدا می‌شود.

تفسیر احتمالی تنظیم مدل

اگر بجای روش درست نمایی بیشینه از روش بیشینه سازی احتمال پسین استفاده کنیم به ساختار «تنظیم مدل» یا همان regularization خواهیم رسید. اگر مجموعه داده را با $D$ نمایش بدهیم و پارامتری که به دنبال تخمین آن هستیم را با ${\vec {\beta }}$ ، احتمال پسین $Pr\left({\vec {\beta }}\,|\,D\right)$ ، طبق قانون بیز متناسب خواهد بود با حاصلضرب درست نمایی یعنی $Pr\left(D\,|\,{\vec {\beta }}\right)$ و احتمال پیشین یعنی $Pr\left({\vec {\beta }}\right)$ :

$Pr\left({\vec {\beta }}\,|\,D\right)={\frac {Pr\left(D\,|\,{\vec {\beta }}\right)\times Pr\left({\vec {\beta }}\right)}{Pr\left(D\right)}}$

ازین رو

$argmax_{\vec {\beta }}Pr\left({\vec {\beta }}\,|\,D\right)=argmax_{\vec {\beta }}{\frac {Pr\left(D\,|\,{\vec {\beta }}\right)\times Pr\left({\vec {\beta }}\right)}{Pr\left(D\right)}}=argmax_{\vec {\beta }}Pr\left(D\,|\,{\vec {\beta }}\right)\times Pr\left({\vec {\beta }}\right)$

معادله خط پیشین نشان می‌دهد که برای یافتن پارامتر بهینه فقط کافیست که احتمال پیشین را نیز در معادله دخیل کنیم. اگر احتمال پیشین را یک توزیع احتمال با میانگین صفر و کوواریانس $\tau ^{2}I$ در نظر بگیریم به معادله پایین می‌رسیم:

$argmax_{\vec {\beta }}\,\,\log Pr\left(D\,|\,{\vec {\beta }}\right)=argmax_{\vec {\beta }}\,\,\log \prod _{i=1}^{n}Pr(y_{i}|{\vec {x_{i}}}\,\,;{\vec {\beta }},\sigma )Pr\left({\vec {\beta }}\right)=argmax_{\vec {\beta }}\,\,\log \prod _{i=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma }}exp\left(-{\frac {\left(y_{i}-{\vec {\beta }}\,.\,{\vec {x_{i}}}\right)^{2}}{2\sigma ^{2}}}\right){\frac {1}{{\sqrt {2\pi }}\tau }}exp\left(-{\frac {||{\vec {\beta }}||^{2}}{2\tau ^{2}}}\right)$

با ساده کردن این معادله به این جواب می‌رسیم، در اینجا $\lambda$ برابر است با ${\frac {\sigma ^{2}}{\tau ^{2}}}$ : $argmax_{\vec {\beta }}\,\,Pr\left(D\,|\,{\vec {\beta }}\right)=argmax_{\vec {\beta }}\left(n\log {\frac {1}{{\sqrt {2\pi }}\sigma }}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left(y_{i}-{\vec {\beta }}\,.\,{\vec {x_{i}}}\right)^{2}+\log {\frac {1}{{\sqrt {2\pi }}\tau }}-{\frac {1}{2\tau ^{2}}}||{\vec {\beta }}||^{2}\right)=argmin_{\vec {\beta }}\left(\sum _{i=1}^{n}\left(y_{i}-{\vec {\beta }}\,.\,{\vec {x_{i}}}\right)^{2}+\lambda ||{\vec {\beta }}||^{2}\right)$

همان‌طور که دیدیم جواب همان تنظیم مدل با نرم $L_{2}$ است.

حال اگر احتمال پیشین را از نوع توزیع لاپلاس با میانگین صفر درنظر بگیریم به تنظیم مدل با نرم $L_{1}$ خواهیم رسید.

منبع

استفاده از داده‌ها به منظور کشف رابطه بین آن‌ها اساس داده‌کاوی است. یکی از ابزار سنجش رابطه و مدل‌سازی استفاده از ابزار آماری رگرسیون است. امروزه به منظور تحلیل و کشف مدل روی «مه داده» (کلان‌داده | Big Data)، روش‌های مختلف رگرسیون توسعه یافته است. استفاده از تحلیل گرسیونی در علوم مختلف داده‌کاوی، بخصوص مبحث «آموزش ماشین» (Machine Learning)، فیزیک، شیمی و علوم زیستی کاربرد بسیاری دارد.

تعریف رگرسیون خطی (Linear Regression) قسمت 1
تعریف رگرسیون خطی (Linear Regression) قسمت 2
تعریف رگرسیون خطی (Linear Regression) قسمت 3
تعریف رگرسیون خطی (Linear Regression) قسمت 4
تعریف رگرسیون خطی (Linear Regression) قسمت 5
تعریف رگرسیون خطی (Linear Regression) قسمت 6
تعریف رگرسیون خطی (Linear Regression) قسمت 7

آگوست 24, 2019/0 دیدگاه /توسط hgadmin

تعریف رگرسیون خطی (Linear Regression) قسمت 1

آموزش عمومی پردازش تصویر و بینایی ماشین

رگرسیون خطی یا تنازل خطی یا وایازی خطی (Linear regression) یکی از روشهای تحلیل رگرسیون است. در رگرسیون خطی، متغیّر وابسته $y$ ترکیب خطی‌ای از ورودی یا متغیرهای مستقل است. البته ضرورتاً متغیر وابسته لازم نیست که نسبت به متغیرهای مستقل، خطی باشد.

رگرسیون خطی با یک متغیر مستقل

تخمین پارامترها برای مسائل تک متغیره

رگرسیون میزان اثر دو یا چند متغیر بر متغیر وابسته را می‌سنجد و همبستگی رابطه بین دو یا چند متغیر را مورد سنجش قرار می‌دهد.

مثلاً تحلیل رگرسیونی سادهٔ زیر با $N$ نقطه، متغیر مستقل $x_i$ و ضرایب $\beta _{0}$ و $\beta _{1}$ خطی است:

خط راست:

y_{i}=\beta _{0}+\beta _{1}x_{i}+\epsilon _{i},\quad i=1,\dots ,N\!

در هر دو حالت، $\epsilon _{i}$ مقدار خطاست و پانویس $i$ شمارهٔ هر مشاهده (هر جفت $x_i$ و $y_i$ ) را نشان می‌دهد. با داشتن مجموعه‌ای از این نقطه‌ها می‌توان مدل را به دست آورد:

y_{i}={\widehat {\beta }}_{0}+{\widehat {\beta }}_{1}X_{i}+e_{i}

عبارت $e_{i}$ مانده نام دارد: $e_{i}=y_{i}-{\widehat {y}}_{i}$ . روش رایج برای به‌دست‌آوردن پارامترها، روش کمترین مربعات است. در این روش پارامترها را با کمینه‌کردن تابع زیر به دست می‌آورند:

\mathrm {SSE} =\sum _{i=1}^{N}e_{i}^{2}

در مورد رگرسیون ساده، پارامترها با این روش برابر خواهند بود با:

{\widehat {\beta _{1}}}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}

{\hat {\beta _{0}}}={\bar {y}}-{\widehat {\beta _{1}}}{\bar {x}}

که در آن ${\bar {x}}$ و ${\bar {y}}$ میانگین $x$ و $y$ هستند.

تفاوت رگرسیون و همبستگی بر اساس هدف:

هدف مدل‌های همبستگی بررسی میزان رابطه دو یا چند متغیر است در حالیکه رگرسیون به دنبال پیش‌بینی یک یا چند متغیر براساس یک یا چند متغیر دیگر است. از آنجا که رگرسیون برپایه داده‌های گذشته انجام می‌شود به آن عنوان Regression یعنی بازگشت به گذشته داده‌اند؛ بنابراین از نظر هدف همبستگی میزان و شدت رابطه متغیرها را نشان می‌دهد اما رگرسیون معادله ای را برای پیش‌بینی متغیرها ارائه می‌کند.

تفاوت رگرسیون و همبستگی براساس روش:

آنچه در خروجی نتایج رگرسیون و همبستگی باعث ایجاد تفاوت می‌شود آن است که در همبستگی همیشه اثرات متغیرها به صورت دو به دو مورد سنجش قرار می‌گیرد اما در یک مدل رگرسیون اثرات متغیرها به صورت همزمان بررسی می‌شود. یعنی در همبستگی رابطه متغیر X با متغیر Y به وجود یا عدم وجود متغیر Z ارتباطی ندارد اما اما در رگرسیون تأثیر متغیر X بر متغیر Y به وجود یا عدم وجود متغیر Z بستگی دارد.

آگوست 24, 2019/0 دیدگاه /توسط daliri

بایگانی برچسب برای: Regularization

تعریف رگرسیون خطی (Linear Regression) قسمت 3

تنظیم مدل (Regularization)

تفسیر احتمالی تنظیم مدل

تعریف رگرسیون خطی (Linear Regression) قسمت 1

تخمین پارامترها برای مسائل تک متغیره

تفاوت رگرسیون و همبستگی بر اساس هدف:

تفاوت رگرسیون و همبستگی براساس روش:

تلفن های تماس:

ساعات کاری

پیوند ها :

محصولات :