بایگانی‌های ;kjvg jvnn

بایگانی برچسب برای: ;kjvg jvnn

درخت تصمیم قسمت 1

آموزش عمومی پردازش تصویر و بینایی ماشین, آموزش های عمومی هوش مصنوعی

درخت تصمیم گیری (Decision Tree) یک ابزار برای پشتیبانی از تصمیم است که از درخت‌ها برای مدل کردن استفاده می‌کند. درخت تصمیم به‌طور معمول در تحقیق‌ها و عملیات مختلف استفاده می‌شود. به‌طور خاص در آنالیز تصمیم، برای مشخص کردن استراتژی که با بیشترین احتمال به هدف برسد بکار می‌رود. استفاده دیگر درختان تصمیم، توصیف محاسبات احتمال شرطی است.

کلیات

در آنالیز تصمیم، یک درخت تصمیم به عنوان ابزاری برای به تصویر کشیدن و آنالیز تصمیم، در جایی که مقادیر مورد انتظار از رقابت‌ها متناوباً محاسبه می‌شود، استفاده می‌گردد. یک درخت تصمیم دارای سه نوع گره‌است:

۱-گره تصمیم: به‌طور معمول با مربع نشان داده می‌شود.

۲-گره تصادفی: با دایره مشخص می‌شود.

۳-گره پایانی: با مثلث مشخص می‌شود.

Manual decision tree — Traditionally, decision trees have been created manually

نمودار درخت تصمیم گیری

یک درخت تصمیم می‌تواند خیلی فشرده در قالب یک دیاگرام، توجه را بر روی مسئله و رابطه بین رویدادها جلب کند. مربع نشان دهنده تصمیم‌گیری، بیضی نشان دهنده فعالیت، و لوزی نشان دهنده نتیجه‌ است.

مکان‌های مورد استفاده

درخت تصمیم، دیاگرام تصمیم و ابزارها و روش‌های دیگر مربوط به آنالیز تصمیم به دانشجویان دوره لیسانس در مدارس تجاری و اقتصادی و سلامت عمومی و تحقیق در عملیات و علوم مدیریت، آموخته می‌شود.

یکی دیگر از موارد استفاده از درخت تصمیم، در علم داده‌کاوی برای classification است.

الگوریتم ساخت درخت تصمیم‌گیری

مجموع داده‌ها را با $D$ نمایش می‌دهیم، یعنی $D=(x_{1},y_{1}),\cdots ,(x_{i},y_{i}),\cdots ,(x_{n},y_{n})$ ، به قسمی که $x_{i}\in R^{d}$ و $y_{i}\in R$ . درخت تصمیم‌گیری سعی میکند بصورت بازگشتی داده‌ها را به قسمی از هم جدا کند که در هر گِرِه متغیرهای مستقلِ $y$ به هم نزدیک شده همسان شوند. هر گِره زیر مجموعه ای از داده هاست که بصورت بازگشتی ساخته شده است. به طور دقیقتر در گره $m$ اگر داده ما $Q$ باشد سعی میکنیم یک بُعد از متغیرهایی وابسته را به همراه یک آستانه انتخاب کنیم و داده‌ها را برحسب این بُعد و آستانه به دو نیم تقسیم کنیم، به قسمی که بطور متوسط در هر دو نیم متغیرهای مستقل یا $y$ خیلی به هم نزدیک و همسان شده باشند. این بعد و آستانه را $\theta =(j,t_{m})$ می‌نامیم. دامنه $j$ برابر است با $[1,\cdots ,d]$ و $t_{m}$ یک عدد صحیح است. $Q$ برحسب $\theta =(j,t_{m})$ به دو بخش $Q_{left}(\theta )$ و $Q_{right}(\theta )$ به شکل پایین تقسیم می شود:

${\begin{aligned}Q_{left}(\theta )=&\{(x_{i},y_{i})\in Q\,|\,x_{i,j}\leq t_{m}\}\\Q_{right}(\theta )=&\{(x_{i},y_{i})\in Q\,|\,x_{i,j}>t_{m}\}\\\end{aligned}}$

حال سؤال اینجاست که کدام بُعد از متغیرهای وابسته و چه آستانه‌ای را باید انتخاب کرد. به زبان ریاضی باید آن $\theta$ یی را انتخاب کرد که ناخالصی داده را کم کند. ناخالصی برحسب نوع مسئله تعریفی متفاوت خواهد داشت، مثلا اگر مسئله یک دسته‌بندی دوگانه است، ناخالصی می‌تواند آنتراپی داده باشد، کمترین ناخالصی زمانی است که هم $Q_{right}(\theta )$ و هم $Q_{left}(\theta )$ از یک دسته داشته باشند، یعنی در هر کدام از این دو گِرِه دو نوع دسته وجود نداشته باشد. برای رگرسیون این ناخالصی می تواند واریانس متغیر وابسته باشد. از آنجا که مقدار داده در $Q_{left}(\theta )$ و $Q_{right}(\theta )$ با هم متفاوت است میانگینی وزن‌دار از هر دو ناخالصی را به شکل پایین محاسبه می‌کنیم. در این معادله $N_{m}=|Q|$ ، $n_{left}=|Q_{left}(\theta )|$ و $n_{right}=|Q_{right}(\theta )|$ :

$G(Q,\theta )={\frac {n_{left}}{N_{m}}}H(Q_{left}(\theta ))+{\frac {n_{right}}{N_{m}}}H(Q_{right}(\theta ))$

هدف در اینجا پیدا کردن آن $\theta$ یی است که ناخالصی را کمینه کند، یعنی $\theta ^{*}=\operatorname {argmin} _{\theta }G(Q,\theta )$ . حال همین کار را بصورت بازگشتی برای $Q_{left}(\theta )$ و $Q_{right}(\theta )$ انجام می‌دهیم. بعضی از گره ها را باید به برگ تبدیل کنیم، معیاری که برای تبدیل یک گره به برگ از آن استفاده می‌کنیم می‌تواند مقداری حداقلی برای $N_{m}$ (تعداد داده در یک گره) و یا عمق درخت باشد به قسمی که اگر با دو نیم کردن گِره یکی از معیارها عوض شود، گِره را به دو نیم نکرده آنرا تبدیل به یک برگ میکنیم. معمولا این دو پارامتر باعث تنظیم مدل (Regularization) می‌شوند. در ابتدای کار گره شامل تمام داده‌ها می‌شود یعنی $Q=D$ .

مسئله دسته‌بندی

اگر مسئله ما دسته‌بندی باشد و $y_{i}\in [1,\cdots ,K]$ باشد تابع ناخالصی برای گره $Q$ میتواند یکی از موارد پایین باشد، در این معادله‌ها $p_{mk}=1/N_{m}\sum _{(x_{i},y_{i})\in Q}I(y_{i}=k)$

ناخالصی گینی: $H(Q)=\sum _{k}p_{mk}(1-p_{mk})$

ناخالصی آنتروپی: $H(Q)=-\sum _{k}p_{mk}\log(p_{mk})$

ناخالصی خطا: $H(Q)=1-\max(p_{mk})$

مسئله رگرسیون

در مسئله رگرسیون ناخالصی می‌تواند یکی از موارد پایین باشد:

میانگین خطای مربعات:

${\begin{aligned}{\begin{aligned}{\bar {y}}_{m}={\frac {1}{N_{m}}}\sum _{i\in N_{m}}y_{i}\\H(Q)={\frac {1}{N_{m}}}\sum _{i\in N_{m}}(y_{i}-{\bar {y}}_{m})^{2}\end{aligned}}\end{aligned}}$

میانگین خطای قدر مطلق:

${\begin{aligned}{\begin{aligned}{\bar {y}}_{m}={\frac {1}{N_{m}}}\sum _{i\in N_{m}}y_{i}\\H(Q)={\frac {1}{N_{m}}}\sum _{i\in N_{m}}|y_{i}-{\bar {y}}_{m}|\end{aligned}}\end{aligned}}$

مزایا

در میان ابزارهای پشتیبانی تصمیم، درخت تصمیم و دیاگرام تصمیم دارای مزایای زیر هستند:

۱- فهم ساده: هر انسان با اندکی مطالعه و آموزش می‌تواند، طریقه کار با درخت تصمیم را بیاموزد.

۲- کار کردن با داده‌های بزرگ و پیچیده: درخت تصمیم در عین سادگی می‌تواند با داده‌های پیچیده به راحتی کار کند و از روی آن‌ها تصمیم بسازد.

۳-استفاده مجدد آسان: در صورتی که درخت تصمیم برای یک مسئله ساخته شد، نمونه‌های مختلف از آن مسئله را می‌توان با آن درخت تصمیم محاسبه کرد.

۴- قابلیت ترکیب با روش‌های دیگر: نتیجه درخت تصمیم را می‌توان با تکنیک‌های تصمیم‌سازی دیگر ترکیب کرده و نتایج بهتری بدست آورد.

معایب

۱- مشکل استفاده از درخت‌های تصمیم آن است که به صورت نمایی با بزرگ شدن مسئله بزرگ می‌شوند. ۲- اکثر درخت‌های تصمیم تنها از یک ویژگی برای شاخه زدن در گره‌ها استفاده می‌کنند در صورتی که ممکن است ویژگی‌ها دارای توزیع توأم باشند. ۳- ساخت درخت تصمیم در برنامه‌های داده کاوی حافظه زیادی را مصرف می‌کند زیرا برای هر گره باید معیار کارایی برای ویژگی‌های مختلف را ذخیره کند تا بتواند بهترین ویژگی را انتخاب کند.

سپتامبر 7, 2019/0 دیدگاه /توسط daliri

رگرسیون لجستیک (LR)

آموزش عمومی پردازش تصویر و بینایی ماشین

رگرسیون لجستیک (Logistic regression) یک مدل آماری رگرسیون برای متغیرهای وابسته دوسویی مانند بیماری یا سلامت، مرگ یا زندگی است. این مدل را می‌توان به عنوان مدل خطی تعمیم‌یافته‌ای که از تابع لوجیت به عنوان تابع پیوند استفاده می‌کند و خطایش از توزیع چندجمله‌ای پیروی می‌کند، به‌حساب‌آورد. منظور از دو سویی بودن، رخ داد یک واقعه تصادفی در دو موقعیت ممکنه است. به عنوان مثال خرید یا عدم خرید، ثبت نام یا عدم ثبت نام، ورشکسته شدن یا ورشکسته نشدن و … متغیرهایی هستند که فقط دارای دو موقعیت هستند و مجموع احتمال هر یک آن‌ها در نهایت یک خواهد شد.

کاربرد این روش عمدتاً در ابتدای ظهور در مورد کاربردهای پزشکی برای احتمال وقوع یک بیماری مورد استفاده قرار می‌گرفت. لیکن امروزه در تمام زمینه‌های علمی کاربرد وسیعی یافته‌است. به عنوان مثال مدیر سازمانی می‌خواهد بداند در مشارکت یا عدم مشارکت کارمندان کدام متغیرها نقش پیش‌بینی دارند؟ مدیر تبلیغاتی می‌خواهد بداند در خرید یا عدم خرید یک محصول یا برند چه متغیرهایی مهم هستند؟ یک مرکز تحقیقات پزشکی می‌خواهد بداند در مبتلا شدن به بیماری عروق کرنری قلب چه متغیرهایی نقش پیش‌بینی‌کننده دارند؟ تا با اطلاع‌رسانی از احتمال وقوع کاسته شود.

رگرسیون لجستیک می‌تواند یک مورد خاص از مدل خطی عمومی و رگرسیون خطی دیده شود. مدل رگرسیون لجستیک، بر اساس فرض‌های کاملاً متفاوتی (دربارهٔ رابطه متغیرهای وابسته و مستقل) از رگرسیون خطی است. تفاوت مهم این دو مدل در دو ویژگی رگرسیون لجستیک می‌تواند دیده شود. اول توزیع شرطی $y|{\vec {x}}$ یک توزیع برنولی به جای یک توزیع گوسی است چونکه متغیر وابسته دودویی است. دوم مقادیر پیش‌بینی احتمالاتی است و محدود بین بازه صفر و یک و به کمک تابع توزیع لجستیک بدست می‌آید رگرسیون لجستیک احتمال خروجی پیش‌بینی می‌کند.

این مدل به صورت

$\operatorname {logit} (p)=\ln \left({\frac {p}{1-p}}\right)=\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i},$

$i=1,\dots ,n,\,$

است که

$p=\Pr(y_{i}=1).\,$

$p=\Pr(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }})={\frac {e^{\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i}}}{1+e^{\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i}}}}={\frac {1}{1+e^{-\left(\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i}\right)}}}.$

برآورد پارامترهای بهینه

برای بدست آوردن پارامترهای بهینه یعنی ${\vec {\beta }}=[\beta _{0},\beta _{1},\cdots ,\beta _{k}]$ می‌توان از روش برآورد درست نمایی بیشینه (Maximum Likelihood Estimation) استفاده کرد. اگر فرض کنیم که تعداد مثال‌هایی که قرار است برای تخمین پارامترها استفاده کنیم $n$ است و این مثال‌ها را به این شکل نمایش دهیم $D=({\vec {x_{1}}},y_{1}),\cdots ({\vec {x_{n}}},y_{n})$ . پارامتر بهینه پارامتری است که برآورد درست نمایی را بیشینه کند، البته برای سادگی کار برآورد لگاریتم درست نمایی را بیشینه می‌کنیم. لگاریتم درست نمایی داده $D$ برای پارامتر ${\vec {\beta }}$ را با $L(D,{\vec {\beta }})$ نمایش می‌دهیم:

$L(D,{\vec {\beta }})=\log \left(\prod _{i=1}^{n}Pr(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }})^{y_{i}}\times Pr(y_{i}=0|{\vec {x_{i}}};{\vec {\beta }})^{1-y_{i}}\right)=\sum _{i=1}^{n}y_{i}\times \log Pr(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }})+(1-y_{i})\log Pr(y_{i}=0|{\vec {x_{i}}};{\vec {\beta }})$

اگر برای داده $i$ ام $y_{i}=1$ باشد، هدف افزایش $\Pr \left(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }}\right)$ است و اگر $y_i$ صفر باشد هدف افزایش مقدار $\Pr \left(y_{i}=0|{\vec {x_{i}}};{\vec {\beta }}\right)$ است. از این رو از فرمول $Pr(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }})^{y_{i}}\times Pr(y_{i}=0|{\vec {x_{i}}};{\vec {\beta }})^{1-y_{i}}$ استفاده می‌کنیم که اگر $y_{i}=1$ باشد، فرمول به ما $\Pr \left(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }}\right)$ را بدهد و اگر $y_{i}=0$ بود به ما $\Pr \left(y_{i}=0|{\vec {x_{i}}};{\vec {\beta }}\right)$ را بدهد.

حال برای بدست آوردن پارامتر بهینه باید ${\vec {\beta }}$ یی پیدا کنیم که مقدار $L(D,{\vec {\beta }})$ را بیشینه کند. از آنجا که این تابع نسبت به ${\vec {\beta }}$ مقعر است حتماً یک بیشینه مطلق دارد. برای پیدا کردن جواب می‌توان از روش گرادیان افزایشی از نوع تصادفی اش استفاده کرد (Stochastic Gradient Ascent). در این روش هر بار یک مثال را به‌صورت اتفاقی از نمونه‌های داده انتخاب کرده، گرادیان درست نمایی را حساب می‌کنیم و کمی در جهت گرادیان پارامتر را حرکت می‌دهیم تا به یک پارامتر جدید برسیم. گرادیان جهت موضعی بیشترین افزایش را در تابع به ما نشان می‌دهد، برای همین در آن جهت کمی حرکت می‌کنیم تا به بیشترین افزایش موضعی تابع برسیم. اینکار را آنقدر ادامه می‌دهیم که گرادیان به اندازه کافی به صفر نزدیک شود. بجای اینکه داده‌ها را به‌صورت تصادفی انتخاب کنیم می‌توانیم به ترتیب داده شماره $1$ تا داده شماره $n$ را انتخاب کنیم و بعد دوباره به داده اولی برگردیم و این کار را به‌صورت متناوب چندین بار انجام دهیم تا به اندازه کافی گرادیان به صفر نزدیک شود. از لحاظ ریاضی این کار را می‌توان به شکل پایین انجام داد، پارامتر ${\vec {\beta }}$ را در ابتدا به‌صورت تصادفی مقدار دهی می‌کنیم و بعد برای داده $i$ ام و تمامی $j$ ‌ها، یعنی از $j=1$ تا $j=m+1$ تغییر پایین را اعمال می‌کنیم، دراینجا $\alpha$ همان مقداریست که در جهت گرادیان هربار حرکت می‌کنیم و $\left(y_{i}-{\frac {1}{1+e^{-\left(\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i}\right)}}}\right){\vec {x_{i,j}}}$ مشتق جزئی داده $i$ ام در بُعد $j$ ام است:

${\begin{cases}{\mbox{Initialize}}\,\,{\vec {\beta ^{\,old}}}\,\,{\mbox{randomly}}\\{\mbox{loop until convergence :}}\\\,\,{\mbox{for}}\,\,\,\,i=0\,\,\,\,{\mbox{to}}\,\,\,\,n:\\\,\,\,\,\,\,{\mbox{for}}\,\,\,\,j=0\,\,\,\,{\mbox{to}}\,\,\,\,m:\\\,\,\,\,\,\,\,\,\,\,\,\,{\vec {\beta _{j}^{\,new}}}={\vec {\beta _{j}^{\,old}}}+\alpha \left(y_{i}-{\frac {1}{1+e^{-\left(\beta _{0}^{\,old}+\beta _{1}^{\,old}x_{1,i}+\cdots +\beta _{k}^{\,old}x_{k,i}\right)}}}\right){\vec {x_{i,j}}}\\\,\,\,\,\,\,\beta ^{\,old}=\beta ^{\,new}\end{cases}}$

تنظیم مدل (Regularization)

پیچیدگی مدل‌های پارامتری با تعداد پارامترهای مدل و مقادیر آن‌ها سنجیده می‌شود. هرچه این پیچیدگی بیشتر باشد خطر بیش‌برازش (Overfitting) برای مدل بیشتر است. پدیده بیش‌برازش زمانی رخ می‌دهد که مدل بجای یادگیری الگوهای داده، داده را را حفظ کند و در عمل، فرایند یادگیری به خوبی انجام نمی‌شود. برای جلوگیری از بیش‌برازش در مدل‌های خطی مانند رگرسیون خطی یا رگرسیون لجستیک جریمه‌ای به تابع هزینه اضافه می‌شود تا از افزایش زیاد پارامترها جلوگیری شود. تابع هزینه را در رگرسیون لجستیک با منفی لگاریتم درست‌نمایی تعریف می‌کنیم تا کمینه کردن آن به بیشینه کردن تابع درست نمایی بیانجامد. به این کار تنظیم مدل یا Regularization گفته می‌شود. دو راه متداول تنظیم مدل‌های خطی روش‌های $L_{1}$ و $L_{2}$ هستند. در روش $L_{1}$ ضریبی از نُرمِ $L_{1}$ به تابع هزینه اضافه می‌شود و در روش $L_{2}$ ضریبی از نُرمِ $L_{2}$ که همان نُرمِ اقلیدسی است به تابع هزینه اضافه می‌شود.

در تنظیم مدل به روش $L_{1}$ تابع هزینه را به این شکل تغییر می‌دهیم:

$L_{r}(D,{\vec {\beta }})=-L(D,{\vec {\beta }})+\lambda ||{\vec {\beta }}||_{1}=-\sum _{i=1}^{n}y_{i}\times \log Pr(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }})+(1-y_{i})\log Pr(y_{i}=0|{\vec {x_{i}}};{\vec {\beta }})+\lambda \sum _{k=0}^{m}|\beta _{k}|$

این روش تنظیم مدل که به روش لاسو (Lasso) نیز شهرت دارد باعث می‌شود که بسیاری از پارامترهای مدل نهائی صفر شوند و مدل به اصطلاح خلوت (Sparse) شود.

در تنظیم مدل به روش $L_{2}$ تابع هزینه را به این شکل تغییر می‌دهیم:

$L_{r}(D,{\vec {\beta }})=L(D,{\vec {\beta }})+\lambda ||{\vec {\beta }}||_{2}^{2}=-\sum _{i=1}^{n}y_{i}\times \log Pr(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }})+(1-y_{i})\log Pr(y_{i}=0|{\vec {x_{i}}};{\vec {\beta }})+\lambda \sum _{k=0}^{m}\beta _{k}^{2}$

در روش تنظیم از طریق $L_{2}$ سعی می‌شود طول اقلیدسی بردار ${\vec {\beta }}$ کوتاه نگه داشته شود. $\lambda$ در روش $L_{1}$ و $L_{2}$ یک عدد مثبت است که میزان تنظیم مدل را معین می‌کند. هرچقدر $\lambda$ کوچکتر باشد جریمه کمتری برا بزرگی نرم بردار پارامترها یعنی ${\vec {\beta }}$ پرداخت می‌کنیم. مقدار ایدئال $\lambda$ از طریق آزمایش بر روی داده اعتبار (Validation Data) پیدا می‌شود.

تفسیر احتمالی تنظیم مدل

اگر بجای روش درست نمایی بیشینه از روش بیشینه سازی احتمال پسین استفاده کنیم به ساختار «تنظیم مدل» یا همان regularization خواهیم رسید. اگر مجموعه داده را با $D$ نمایش بدهیم و پارامتری که به دنبال تخمین آن هستیم را با ${\vec {\beta }}$ ، احتمال پسین $Pr\left({\vec {\beta }}\,|\,D\right)$ ، طبق قانون بیز متناسب خواهد بود با حاصلضرب درست نمایی یعنی $Pr\left(D\,|\,{\vec {\beta }}\right)$ و احتمال پیشین یعنی $Pr\left({\vec {\beta }}\right)$ :

$Pr\left({\vec {\beta }}\,|\,D\right)={\frac {Pr\left(D\,|\,{\vec {\beta }}\right)\times Pr\left({\vec {\beta }}\right)}{Pr\left(D\right)}}$

ازین رو

$argmax_{\vec {\beta }}Pr\left({\vec {\beta }}\,|\,D\right)=argmax_{\vec {\beta }}{\frac {Pr\left(D\,|\,{\vec {\beta }}\right)\times Pr\left({\vec {\beta }}\right)}{Pr\left(D\right)}}=argmax_{\vec {\beta }}Pr\left(D\,|\,{\vec {\beta }}\right)\times Pr\left({\vec {\beta }}\right)$

معادله خط پیشین نشان می‌دهد که برای یافتن پارامتر بهینه فقط کافیست که احتمال پیشین را نیز در معادله دخیل کنیم. اگر احتمال پیشین را یک توزیع احتمال با میانگین صفر و کوواریانس $\tau ^{2}I$ در نظر بگیریم به معادله پایین می‌رسیم:

$argmax_{\vec {\beta }}\,\,\log Pr\left(D\,|\,{\vec {\beta }}\right)=argmax_{\vec {\beta }}\,\,\log \prod _{i=1}^{n}Pr(y_{i}|{\vec {x_{i}}}\,\,;{\vec {\beta }})Pr\left({\vec {\beta }}\right)=argmax_{\vec {\beta }}\,\,\log \left(\prod _{i=1}^{n}Pr(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }})^{y_{i}}\times Pr(y_{i}=0|{\vec {x_{i}}};{\vec {\beta }})^{1-y_{i}}{\frac {1}{{\sqrt {2\pi }}\tau }}exp\left({\frac {-||{\vec {\beta }}||^{2}}{2\tau }}\right)\right)$

با ساده کردن این معادله به نتیجه پایین می‌رسیم:

$argmax_{\vec {\beta }}\,\,\log Pr\left(D\,|\,{\vec {\beta }}\right)=argmax_{\vec {\beta }}\sum _{i=1}^{n}y_{i}\times \log Pr(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }})+(1-y_{i})\log Pr(y_{i}=0|{\vec {x_{i}}};{\vec {\beta }})-{\frac {1}{2\tau ^{2}}}||{\vec {\beta }}||^{2}-\log {\sqrt {2\pi }}\tau$

با تغییر علامت معادله، بیشینه‌سازی را به کمینه‌سازی تغییر می‌دهیم، $\lambda$ در این معادله همان ${\frac {1}{2\tau ^{2}}}$ است:

$argmax_{\vec {\beta }}\,\,\log Pr\left(D\,|\,{\vec {\beta }}\right)=argmin_{\vec {\beta }}-\left(\sum _{i=1}^{n}y_{i}\times \log Pr(y_{i}=1|{\vec {x_{i}}};{\vec {\beta }})+(1-y_{i})\log Pr(y_{i}=0|{\vec {x_{i}}};{\vec {\beta }})\right)+\lambda ||{\vec {\beta }}||^{2}$

همان‌طور که دیدیم جواب همان تنظیم مدل با نرم $L_{2}$ است.

حال اگر توزیع پیشین را از نوع توزیع لاپلاس با میانگین صفر در نظر بگیریم به تنظیم مدل با نرم $L_{1}$ خواهیم رسید.

از آنجا که میانگین هر دو توزیع پیشین صفر است، پیش‌فرض تخمین پارامتر بر این بنا شده‌است که اندازه پارامتر مورد نظر کوچک و به صفر نزدیک باشد و این پیش‌فرض با روند تنظیم مدل همخوانی دارد.

منبع

رگرسیون لوژستیک (لجستیک)

زمانی که متغیر وابسته ی ما دو وجهی (دو سطحی مانند جنسیت، بیماری یا عدم بیماری و …) است و می خواهیم از طریق ترکیبی از متغیرهای پیش بین دست به پیش بینی بزنیم باید از رگرسیون لجستیک استفاده کنیم. چند مثال از کاربردهای رگرسیون لجستیک در زیر ارائه می گردد.

1. در فرایند همه گیر شناسی ما می خواهیم ببینیم آیا یک فرد بیمار است یا خیر. اگر به عنوان مثال بیماری مورد نظر بیماری قلبی باشد پیش بینی کننده ها عبارتند از سن، وزن، فشار خون سیستولیک، تعداد سیگارهای کشیده شده و سطح کلسترول.

2. در بازاریابی ممکن است بخواهیم بدانیم آیا افراد یک ماشین جدیدی را می خرند یا خیر. در اینجا متغیرهایی مانند درآمد سالانه، مقدار پول رهن، تعداد وابسته ها، متغیرهای پیش بین می باشند.

3. در تعلیم و تربیت فرض کنید می خواهیم بدانیم یک فرد در امتحان نمره می آورد یا خیر.

4. در روانشناسی می خواهیم بدانیم آیا فرد یک رفتار بهنجار اجتماعی دارد یا خیر.

در تمام موارد گفته شده متغیر وابسته یک متغیر دو حالتی است که دو ارزش دارد. زمانی که متغیر وابسته دو حالتی است مسایل خاصی مطرح می شود.

1. خطا دارای توزیع نرمال نیست. 2. واریانس خطا ثابت نیست. 3. محدودیت های زیادی در تابع پاسخ وجود دارد. مشکل سوم مطرح شده مشکل جدی تری است.

می توان از روش حداقل مجذورات وزنی برای حل مشکل مربوط به واریانس های نابرابر خطا استفاده نمود. بعلاوه زمانی که حجم نمونه بالا باشد می توان روش حداقل مجذورات برآوردگرهایی را ارائه می دهد که به طور مجانبی و تحت موقعیت های نسبتا عمومی نرمال می باشند. ما در رگرسیون لجستیک به طور مستقیم احتمال وقوع یک رخداد را محاسبه می کنیم. چرا که فقط دو حالت ممکن برای متغیر وابسته ی ما وجود دارد.

دو مساله ی مهم که باید در ارتباط با رگرسیون لجستیک در نظر داشته باشیم عبارتند از:

1. رابطه ی بین پیش بینی کننده ها و متغیر وابسته غیر خطی است.

2. ضرایب رگرسیونی از طریق روش ماکزیمم درستنمایی برآورد می شود.

رگرسیون لجستیک از لحاظ محاسبات آماری شبیه رگرسیون چند گانه است اما از لحاظ کارکرد مانند تحلیل تشخیصی می باشد. در این روش عضویت گروهی بر اساس مجموعه ای از متغییرهای پیش بین انجام می شود دقیقا مانند تحلیل تشخیصی. مزیت عمده ای که تحلیل لجستیک نسبت به تحلیل تشخیصی دارد این است که در این روش با انواع متغیرها به کار می رود و بنابراین بسیاری از مفروضات در مورد داده ها را به کار ندارد. در حقیقت آنچه در رگرسیون لجستیک پیش بینی می شود یک احتمال است که ارزش آن بین 0 تا 1 در تغییر است. ضرایب رگرسیونی مربوط به معادله ی رگرسیون لجستیک اطلاعاتی را راجع به شانس هر مورد خاص برای تعلق به گروه صفر یا یک ارائه می دهد. شانس به صورت احتمال موفقیت در برابر شکست تعریف می شود. ولی بدلیل ناقرینگی و امکان وجود مقادیر بی نهایت برای آن تبدیل به لگاریتم شانس می شود. هر یک از وزن ها را می توان از طریق مقدار خی دو که به آماره ی والد مشهور است به لحاظ معناداری آزمود. لگاریتم شانس، شانسی را که یک متغییر به طور موفقیت آمیزی عضویت گروهی را برای هر مورد معین پیش بینی می کند را نشان می دهد.

به طور کلی در روش رگرسیون لجستیک رابطه ی بین احتمال تعلق به گروه 1 و ترکیب خطی متغیرهای پیش بین بر اساس توزیع سیگمودال تعریف می شود. برای دستیابی به معادله ی رگرسیونی و قدرت پیش بینی باید به نحوی بتوان رابطه ای بین متغیرهای پیش بین و وابسته تعریف نمود. برای حل این مشکل از نسبت احتمال تعلق به گروه یک به احتمال تعلق به گروه صفر استفاده می شود. به این نسبت شانس OR گویند. به خاطر مشکلات شانس از لگاریتم شانس استفاده می شود. لگاریتم شانس با متغیرهای پیش بینی کننده ارتباط خطی دارد. بنابراین ضرایب بدست آمده برای آن باید بر اساس رابطه ی خطی که با لگاریتم شانس دارند تفسیر گردند. بنابراین اگر بخواهیم تفسیر را بر اساس احتمال تعلق به گروهها انجام دهیم باید لگاریتم شانس را به شانس و شانس را به اجزای زیر بنایی آن که احتمال تعلق است تبدیل نماییم. آماره ی والد که از توزیع خی دو پیروی می کند نیز برای بررسی معناداری ضرایب استفاده می شود. از آزمون هاسمر و لمشو نیز برای بررسی تطابق داده ها با مدل استفاده می شود معنادار نبودن این آزمون که در واقع نوعی خی دو است به معنای عدم تفاوت داده ها با مدل یعنی برازش داده با مدل است.

رگرسیون چند متغیری: در این رگرسیون هدف این است که از طریق مجموعه ای از متغیرهای پیش بین به پیش بینی چند متغیر وابسته پرداخته شود در واقع اتفاقی که در رگرسیون کانونی می افتد.

رگرسیون لجستیک (LOGESTIC REGRESSION)

همان طور که می‌دانیم در رگرسیون خطی، متغیر وابسته یک متغیر کمی در سطح فاصله‌ای یا نسبی است و پیش‌ بینی کننده‌ ها از نوع متغیرهای پیوسته، گسسته یا ترکیبی از این دو هستند. اما هنگامی که متغیر وابسته در کمی نباشد، یعنی به صورت دو یا چندمقوله‌ای باشد، از رگرسیون لجستیک استفاده می‌کنیم که امکان پیش‌بینی عضویت گروهی را فراهم میکند. این روش موازی روشهای تحلیل تشخیصی و تحلیل لگاریتمی است. برای مثال، پیش بینی مرگ و میر نوزادان بر اساس جنسیت نوزاد، دوقلو بودن و سن و تحصیلات مادر.

بسیاری از مطالعات پژوهشی در علوم اجتماعی و علوم رفتاری، متغیرهای وابسته از نوع دو مقوله ای را بررسی میکنند. مانند: رأی دادن یا ندادن در انتخابات، مالکیت (مثلاٌ داشتن یا نداشتن کامپیوتر شخصی) و سطح تحصیلات (مانند: داشتن یا نداشتن تحصیلات دانشگاهی) ارزیابی میشود. از جمله حالت های پاسخ دوتایی عبارتند از: موافق- مخالف، موفقیت – شکست، حاضر – غایب و جانبداری – عدم جانبداری.

متغیرهای تحلیل رگرسیون لجستیک

در تحلیل رگرسیون لجستیک، همیشه یک متغیر وابسته و معمولا مجموعه ای از متغیرهای مستقل وجود دارند که ممکن است دو مقوله ای، کمی یا ترکیبی از آن ها باشند. به علاوه لازم نیست متغیرهای دو مقوله ای به طور واقعی دوتایی باشند. به عنوان مثال ممکن است پژوهشگران متغیر وابسته کمی دارای کجی شدید را به یک متغیر دومقوله ای که در هر طبقه آن تعداد موردها تقریباً مساوی است تبدیل کنند. مانند آن چه که در مورد رگرسیون چندگانه دیدیم، برخی از متغیرهای مستقل در رگرسیون لجستیک می توانند به عنوان متغیرهای همپراش (covariates) مورد استفاده قرار گیرند تا پژوهشگران بتوانند با ثابت نگه داشتن یا کنترل آماری این متغیرها اثرات دیگر متغیرهای مستقل را بهتر ارزیابی کنند.

پیش فرض های رگرسیون لجستیک

با این که رگرسیون لجستیک در مقایسه با رگرسیون خطی پیش فرض های کمتری دارد (به عنوان مثال پیش فرض های همگنی واریانس و نرمال بودن خطاها وجود ندارد)، رگرسیون لجستیک نیازمند موارد زیر است:

هم خطی چندگانه کامل وجود نداشته باشد.
خطاهای خاص نباید وجود داشته باشد (یعنی، همه متغیرهای پیش بین مرتبط وارد شوند و پیش بین های نامربوط کنار گذاشته شوند).
متغیرهای مستقل باید در مقیاس پاسخ تراکمی یا جمع پذیر (cumulative response scale)، فاصله ای یا سطح نسبی اندازه گیری شده باشند (هر چند که متغیرهای دو مقوله ای نیز می توانند مورد استفاده قرار گیرند).

برای تفسیر درست نتایج، رگرسیون لجستیک در مقایسه با رگرسیون خطی نیازمند نمونه های بزرگتری است. با این که آماردان ها در خصوص شرایط دقیق نمونه توافق ندارند. بسیاری پیشنهاد می کنند تعداد افراد نمونه حداقل باید ۳۰ برابر تعداد پارامترهایی باشند که برآورد می شوند.

منبع

رگرسیون لجستیک چیست؟

رگرسیون لجستیک، شبیه رگرسیون خطی است با این تفاوت که نحوه محاسبه ضرایب در این دو روش یکسان نمی باشد. بدین معنی که رگرسیون لجستیک، به جای حداقل کردن مجذور خطاها (کاری که رگرسیون خطی انجام می دهد)، احتمالی را که یک واقعه رخ می دهد، حداکثر می کند. همچنین، در تحلیل رگرسیون خطی، برای آزمون برازش مدل و معنی داربودن اثر هر متغیر در مدل، به ترتیب از آماره های Fوt استفاده می شود، در حالی که در رگرسیون لجستیک، از آماره های کای اسکوئر(X₂) و والد استفاده می شود (مومنی، ۱۳۸۶: ۱۵۸).

رگرسیون لجستیک نسبت به تحلیل تشخیصی نیز ارجحیت دارد و مهم ترین دلیل آن است که در تحلیل تشخیصی گاهی اوقات احتمال وقوع یک پدیده خارج از طیف(۰) تا (۱) قرار می گیرد و متغیرهای پیش بین نیز باید دارای توزیع در داخل محدوده (۰) تا (۱) قرار دارد و رعایت پیش فرض نرمال بودن متغیرهای پیش بینی لازم نیست (سرمد، ۱۳۸۴: ۳۳۱).

انواع رگرسیون لجستیک

همان طور که در ابتدای مبحث تحلیل رگرسیون لجستیک گفته شد، در رگرسیون لجستیک، متغیر وابسته می تواند به دو شکل دووجهی و چندوجهی باشد. به همین خاطر، در نرم افزارSPSS شاهد وجود دو نوع تحلیل رگرسیون لجستیک هستیم که بسته به تعداد مقولات و طبقات متغیر وابسته، می توانیم از یکی از این دو شکل استفاده کنیم:

۱-رگرسیون لجستیک اسمی دووجهی: موقعی است که متغیر وابسته در سطح اسمی دووجهی (دوشقی) است. یعنی در زمانی که با متغیر وابسته اسمی دووجهی سروکار داریم.

۲-رگرسیون لجستیک اسمی چندوجهی : موقعی مورد استفاده قرار می گیرد که متغیر وابسته، اسمی چندوجهی (چندشقی) است.

منبع

سپتامبر 6, 2019/0 دیدگاه /توسط daliri

یادگیری تحت نظارت

آموزش عمومی پردازش تصویر و بینایی ماشین

یادگیری با نظارت یا یادگیری تحت نظارت (Supervised learning) یکی از زیرمجموعه‌های یادگیری ماشینی است. با یک مثال عمومی وارد این بحث می‌شویم. یک میوه فروشی را در نظر بگیرید که تمام میوه ها را به صورت کاملاً جدا از هم مرتب کرده‌است و شما نوع میوه را کاملاً می‌دانید، یعنی زمانی که یک میوه را در دست می‌گیرید به نام نوشته شده در قفسهٔ آن نگاه می‌کنید و در میابید که مثلاً سیب است و اصطلاحاً می‌گویند تمام داده ها تگ گذاری شده هستند. به طبع فردی از قبل دستهٔ داده‌ها را مشخص کرده‌است. حال اگر با دید موجودی در حال یادگیری به ماجرا نگاه کنیم، انتظار می‌رود فرضاً مفهومی از سیب‌ها را یاد بگیرد و احتمالاً در آینده نیز اگر تصویری از سیب‌ها دید آن را تشخیص دهد.

این روش، یک روش عمومی در یادگیری ماشین است که در آن به یک سیستم، مجموعه ای از جفت‌های ورودی – خروجی ارائه شده و سیستم تلاش می‌کند تا تابعی از ورودی به خروجی را فرا گیرد. یادگیری تحت نظارت نیازمند تعدادی داده ورودی به منظور آموزش سیستم است. با این حال رده‌ای از مسائل وجود دارند که خروجی مناسب که یک سیستم یادگیری تحت نظارت نیازمند آن است، برای آن‌ها موجود نیست. این نوع از مسائل چندان قابل جوابگویی با استفاده از یادگیری تحت نظارت نیستند. یادگیری تقویتی مدلی برای مسائلی از این قبیل فراهم می‌آورد. در یادگیری تقویتی، سیستم تلاش می‌کند تا تقابلات خود با یک محیط پویا را از طریق آزمون و خطا بهینه نماید. یادگیری تقویتی مسئله‌ای است که یک عامل که می‌بایست رفتار خود را از طریق تعاملات آزمون و خطا با یک محیط پویا فرا گیرد، با آن مواجه است. در یادگیری تقویتی هیچ نوع زوج ورودی- خروجی ارائه نمی‌شود. به جای آن، پس از اتخاذ یک عمل، حالت بعدی و پاداش بلافصل به عامل ارائه می‌شود. هدف اولیه برنامه‌ریزی عامل‌ها با استفاده از تنبیه و تشویق است بدون آنکه ذکری از چگونگی انجام وظیفه آن‌ها شود.

یک مجموعه از مثال‌های یادگیری وجود دارد بازای هر ورودی، مقدار خروجی یا تابع مربوطه نیز مشخص است. هدف سیستم یادگیر بدست آوردن فرضیه‌ای است که تابع یا رابطه بین ورودی یا خروجی را حدس بزند به این روش یادگیری با نظارت گفته می‌شود.

مثال‌های زیادی در یادگیری ماشینی وجود دارند که در دسته یادگیری با نظارت میگنجند، از جمله می‌توان به درخت تصمیم‌گیری، آدابوست، ماشین بردار پشتیبانی، دسته‌بندی‌کننده بیز ساده، رگرسیون خطی، رگرسیون لجستیک، گرادیان تقویتی، شبکه‌های عصبی و بسیاری مثال‌های دیگر اشاره کرد.

منبع

در این قسمت می خواهیم در رابطه با یادگیری های نظارتی و بی نظارت توضیح دادیم.

supervised learning = یادگیری با نظارت
unsupervised learning = یادگیری بدون نظارت

پیش از این یادگیری با نظارت را اینگونه تعریف کردیم:

این مدل ماشین با استفاده از داده های برچسب گذاری شده و داشتن جواب های درست یاد می گیرند که در لاتین به آن Supervised learning می گویند.

مثال های مختلفی از یادگیری ماشین با نظارت:

یکی از مثال های مرسوم در یادگیری با نظارت تشخیص و فیلتر کردن اسپم ها میان پیام ها است. ابتدا تمامی داده ها به دو کلاس سالم و اسپم تقسیم می شوند، سپس ماشین آن ها را با مثال های موجود می آموزد در نهایت از او امتحان گرفته می شود و امتحان به این منظور تلقی می شود که شما ایمیل جدیدی که تا به حال ندیده است را به آن بدهید، سپس آن تشخیص دهد که سالم یا اسپم است.

نمونه دیگری از این دست یادگیری می توان زد پیشبینی مقدار عددی می باشد، به عنوان مثال قیمت یک ماشین با مجموعه ویژگی هایی مثل (مسافت طی شده، برند، سن ماشین و …). از این دست مثال ها با عنوان regression نامیده می شوند. (در پست های بعدی حتما یک مثال با regression توسط زبان پایتون حل می کنیم.)

برای آموزش سیستم، شما باید تعداد زیادی نمونه یا به عبارتی داده، در اختیار سیستم بگذارید که شامل label و predictor ها باشد.

نکته: دقت کنید بعضی از الگوریتم های regression را می توانند در classification استفاده شوند و برعکس.

برای مثال، رگرسیون منطقی (Logistic Regression) معمولا برای طبقه بندی استفاده می شود، زیرا می تواند یک مقدار را که مربوط به احتمال متعلق به یک کلاس داده شده است، تولید کند.

منبع

یادگیری با نظارت چیست؟

در یادگیری با نظارت کار با ایمپورت کردن مجموعه داده‌های شامل ویژگی‌های آموزش (خصیصه‌های آموزش | training attributes) و ویژگی‌های هدف (خصیصه‌های هدف | target attributes) آغاز می‌شود. الگوریتم یادگیری نظارت شده رابطه بین مثال‌های آموزش و متغیرهای هدف مختص آن‌ها را به دست می‌آورد و آن رابطه یاد گرفته شده را برای دسته‌بندی ورودی‌های کاملا جدید مورد استفاده قرار می‌دهد (بدون هدف‌ها). برای نمایش اینکه یادگیری نظارت شده چگونه کار می‌کند، یک مثال از پیش‌بینی نمرات دانش‌آموزان برپایه ساعات مطالعه آن‌ها ارائه می‌شود. از منظر ریاضی:

Y = f(X)+ C

که در آن:

F رابطه بین نمرات و تعداد ساعاتی است که دانش‌آموزان به منظور آماده شدن برای امتحانات به مطالعه می‌پردازند.
X ورودی است (تعداد ساعاتی که دانش‌آموز خود را آماده می‌کند).
Y خروجی است (نمراتی که دانش‌آموزان در آزمون کسب کرده‌اند).
C یک خطای تصادفی است.

هدف نهایی یادگیری نظارت شده پیش‌بینی Y با حداکثر دقت برای ورودی جدید داده شده X است. چندین راه برای پیاده‌سازی یادگیری نظارت شده وجود دارد. برخی از متداول‌ترین رویکردها در ادامه مورد بررسی قرار می‌گیرند. برپایه مجموعه داده موجود، مساله یادگیری ماشین در دو نوع «دسته‌بندی» (Classification) و «رگرسیون» (Regression) قرار می‌گیرد. اگر داده‌های موجود دارای مقادیر ورودی (آموزش) و خروجی (هدف) باشند، مساله از نوع دسته‌بندی است. اگر مجموعه داده دارای «مقادیر عددی پیوسته» (continuous numerical values) بدون هرگونه برچسب هدفی باشد، مساله از نوع رگرسیون محسوب می‌شود.

Classification: Has the output label. Is it a Cat or Dog?
Regression: How much will the house sell for?

منبع

یادگیری نظارت شده: زمانی رخ می دهد که شما با استفاده از داده هایی که به خوبی برچسب گذاری شده اند به یک ماشین آموزش می دهید؛ به بیان دیگر در این نوع یادگیری، داده ها از قبل با پاسخ های درست (نتیجه) برچسب گذاری شده اند. برای نمونه به ماشین عکسی از حرف A را نشان می دهید. سپس پرچم ایران که سه رنگ دارد را به آن نشان می دهید. یاد می دهید که یکی از رنگ ها قرمز است و یکی سبز و دیگری سفید. هرچه این مجموعه اطلاعاتی بزرگ تر باشد ماشین هم بیشتر می تواند در مورد موضوع یاد بگیرد.

پس از آنکه آموزش دادن به ماشین به اتمام رسید، داده هایی در اختیارش قرار داده می شوند که کاملا تازگی دارند و قبلا آنها را دریافت نکرده است. سپس الگوریتم یادگیری با استفاده از تجربیات قبلی خود آن اطلاعات را تحلیل می کند. مثلا حرف A را تشخیص می دهد و یا رنگ قرمز را مشخص می کند.

منبع

یادگیری نظارتی (Supervised ML)

در روش یادگیری با نظارت، از داده‌های با برچسب‌گذاری برای آموزش الگوریتم استفاده می‌کنیم. داده‌های دارای برچسب به این معنی است که داده به همراه نتیجه و پاسخ موردنظر آن دردسترس است. برای نمونه اگر ما بخواهیم به رایانه آموزش دهیم که تصویر سگ را از گربه تشخیص دهد، داده‌ها را به صورت برچسب‌گذاری شده برای آموزش استفاده می‌کنیم. به الگوریتم آموزش داده می‌شود که چگونه تصویر سگ و گربه را طبقه‌بندی کند. پس از آموزش، الگوریتم می‌تواند داده‌های جدید بدون برچسب را طبقه‌بندی کند تا مشخص کند تصویر جدید مربوط به سگ است یا گربه. یادگیری ماشین با نظارت برای مسائل پیچیده عملکرد بهتری خواهد داشت.

یکی از کاربردهای یادگیری با نظارت، تشخیص تصاویر و حروف است. نوشتن حرف A یا عدد ۱ برای هر فرد با دیگری متفاوت است. الگوریتم با آموزش یافتن توسط مجموعه داده‌های دارای برچسب از انواع دست‌خط حرف A و یا عدد ۱، الگوهای حروف و اعداد را یاد می‌گیرد. امروزه رایانه‌ها در تشخیص الگوهای دست خط از انسان دقیق‌تر و قدتمندتر هستند.

در ادامه تعدادی از الگوریتم‌ها که در یادگیری نظارتی مورد استفاده قرار می‌گیرد شرح داده می‌شود.

درخت تصمیم‌ (ِDecision Tree)

ساختار درخت تصمیم در یادگیری ماشین، یک مدل پیش بینی کننده می‌باشد که حقایق مشاهده شده در مورد یک پدیده را به استنتاج هایی در مورد هدف آن پدیده پیوند می‌دهد. درخت تصمیم گیری به عنوان یک روش به شما اجازه خواهد داد مسائل را بصورت سیستماتیک در نظر گرفته و بتوانید نتیجه گیری منطقی از آن بگیرید.

دسته‌بندی کننده بیز (Naive Bayes classifier)

دسته‌بندی‌کننده بیز در یادگیری ماشین به گروهی از دسته‌بندی‌کننده‌های ساده بر پایه احتمالات گفته می‌شود که با متغیرهای تصادفی مستقل مفروض میان حالت‌های مختلف و براساس قضیه بیز کاربردی است. به‌طور ساده روش بیز روشی برای دسته‌بندی پدیده‌ها، بر پایه احتمال وقوع یا عدم وقوع یک پدیده‌است.

کمینه مربعات

در علم آمار، حداقل مربعات معمولی یا کمینه مربعات معمولی روشی است برای برآورد پارامترهای مجهول در مدل رگرسیون خطی از طریق کمینه کردن اختلاف بین متغیرهای جواب مشاهده شده در مجموعه داده است. این روش در اقتصاد، علوم سیاسی و مهندسی برق و هوش مصنوعی کاربرد فراوان دارد.

رگرسیون لجستیک (logistic regression)

زمانی که متغیر وابسته ی ما دو وجهی (دو سطحی مانند جنسیت، بیماری یا عدم بیماری) است و می‌خواهیم از طریق ترکیبی از توابع منطقی دست به پیش بینی بزنیم باید از رگرسیون لجستیک استفاده کنیم. اندازه گیری میزان موفقیت یک کمپین انتخاباتی، پیش بینی فروش یک محصول یا پیش بینی وقوع زلزله در یک شهر، چند مثال از کاربردهای رگرسیون لجستیک است.

ماشین بردار پشتیبانی (Support vector machines )

یکی از روش‌های یادگیری نظارتی است که از آن برای طبقه‌بندی و رگرسیون استفاده می‌کنند. مبنای کاری دسته‌بندی کننده SVM دسته‌بندی خطی داده‌ها است و در تقسیم خطی داده‌ها سعی می‌کنیم خطی را انتخاب کنیم که حاشیه اطمینان بیشتری داشته باشد. از طریق SVM میتوان مسائل بزرگ و پیچیده‌ای از قبیل شناسایی تمایز انسان و بات‌ها در سایت‌ها، نمایش تبلیغات مورد علاقه کاربر، شناسایی جنسیت افراد در عکس‌ها و… را حل کرد.

منبع

و در پایان یک شمای کلی از انواع یادگیری ماشین وتقسیم بندی های آنها جهت تفهیم بیشتر یادآور می شویم:

سپتامبر 5, 2019/0 دیدگاه /توسط daliri

پردازش و قطعه بندی تصاویر رنگی

آموزش عمومی پردازش تصویر و بینایی ماشین

چکیده

پردازش اطلاعات چند کاناله در رنج های متفاوتی از کانال اطلاعات است که در آن پردازش اطلاعات دارای زمان زیاد و پیچیدکی فضایی بالایی بعلت تنوع و گستردگی داده ها می باشد. در این راستا بیشتر رویکردهای کلاسیک از فیلترینگ و روشهای کلاسیک استفاده می کنند. برخی از این روشها مدل تصادفی مارکوف ، فیلترینگ بردار جهت دار و مدل های ترکیبی آماری شبیه گوسین و دیریکله هستند . رویکردهای غیر کلاسیک شامل عصبی،فازی و ژنتیک می شوند.در این مقاله رویکر دهای نامبرده شده را برای ارتقای تصاویر رنگی و قطعه بندی بهتر آنها شرح می دهیم.

کلمات کلیدی: ارتقای تصاویر رنگی ، قطعه بندی تصاویر رنگی ، رویکردهای غیر کلاسیک، رویکرهای غیر کلاسیک

مقدمه

پردازش اطلاعات چند کاناله یکی از مفروضات مهم برای ارزیابی فیلدهای نمایش از راه دور GIS، تصویر برداری بیو مدیکال ، مدیریت دادهای چند طیفی ، بازیابی و تحلیل ویژگیها ی اشیاء از قبیل رنج های مختلف کانال اطلاعات که بطور اساسی پیچیده هستند. و این پیچیدگی بدلیل گسترده گی داده های ارسالی و اصلی آن می باشد . به بیانی ساده تر پردازش و قطعه بندی رنگی تصاویر به صورت مثالهای کلاسیک از پردازش اطلاعات چند مجرایی هستند. یک چالش ابتدایی در پردازش تصاویر تنوع و گستردگی از شدت رنگهای گاموت با پردازش مشخصه های چند طیفی از اجزای رنگی متفاوت آنها می باشد.

نسبت ها ی محاسباتی وابسته به اجزای رنگها ، همبستگی ورودی و نمایش مشخصه های غیر خطی می باشد.

گام اصلی در پردازش تصاویر دیجیتالی 1-پیش پردازش داده ها برای آماده سازی داده ها برای ارتقای کنتراست ، کاهش نویز و یا فیلترینگ است. 2- استخراج ویژگیها برای بازیابی اطلاعات غیر زائد و با ارزش از یک تصویر.

این عملیات هدفی برای بدست آوردن زمان بهینه و کاهش نمونه داده هاست که توسط کشف، تمرکز و معین کردن موقعیت ها و جایگاهی و تطبیقی از اشیاء است. اهداف بسیاری از الگوریتم های موجود اشیاء مورد اشاره هستند که هر از چند گاهی قابلیت استنتاج را پیدا می کنند .

به طور کلی مشخصه ها و بهینه سازی های یک الگوریتم توسط دامنه ای از داده های ورودی که قابلیت پردازش را دارند معین می شوند. دامنه داده معمولی شامل پیکسل ها، ویژگیهای محلی و لبه های تصاویر، اشیاء ادغام شدنی و مقدار ناچیزی از نامها می شوند.

دامنه داده خروجی به طور ثابت شامل قطعات تصویر به طور همگن، لبه ها پیدا شده روی اشیاء خاص از ناحیه های قطعات و اشیاء با اندازه ها، اشکال ، رنگ ها و اطلاعات متنی متفاوت می باشند.

مدل های رنگی متفاوت قابل فهم، شرط لازم برای پردازش تصاویر رنگی است. در این مقاله تمایز ها و زیان های قابلیت های فضاهای رنگی موجود را بررسی می کنیم. متغیرهای استاندارد فضای رنگی RGB مینمم پیچدگی فضای رنگی را استخراج می کنند و برای نمایش رنگ بکار می روند. کارایی هر یک از الگوریتم های قطعه بندی تصاویر هم از کلاسیک و غیر کلاسیک را می توان با چندین رویکرد غیر نظارتی تشخیص داد.

به طور پیش فرض چند اندازه برای نمایش حالتها انتخاب می کنند مانند E که برای نمایش آنتروپی استفاده می شود. اندازه های مفید تجربی برای انعکاس قابلیت های قطعه بندی استفاده می شوند. اندازه های با مقادیر پائین قابلیت های بهتری از قطعه بندی را بدست می آورند.

رویکردهای کلاسیک در قطعه بندی و پردازش تصاویر رنگی

تکنیک های فیلترینگ برای حذف نویز و ارتقا لبه ها در سالهای اخیر به یک مسئله مهم و معروف تبدیل شده است. فلیتر بردار جهت دار (VDF) با در نظر گرفتن مقادیر سیگنال نقش مهمی در پردازش تصاویر عهده دار است. پردازش اندازه و جهت سیگنال در این کلاس از فیلتر های مستقل انجام می شود. فیلتر های چندگانه ارتقا لبه بر اساس بردار میانگین برای ارتقاء لبه های خفیف در تصاویر رنگی ارائه کردند. در این روش از سه زیر فیلتر (sub filter) استفاده می شود و سر انجام خروجی این زیر فیلتر ها با بردار میانگین مقایسه می شودو یک روش دیگر با توجه به نویز برای اطلاعات چندگانه فیلتر های نزدیکترین همسایگی سازگار است. این فیلتر از ضرائب اطلاعات مستقل براساس یک روش اندازه گیری فاصله جدید که شامل بردار هاوی (جهت) فیلتر واندازه بردار فیلتر می باشد بهره می برد.

یک چهارچوب کاملا متفاوت را برای فیلتره ای رنگی ارائه می کنیم . این روش براساس رمز نگاری تصاویر رنگی و غیر رنگی کار می کنند . تا به حال چند رزولوشن بر اساس نظریه گراف ارائه شده است. این تکنیک بر اساس ویژگی و شباهت و ارتباط بین نواحی مشابه و ارتباط بین نواحی همسایه استفاده می کند و در نهایت برای اشیاء برای قطعه بندی ایده ال نواحی گروه بندی می شوند. ما می توانیم از مسائل خطی بجای مقادیر ویژه در مسائل قطعه بندی گراف استفاده کنیم . الگوریتم آنالیز میانگین شیفت دهی برای تخمین دقیق رنگ مرکز کلاسترهای فضای رنگ استفاده می کند. می توان همین روش را با استفاده از روش های پارتیشن بندی توسعه داد.

مدل های (MRF) برای مدل کردن وآنالیز عکس های چند طیفی استفاده می شود. چند جایگزین برای MRF پیشنهاد می شود تا پیچدگی زمانی آن را کاهش دهند . الگوریتم EM برای تخمین پارامترهای مدل های مخفی مارکوف برای کاهش وابستگی ساختاری در این روش استفاده می شود. می توان این الگوریتم را برای تخمین پارمترهای مدل دوباره دسته بندی کرد. این تهمین از فاکتور جریمه برای داده های مستقل برای داده های مستقل برای ماکزیمم کردن احتمال کلی مجموعه داده ها و در نتیجه کاهش مرجع محاسبات استفاده می کنند.

چندین مدل ترکیبی آماری برای تخمین مناسب از توزیع ساختار عکس ارئه می شود. به عنوان مثال از مدل ترکیبی گوسین و مدل ترکیبی دیریکله می توان نام برد . مدل ترکیبی گوسین بدلیل لینکه خواص مشابهی دارد می تواند با توزیع داده ها بوسیله بردار میانگین و ماتریس کواریانس ارائه شود . برای پیدا کردن راه حل ماکزیمم احتمال کلی برای قطعه بندی با استفاده از هسته جداگانه از این روش استفاده کردند. اگر چه این روش یک ساختار غیر گوسی و متقارن را برای توزیع داده ها پیدا می کند . در این مسئله توزیع دیریکله همانند توزیع های تغییر یافته چند متغیره بتا می تواند به طور دقیق داده ها را انتخاب کند . از این مدل در تخمین هیستوگرام ها، مدل هاهی چند پردازشی تصویر و… استفاده می کنند.

رویکردها دیگر از پردازش و قطعه بندی تصاویر رنگی

بیشتر رویکردهای کلاسیک نیاز به دانش اولیه از داده ها ی تصویر برای پردازش تصویر و قطعه بندی آن و توزیع شدت های رنگ اصلی و پارامترهای عملیاتی تصاویر دارند. در رویکردهای غیر کلاسیک که شامل عصبی ،فازی، ژنتیک و wavelet می شوند نیازی به توزیع ها و پارمترهای عملیاتی ندارند. در این قسمت انواع این روشها را شرح می دهیم:

الف- روش های مبتنی بر شبکه های عصبی

در این روش از ساختار شبکه ی عصبی چند سطحی CNN برای پردازش تصاویر رنگی در مدل های رنگی RGB استفاده می شود. در این روش رنگ های اولیه یک سطح منحصر به فرد CNN می باشد که برای پردازش موازی بکار می رود. اخیرا ساختار CNN چند سطحی بر ای تصاویر رنگی در حال بررسی و استفاده می باشد.

از یادگیری رقابتی CL برای خوشه های رنگی مبتنی بر کمترین مجموع مربعات معیارها بکار گیری می شود.

Clهمگن محلی برای خوشه بندی رنگی بهینه است. در مقایسه کارایی CLبا الگوریتم های خوشه بندی موجود شبیه CMA ,GCMA ,HCL می توان گفت که دو روش GCMA ,HCL در مقابل شرط ابتدایی حساسیتی را از خود نشان نمی دهند نتایج GCMA اکثر مواقع بهینه است ولی دارای هزینه محاسباتی بالایی می باشد در مقابل HCL دارای هزینه محاسباتی کم می باشد ولی بهینه نیست. در نتیجه در خوشه بندی سریع از CL برای خوشه بندی داده ها استفاده می شود.

Som در بسیاری از موارد استفاده می شود در دامنه نظر به اینکه می تواند بازیابی کند محتوای رنگی برجسته را از تصاویر . به طور کلی از چندین شبکه som برای خوشه بندی مبتنی بر رنگ و ویژگیهای فضایی از پیکسل های تصاویر استفاده می شود. خروجی خوشه بندی، یک رویه مطلوب از قطعه بندی تصویر است. Som تولید کرد نتایج خوشه بندی اولیه را مبتنی بر آموزش مجموعه ها از بردار 5 بعدی (R,G,B,x,y). تصاویر قطعاتی که توسط الحاق بلوکهای پراکنده و حذف پیکسل های ایزوله شده بوجود آمده اند. در یک مدل چند سطحی سازماندهی شبکه های عصبی (PSONN) بهینه است در استخراج رنگ های اشیاء از نویزهای رنگی تصاویر. بکارگیری معماری (PSONN) برای قطعه بندی رنگ ها حقیقی تصاویر استفاده می شوند برای چندین سطح از تابع های فعال سازی مشخصه های تصاویر توسط پارامترهای آستانه گیری ثابت و یکسان .

ب- رویکرد های مبتنی بر منطق فازی

تئوری مجموعه فازی و منطق فازی بکار گیری می شود به صورت دستی برای مقادیر وسیع از آشکار سازی خطای تخمینی در شدت گاموت تصاویر رنگی . الگوریتم FCM یک روش جدید برای نشان دادن مرزهای مبهم بین خوشه ها می باشد.

الگوریتم قطعه بندی تصاویر تکرار شونده در منطق فازی توسعه پیدا کرد . فضای رنگی HSV مبتنی بر رویکرد فازی برای شناسایی رنگ ها اشیا در پشت زمینه های پیچیده بکارگیری شد که شامل روشنایی های متفاوت می با شد. یک رویکرد دینامیکی فازی مبتنی بر خواص پیکسا های تصویر وجود دارد. توطعه پیدا کرد شبکه عصبی min-max بر پایه تکنیک های قعه بندی تصاویر (FMMSIS) برای کشف تصاویر مصنوعی. روش ارائه شده برای پیدا کردن مرزهای مینیمم مربعی (MBR) برای نمایش اشیاء در تصاویر بکار می رود.برچسب عصب فازی یک نمونه قابل توجیه مبتنی بر بردار تدریجی، الگوریتم عصب گازی در جهت نماهای خوشه بندی است.

سیستم های فازی عصبی مبتنی بر یک نوع جدید از شبکه های عصبی مصنوعی هستند که شبکه عصبی افزاینده وزن دار نامیده می شود (WINN). این سیستم ها در سه گام عمل میکند: در ابتدا مجموعه داده های ورودی وزن دهی می شوند در شبکه . انعکاس پیدا می کنند و شامل کاهش دهنده ها می شود .

در گام بعدی از نتایج وزن های اتصالات شبکه برای رویه ی آب پخشان در مسائل تک بعدی استفاده می شود.تعدادی از جداکننده های اتصالات وزن دار زیر شبکه ها خوشه هایی را با یک زیر شبکه برای هر خوشه بدست می آورد. در هر صورت همه ی گره های زیر شبکه دارای برچسب هستند. در نهایت نتایج خوشه ها بر روی مجموعه داده های مورد استفاده ورودی طبقه بنده های مجاور نگاشت می شود.رویکردها ی کاهش حافظه و محاسباتی دارای data setهای بزرگی هستند.

ج- رویکردهای مبتنی بر الگوریتم ژنتیک

الگوریتم ژنتیک برای بهینه سازی پارامترهای ورودی در الگوریتم های قطعه بندی موجود مورد استفاده قرار می گیرد طبقه بندی کاربردهای الگوریتم ژنتیک در دو کلاس مهم برای قطعه بندی تصاویر استفاده می شوند:

1) کاربرد پارامترهای انتخابی قطعه بندی برای استخراج قطعات خروجی

2) کاربرد پیکسل های سطحی قطعه بندی برای استخراج برچسب نواحی

روش های قطعه بندی موجود که نیاز به پارامترهای بهینه در طبقه بندی نخست دارند. الگوریتم ژنتیک برای وفق دادن 4 پارامتر ازالگوریتم قطعه بندی فونیکس استفاده می کند. الگوریتم ژنتیک در تکنیک های قطعه بندی غیر نظارتی راکه آستانه گیری چندگذر گاهی دارد را برای الگوریتم های متفاوت دسته بندی می کند. که این روش برای قطعه بندی اشیاء سه بعدی و دو بعدی مورد استفاده قرار می گیرد.در قطعه بندی سطوح پیکسل دار، الگوریتم ژنتیک را برای پیداکردن برچسب نواحی مشخصه های پیکسل ها استفاده می کند.

د- wavelet

تحلیل چند کیفیتی (MRA) برای نمایش سیگنالها و پردازش کیفیت نمایش سیگنالهای تقسیم کننده کیفیت وضوح و فضای مقیاس دهی استفده می شود. و معمولا برای کاهش ابعاد تصویر بکار گرفته می شود . تبدیل wavelet یک ابزار بهینه برای تخمین، فشرده سازی ،حذف نویز و پیدا کردن لبه ها است .می توان از این روش برای قطعه بندی تصاویر متنی نیز استفده نمود. ساختار wavelet بهینه است برای ساختارهای طیفی از داده های ورودی که اغلب برای استخراج ویزگی های تصاویر مورد استفاده قرار می گیرند.

نتیجه گیری

در این مقاله چندین الگوریتم مهم برای پیش پردازش و قطعه بندی تصاویر رنگی مورد بررسی قرار گرفت. روش های کلاسیک برای پردازش تصاویررنگی که دارای رنج تکنیک های فیلترینگ و مدل های آمار ی باشند مناسب هستند. روش های غیر کلاسیک مانند تکنیک های فازی ،عصبی ،ژنتیک وویولت تجدید پذیر هستند . کارایی این روش ها برای فاکتورهای گوناگون روی دادهای توزیع پذیر و پارامترهای عملیاتی و محیهای عملیاتی مورد بررسی قرار گرفتند.

نتیجه کلی که می توان از این مقاله گرفت این است که رنگ ها قابلیت آستانه گیری در قطعه بندی را دارند.

سپتامبر 1, 2019/0 دیدگاه /توسط daliri

بازیابی کردن محتوا محور تصاویر

آموزش عمومی پردازش تصویر و بینایی ماشین

بازیابی محتوامحور تصویر (CBIR) که با نام‌های جستجو بر اساس محتوای تصویر (QBIC) و بازیابی محتوامحور داده‌های دیداری (CBVIR) نیز شناخته می‌شود کاربرد بینایی ماشیندر مسئلهٔ بازیابی تصویراست، یعنی مسئلهٔ جستجو برای تصویر دیجیتال در پایگاه داده بزرگ. «محتوامحور» یعنی جستجو به جای استفاده از فوق داده وارد شده توسط انسان، مانند عنوان و کلیدواژگان، از محتوای خود تصاویر استفاده می‌کند. یک سامانه بازیابی محتوامحور تصاویر (CBIRS) نرم‌افزاری است که بازیابی محتوامحور تصاویر را پیاده‌سازی می‌کند.

به دلیل محدودیت‌های ذاتی سامانه‌های فوق داده‌محور علاقه به CBIR رو به رشد است. اطلاعات متنی دربارهٔ تصاویر به آسانی به کمک فناوری موجود قابل جستجو، اما نیازمند انسان‌هایی است که شخصاً تمام تصاویر پایگاه داده را توصیف کنند.

این کار برای پایگاه داده‌های خیلی بزرگ، یا تصاویری که به صورت خودکار ایجاد می‌شوند، مانند تصاویر دوربین نظارتی، غیر عملی است. همچنین ممکن است تصاویری که از کلمات هم‌معنی در توصیفشان استفاده شده است پیدا نشوند. سامانه‌های مبتنی بر طبقه‌بندی تصاویر در گروه‌های معنایی مانند «گربه» به عنوان زیرطبقه «حیوان» این اشکال را ندارند گرچه از همان مشکلات مقیاسی رنج می‌برند.

سامانه ایده‌آل CBIR از دیدگاه کاربر دربرگیرنده چیزی است که به آن بازیابی معنایی می‌گویند و به عنوان مثال کاربر درخواستی مانند “تصاویر سگ‌ها را پیدا کن” یا حتی “تصاویر پادشاه عربستان را پیدا کن ” مطرح می‌کند. انجام چنین کار بی‌انتهایی برای رایانه‌ها بسیار مشکل است – تصاویر سگ‌های ژرمن‌شپرد و دوبرمن تفاوت زیادی با هم دارند، و پادشاه عربستان ممکن است همواره رو به دوربین و با همان ژست عکس نگرفته باشد؛ بنابراین سامانه‌های CBIR کنونی از ویژگی‌های سطح پایین‌تر همچون بافت، رنگ و شکل استفاده می‌کنند، با این وجود برخی از سامانه‌ها از ویژگی‌های سطح بالاتر بسیار عمومی مانند صورت‌ها سود می‌برند(سامانه بازشناسی صورت را ببینید).همه سامانه‌های CBIR عام نیستند. برخی برای زمینهٔ خاصی طراحی شده‌اند، به عنوان مثال تطبیق شکل می‌تواند برای یافتن قطعات در یک پایگاه داده کد-کم به کار رود. پیاده‌سازی‌های مختلف CBIR از انواع مختلف جستجوهای کاربر استفاده می‌کنند.

با جستجو به کمک مثال، کاربر به کمک یک تصویر نمونه (تأمین شده توسط خود کاربر یا انتخاب شده از یک مجموعه تصادفی) جستجو می‌کند، و نرم‌افزار تصاویر شبیه آن را بر اساس چندین ضابطه سطح پایین می‌یابد.
با جستجو به کمک طرح، کاربر تقریبی اولیه از تصویری که به دنبال آن است می‌کشد، مثلاً به کمک قطره‌های رنگ، و نرم‌افزار تصاویری را که طرح‌بندیشان به آن شبیه باشد را می‌یابد.
روش‌های دیگر شامل مشخص کردن نسبت رنگ‌های درخواستی (مثلاً “۸۰٪ قرمز، ۲۰٪ آبی”) و گشتن به دنبال تصاویر دربرگیرنده جسمی که در یک تصویر نمونه داده شده است، است.

سامانه‌های CBIR همچنین می‌توانند از پسخورد مرتبط بودن استفاده کنند، که در آن کاربر به صورت پیش‌رونده نتایج جستجو را با علامت‌گذاری نتایج جستجوی قبلی به عنوان «مرتبط»، «نامرتبط» یا «خنثی» بهبود می‌بخشد و جستجو را با اطلاعات جدید تکرار می‌کند.

یک کاربرد CBIR در شناسایی تصاویر دارای رنگ پوست و شکل‌هایی که می‌تواند نشانگر وجود برهنگی باشند جهت فیلترینگ و جستجو توسط ضابطین قانونی می باشد.

منبع

آگوست 31, 2019/0 دیدگاه /توسط daliri

DNR چیست؟

آموزش عمومی پردازش تصویر و بینایی ماشین, دوربین (camera)

تکنولوژی DNR چیست؟

کاهش نویز دوربین مدار بسته توسط دیجیتال DNR چگونه است؟ روشی وجود دارد برای ازبین بردن نویز و یا کاهش نویز دوربین مدار بسته تصویر که به این روش فیلتر شانه ای گفته می شود و کلا به این تکنیک (DNR( Digital noise reduction گفته می شود پس همان طور که از اسم آن پیداست به معنای لغوی یعنی کاهش دهنده نویز به صورت دیجیتال میباشد. کارایی این تکنیک به این گونه است که با کاهش اندازه تصویر وضوح قابل مشاهده افزایش می یابد. این فیلتر گاهی اوقات به صورت دو بعدی(۲D-DNR) است و گاهی هم به صورت سه بعدی (۳D-DNR)می باشد.

۲D-DNR و ۳D-DNR هر دو یک تکنولوژی و یک مکانیزم در دوربین هستند و تنها تفاوت آنها با یکدیگر در اندازه و شدت میزان کاهندگی نویز می باشد و مسلما ۳D-DNR داری عملکرد بهتری نسبت به ۲D-DNR میباشد. در فیلتر دو بعدی ممکن است گاهی مسیرهای نوری در حال حرکت در شرایط کم نور کمی تغییر جهت داشته باشند.اما نوع سه بعدی کمی به لحاظ تکنولوژی جلوتر است و در هر حالت ممکن یعنی شرایط ثابت و متحرک می تواند میزان نویز پذیری تا حدودی کاهش دهد.

معنای نویز تصویر چیست؟ DNR چیست؟

برای درک بهتر کیفیت تصویر ابتدا بهتر است با معنای نویز آشنا شوید.در تعریف کلی نویز به این معناست که هر گونه اختلالی که در تصویر به علت تداخلات احتمالی در مسیر خطوط ایجاد شود گویند و یا در تعریف دیگر این که هر گونه اختلال یا دیتایی که به صورت احتمالی پیش می آید مثلا در نظر بگیرید با یکی از دوستان خود در حال گفتگو هستید در این حالت پیامی که شما ارسال و دریافت می کنید به صورت یک سیگنال است حال آنچه شما در این بین ممکن است دریافت نمایید نوعی نویز محسوب می شود هرچه که میزان این نویز ها کم تر باشد عمدتا دریافت بهتری خواهید داشت و به طور کلی تر باید این را گفت که کارکرد این قسمت همانند مغز است همانطور که صداهای دریافتی فیلتر می شوند.

این قسمت هم به همین شکل عمل می کند و آنچه که برای دریافت آنطور که باید ضروری نمی باشد فیلتر می کند در واقع فیلتر به این شکل عمل می کند که هر آنچه که اضافی است و در واقع نوعی نقص محسوب می شود در این قسمت تصحیح می کند و این یک تعریف کلی از عملکرد تکنیک DNR می باشد.مزیت های تکنیک DNR در کاهش نویز دوربین مدار بسته مزیت های بسیاری همراه با این سیستم وجود دارد می تواند وضوح بیشتری را در اختیار شما قرار دهد.تصویر بسیار زیباتر به نظر می رسند.میتواند وجه تمایز خوبی را برقرار سازد بین آنچه که در حرکت واقعی است و آنچه که به نویز تصویر مربوط می باشد.

DNR چگونه عمل می کند ؟

طریقه ی عملکرد آن ها در کاهش نویز دوربین مدار بسته اینگونه است که ابتدا سیگنال دریافتی با ۷۰% وضوح دریافت می شود این سیگنال در هارد دستگاه ضبط می شود بدین ترتیب شما بخش اعظمی از تصویر را بدون نویز خواهید داشت.مرحله ی بعدی مرحله ی بسیار جالبی است که مربوط می شود به چشم نوازی تصویر که در آن دوربین هایی که به تکنیک DVRR مجهز هستند تصویر زیباتری را ارائه می دهند و در کل شما در مشاهده ی تصاویر نقاط تیره و تاری نخواهید داشت و تشخیص تصویر برای شما به راحتی امکان پذیر خواهد بود.و در قسمت آخر می توان این را افزود که این تکنولوژی قادر است با همین وجه تمایز میان حرکت درست و نویز های احتمالی در تشخیص حرکت به خوبی عمل کند.

عملکرد DNR درکاهش نویز دوربین مدار بسته به چه صورت است ؟

چیپ های داخلی دوربین مدار بسته در کاهش نویز دوربین مدار بسته حذف درصدی سیگنال را دارند یعنی زمانی که میزان نویز ها از یک حد معمول بیشتر شد آن ها را حذف نمایند و به طور کلی نویز بردارند حال برای جبران این وضعیت از تکنیک DNRR استفاده می شود. و درنهایت برای اینکه یک تصویر خوب را داشته باشید یکسری شرایط لازم است از جمله بخش های که ثابت نیستند و متحرک اند فشره سازی شوند و هرچقدر هم که میزان نویز در تصاویر شما کم تر باشد میزان حفظ تصویر بیشتر خواهد بود و حرکت های واقعی بیشتر قابل دید خواهند بود.

منبع

آگوست 30, 2019/0 دیدگاه /توسط daliri

انواع نویزها

آموزش عمومی پردازش تصویر و بینایی ماشین

آشنایی با مدل های مختلف نویز

اختشاشاتی ناشناخته که رفتار آن قابل پیش بینی نبوده و باعث کاهش کیفیت تصویر خروجی میگردند را نویز می نامند. نویز در سنسورهای تصویربرداری دیجیتال امری اجتناب ناپذیر است که منشاء آن نیز می تواند از درون سنسورها ویا محیط اطراف باشد. در ضمن نویز غالب در تمام سنسورها نویز حرارتی است که ناشی از حرکت الکترونها بر اثر گرما می باشد. این نویز در اکثر قطعات الکترونیک بوجود می آید و هر چه این قطعات بیشتر به صورت مداوم کار کنند و گرم تر شوند، نویز غالب در این قطعات، نویز حرارتی خواهد بود. در سنسورهای تصویربردار ما این نویز را به صورت یک فرایند گوسی با میانگین صفر در نظر میگیریم. خطاهای مدل سازی و اندازه گیری دلایل دیگر ورود نویز در تصویر می باشند. روش های مختلفی برای حذف نویز و ترمیم تصویر وجود دارند، اما نکته مهم در طول روند حذف نویز این است که تصویر اصلی و به خصوص جزئیات آن تا حد امکان آسیبی نبیند و ساختار تصویر اصلی حفظ شود. بر این اساس روشهای مختلفی برای حذف نویز مطرح شده است. در ادامه به معرفی انواع متداول نویز در تصویر می پردازیم.

نویز ضربه ای(فلفل نمکی)

تابع چگالی احتمال ۲نویز ضربه ای (دو قطبی) به صورت زیر است:

اگر a > b باشد، شدت روشنایی b به صورت یک نقطه روشن و سطح a به صورت یک نقطه تاریک در تصویر دیده می شود. اگر هر یک از Pa یا Pb صفر باشند، نویز ضرب های حاصل یک قطبی نامیده می شود. اگر هیچ یک صفر نباشند (و به خصوص اگر هر دو تقریبا مساوی باشند) نویز حاصل شبیه پراکندگی ذرات فلفل و نمک بر روی تصویر خواهد بود. به همین علت نویز ضربه ای دو قطبی را نویز فلفل نمکی نیز می خوانند.
ضربه های نویز می توانند مثبت یا منفی باشند. معمولا مقیاس گذاری، بخشی از فرآیند دیجیتال سازی است. از آنجا که آلودگی ضربه ای معمولا نسبت به قدرت سیگنال تصویر بیشتر است، لذا معمولا نقاط نویز ضربه ای بالاترین مقدار(سیاه و سفید) را پس از دیجیتالی شدن پیدا می کنند. بنابراین مقادیر a و b را معمولاً با توجه به مقدار حداقل و حداکثر مجاز در تصویر اشباع شده فرض میکنیم. بنابراین ضربه های منفی به صورت نقاط سیاه(فلفلی) و ضربه های مثبت به صورت نقاط سفید(نمکی) در تصویر مشاهده می شوند. از بهترین فیلترها برای حذف این نوع نویز فیلتر میانه یا فیلتر گوسی است. این فیلترها اگر چه می توانند نویز تصویر را برطرف کنند اما معمولا ًباعث تیره و هموار شدن تصویر و یا لبه های آن می شوند و شرطی برای انجام تغییرات ندارد و همه ی پیکسلها را تغییر می دهد، کاهش نویز به قیمت جابجائی مقادیر پیکسل های غیر نویز با پیکسل های همسایگی می باشد و این به طور کلی منجر به کاهش کیفیت تصویر در نقاط غیر نویز می شود.

نویز گوسی

نویز گوسی دارای یک قسمت خرابی در کل تصویر است و با یک تابع گوسی در ارتباط است. به خاطر قابلیت ردگیری ریاضی در حوزههای زمان و فرکانس، از نویز گوسی (که به آن نرمال هم گفته میشود) در عمل استفاده می گردد. در حقیقت این مهارپذیری آن قدر قابل اطمینان است که از این مدل حتی در شرایطی که تنها به طور مرزی قابل اعمال است، نیز استفاده می شود. تابع چگالی احتمال یک متغیر تصادفی گوسی zاز رابطه زیر به دست می آید:

که در آن z نمایان گر شدت روشنایی مقدار میانگین z و σ انحراف استاندارد است. مربع انحراف استاندارد، σ٢ را واریانس z می نامند. وقتی z با معادله بالا مشخص شود، تقریبا ۷۰ درصد مقادیر آن در بازه [(¯ z − σ),(¯ z + σ)] و ۹۵درصد مقادیر آن در بازه [(¯ z − ٢σ),(¯ z + ٢σ)] خواهد بود. یک روش موثر برای حذف نویز گوسی، استفاده از یک ماسک است که بر روی تصویر حرکت می کند و در هر مرحله میانگین همسایه ها در نقطه میانی جای می گیرد.

نویز رایلی

تابع چگالی احتمال نویز رایلی توسط معادله زیر داده می شود:

متوسط و واریانس آن از روابط زیر به دست می آید:

نویز ارلانگ(گاما)

تابع چگالی احتمال نویز ارلانگ، از تابع زیر به دست می آید:

که در آن 0<a, b است. میانگین و واریانس این تابع چگالی به صورت زیر محاسبه می شود:

نویز یکنواخت

تابع چگالی احتمال نویز یکنواخت به صورت زیر می باشد:

و میانگین و واریانس آن به صورت زیر محاسبه می گردند:

منبع

آگوست 30, 2019/0 دیدگاه /توسط daliri

الگوریتم موازی

آموزش های عمومی هوش مصنوعی

الگوریتم های موازی در علوم کامپیوتر، برخلاف الگوریتم‌های متوالی سنتی، الگوریتم‌هایی هستند که در آنها، هر بار قسمتی از برنامه روی پردازنده‌ای متفاوت اجرا می‌شود و در آخر برای کسب نتیجهٔ مطلوب، نتایج کنار هم قرار می‌گیرند.

بعضی از الگوریتم‌ها را می‌توان به آسانی به چنین قسمت‌هایی تقسیم کرد. بطور مثال، عمل بررسی اعداد از یک تا صدهزار برای تشخیص اعداد اول را، می‌توان با اختصاص دادن زیر مجموعه‌ای از اعداد به هر پردازنده موجود و سپس گردآوری فهرست نتایج مطلوب، قسمت بندی کرد.

برخی از الگوریتم‌ها برای اجرای مراحل بعد، نیاز به نتایج مراحل قبل دارند. این‌گونه مسائل را مسائل ذاتاً متوالی می‌گویند. روش‌های عددی تکرار شونده، مانند روش نیوتون یا مسئلهٔ سه تن، نمونه‌هایی از الگوریتم‌های متوالی هستند.

برخی از مسائل را خیلی دشوار می‌توان به صورت موازی درآورد حتی اگر بازگشتی باشند. یکی از این نمونه‌ها جستحوی عمقی درخت است.

الگوریتم های موازی ارزشمندند زیرا اجرای عملیات محاسباتی بزرگ از طریق الگوریتم های موازی، به دلیل کارکرد پردازنده‌های مدرن، بسیار سریع تر از اجرای آن‌ها با الگوریتم‌های متوالی است. ساخت یک کامپیوتر با یک پردازندهٔ خیلی سریع بسیار سخت‌تر از ساختن یک کامپیوتر با تعداد زیادی پردازندهٔ کندتر با توان عملیاتی یکسان است.

با این حال، برای سرعت الگوریتم های موازی نیز محدودیت‌های خاص نظری وجود دارد. قسمتی از هر الگوریتم موازی، متوالی است، از این رو هر الگوریتم موازی یک نقطهٔ اشباع دارد. بعد از آن نقطهٔ اشباع اضافه کردن تعداد بیشتری پردازنده افزایش توان عملیاتی را در پی ندارد و تنها باعث بالا بردن هزینه و خسارات می‌شود.

هزینه و پیچیدگی الگوریتم های موازی بر اساس حافظه و زمانی (تعداد سیکل‌های پردازنده) که مصرف می‌کنند تخمین زده می‌شود.

الگوریتم های موازی باید از جهت ارتباط بین پردازنده‌های مختلف نیز بهینه شوند. الگوریتم های موازی از دو راه با پردازنده‌ها ارتباط برقرار می‌کنند، حافظهٔ مشترک، و رد و بدل کردن پیام.

پردازش حافظهٔ مشترک نیاز به قفل بندی اضافه برای اطلاعات دارد، از این رو هزینهٔ سیکل‌های گذرگاه و پردازنده‌های اضافی را تحمیل می‌کند و همچنین باعث غیر موازی شدن قسمت‌هایی از الگوریتم می‌شود.

پردازش از طریق انتقال پیام، از کانال‌ها و جعبه‌های پیام استفاده می‌کند اما این نوع ارتباط باعث افزایش هزینهٔ انتقال روی گذرگاه، حافظهٔ اضافی برای صف و جعبه‌های پیام و تأخیر در پیام‌ها می‌شود.

در طراحی‌های چند پردازنده‌ای از گذرگاه‌های خاصی استفاده می‌شود تا بدین گونه از هزینه‌های تعاملات کاسته شود اما این پردازنده‌است که حجم ترافیک را تعیین می‌کند.

مشکل دیگر الگوریتم های موازی تضمین توازن درخور آن‌ها است. برای مثال، بررسی تمام اعداد از یک تا صدهزار برای یافتن اعداد اول را می‌توان به راحتی بین پردازنده‌ها تقسیم کرد. اما در این روش ممکن است بعضی از پردازنده‌ها مجبور شوند بیشتر از بعضی دیگر کار کنند، در این صورت پردازنده‌هایی که کارشان به پایان رسیده‌است تا پایان کار دیگر پردازنده‌ها بی‌کار می‌مانند.

زیر مجموعه‌ای از الگوریتم های موازی، الگوریتم‌های توزیعی هستند که برای استفاده در محیط‌های محاسبات خوشه‌ای و محاسبات توزیعی طراحی شده‌اند، که در این حیطه باید ملاحظاتی افزون بر الگوریتم های موازی «سنتی»، اعمال شود.

طراحی الگوریتم های موازی

طراحی الگوریتم‌ها به راحتی و به دستورات مشخص محدود نمی‌شود. هدف ارائهٔ چهارچوبی است که طی آن طراحی الگوریتم های موازی امکان‌پذیر شود. در این فرایند سعی بر ایجاد درکی شهودی است از آنچه که یک الگوریتم موازی خوب را تشکیل می‌دهد.

مشکلات موجود در طراحی الگوریتم های موازی

بازده
تناسب
جزء بندی محاسبات
- تجزیهٔ
- تکنیک‌های تجزیهٔ تابعی
موقعیت
ارتباطات همگام و غیر همگام
انباشتگی

طراحی‌های علمی

این روش طراحی در چهار مرحله انجام می‌شود.

جزء بندی
ارتباطات
انباشتگی
نقشه بندی

در دو مرحلهٔ اول، تمرکز ما روی تناسب و همزمانی است. در دو مرحلهٔ دیگر نیز تمرکز روی موقعیت، و دیگر مسائل مربوط به کارایی است.

جزء بندی

کارهای مربوط به محاسبات و داده‌هایی که روی آن‌ها پردازش انجام می‌گیرد را به بخش‌های کوچک تقسیم کنید. مشکلات عملی مانند تعداد پردازنده‌ها در کامپیوتر مرکز در محاسبات نمی‌آید.

ارتباطات

ارتباطات لازم برای هماهنگ کردن اجرای امور مشخص می‌شوند. الگوریتم‌ها و ساختارهای مناسب ارتباطی نیز تعیین می‌گردند.

انباشتگی

امور و ساختارهای ارتباطی تعریف شده در دو مرحلهٔ اول یک طرح با توجه به معیارهای زیر ارزیابی می‌شوند.

نیازهای اجرایی
هزینه‌های پیاده‌سازی

در صورت لزوم، کارها با هم ادغام می‌شوند برای:

بهبود بخشیدن به کارایی
کاهش هزینه‌های توسعه

نگاشت (تطابق – mapping) – جزءجزء کردن کارها و تخصیص کارها به پردازنده‌ها)

برای هر پردازنده یک سری کار تعریف می‌شود و در این نگاشت موارد زیر رعایت می‌شود:

افزایش بهره‌برداری پردازنده‌ها -طوری‌که کارها به صورت متوازن بر روی آن‌ها تقسیم شود
کاهش هزینه‌های ارتباطی بین پردازنده‌ها

نگاشت را می‌توان به صورت ثابت یا در زمان اجرا توسط الگوریتم‌های توازن بارگذاری انجام داد.

آگوست 29, 2019/0 دیدگاه /توسط daliri

الگوریتم سیفت (SIFT)

آموزش عمومی پردازش تصویر و بینایی ماشین

تبدیل مستقل از مقیاس ویژگی (SIFT) یک الگوریتم در بینایی ماشین است که برای استخراج ویژگی‌های مشخص از تصاویر، برای استفاده در الگوریتم‌های کارهایی چون تطبیق نماهای مختلف یک جسم یا صحنه(برای نمونه در دید دوچشمی) و شناسایی اجسام به کار می‌رود. ویژگی‌های بدست آمده نسبت به مقیاس تصویر و چرخش ناوردا و نسبت به تغییر دیدگاه و تغییرات نورپردازی تا اندازه‌ای ناوردایند. نام تبدیل مقیاس‌نابسته ویژگی از آن سو که الگوریتم داده‌های تصویر را به مختصات مقیاس‌نابسته‌ای نسبت به ویژگی‌های محلی تبدیل می‌کند بر آن نهاده شد.

الگوریتم توسط دیوید لوو در دانشگاه بریتیش کلمبیا ساخته شد، که امتیاز ثبت اختراع آن در ایالات متحده را نیز دارد.

نخست، تصویر اصلی به‌طور پیش‌رونده با فیلترهای گاوسی با سیگما در بازه ۱ تا ۲ محو می‌شود که حاصلش یک سری تصاویر محو شده گاوسی است.(فیلتر کردن آبشاری). سپس، این تصویرها از همسایگان بلافصل خود(از دید سیگما) کم می‌شوند تا یک سری جدید از تصاویر پدید آیند(از تفاضل گاوسی).

مراحل محاسبه ویژگی های تصویر

گام‌های اصلی در محاسبه ویژگی‌های تصویر عبارت‌اند از:

آشکارسازی اکسترمم‌های فضای مقیاس – هر پیکسل در تصاویر با هشت همسایه‌اش و نه پیکسل(پیکسل متناظر و هشت همسایه‌اش) از هر یک از تصاویر دیگر سری مقایسه می‌شود.
محلی‌سازی کلیدنقطه‌ها – کلیدنقطه‌ها از اکسترمم‌های فضای مقیاس گزیده می‌شوند.
گرایش گماری – برای هر کلیدنقطه در یک پنجره ۱۶x۱۶، نمودار فراوانی گرایش گرادیان‌ها به کمک درونیابی دوسویه محاسبه می‌شوند.
توصیفگر کلیدنقطه – نمایش در یک بردار ۱۲۸ عنصری.

برای بکارگیری کلیدنقطگان SIFT در تطبیق و بازشناسی جسم، لوو از یک الگوریتم نزدیک‌ترین همسایه، به همراه یک تبدیل هاگ سود جست.

SIFT بخشی بنیادی از الگوریتم‌های ViPR و vSLAM ساخته شده توسط شرکت اوُلوشن رباتیکز است که یک الگوریتم هدفیابی/محلی‌سازی بر اساس سیفت نیز برای ایبوی سونی پیاده‌سازی کرده‌است که به کمک آن ایستگاه پر کردن باتری خود را پیدا می‌کند.

تصور می‌شود نمایش‌های ویژگی پیدا شده با SIFT به نمایش‌هایی که توسط نورون‌های پوسته گیجگاهی تحتانی استفاده می‌شوند شبیه‌اند، ناحیه‌ای از مغز که برای بازشناسی جسم در بینایینخستینگان استفاده می‌شود.

منبع

برای اطلاعات تکمیلی پاورپوینت زیر را دانلود و مشاهده فرمایید.

Scale Invariant Feature Transform دریافت

آگوست 28, 2019/0 دیدگاه /توسط daliri

الگوریتم های هم تکاملی

آموزش عمومی پردازش تصویر و بینایی ماشین

الگوریتم های هم تکاملی صورت دیگری از الگوریتم های تکاملی است و به معنای اجرای الگوریتم های تکاملی همزمان بین دو یا چند گونه متفاوت و با توابع ارزیابی ترکیبی می باشد.الگوریتم های هم تکاملی در طیف وسیعی از مسائل، زمانی که روشهای تکاملی معمول در یافتن پاسخ مسأله موثر نیستند، به عنوان یک راه حل ابتکاری و جدید به کار گرفته می شوند.

این الگوریتم ها عموماً به دو صورت کلی هم تکاملی همکارانه و هم تکاملی رقابتی پیاده سازی شده اند و سودمندی آنها زمانی مشخص می شود که با مسائلی مواجه می شویم که فضای جستجوی آنها بسیار بزرگ و یا نامحدود است، یا مسائلی که یک معیار عینی برای محاسبه برازندگی ندارند یا بیان معیار عینی به صورت روابط ریاضی بسیار مشکل است و یا مسائلی که دارای ساختار خاصی هستند که در مسائل معمولی با آن مواجه نمی شویم. شباهت عملکرد الگوریتم های هم تکاملی و تئوری بازی ها، دلیل قابل قبولی برای استفاده از اصول روش تئوری بازی برای فرموله کردن الگوریتم های هم تکاملی است.

هم تکاملی، یک سیستم توزیع شده با دینامیک پیچیده است و مدیریت چنین سیستمی با اجرای دیدگاه عاملگرایانه، روشنتر و موفق تر می تواند انجام پذیرد. دیدگاه عاملگرایانه در طراحی accea ویژگیهای متمایز کننده ای برای آن به ارمغان می آورد که ساده تر شدن تخصیص منابع، تحمل خطا و مقاوم بودن و در نتیجه، افزایش قابلیت اطمینان سیستم از جمله مزایای آن می باشد. برای بررسی عملکرد accea، این الگوریتم در بهینه سازی پارامترهای یک شبکه anfis مورد استفاده قرار گرفته است. accea متشکل از تعدادی الگوریتم ژنتیک برای تنظیم و بهینه سازی همزمان کلیه پارامترهای توابع عضویت و پارامترهای توابع خروجی خواهد بود. با این ترکیب، یک سیستم فازی عصبی تطبیقی هم تکاملی (ceanfis) بدست می آید. در نهایت عملکرد ceanfis در پیش بینی سری زمانی مورد بررسی قرار گرفته است که نتایج بدست آمده تأییدی بر ویژگیهای مورد انتظار از الگوریتم accea از جمله بدست آمدن پاسخ بهینه سراسری، سرعت و دقت قابل توجه در رسیدن به جواب بهینه، مقاوم بودن و تطبیق پذیری الگوریتم است.

برای دریافت اطلاعات بیشتر فایل های زیر را دانلود و مشاهده فرمائید:

رمز فایل: behsanandish.com

Coevolutionary

آگوست 28, 2019/0 دیدگاه /توسط daliri

بایگانی برچسب برای: ;kjvg jvnn

کلیات

نمودار درخت تصمیم گیری

مکان‌های مورد استفاده

الگوریتم ساخت درخت تصمیم‌گیری

مسئله دسته‌بندی

مسئله رگرسیون

مزایا

معایب

برآورد پارامترهای بهینه

تنظیم مدل (Regularization)

تفسیر احتمالی تنظیم مدل

رگرسیون لوژستیک (لجستیک)

رگرسیون لجستیک (LOGESTIC REGRESSION)

متغیرهای تحلیل رگرسیون لجستیک

پیش فرض های رگرسیون لجستیک

رگرسیون لجستیک چیست؟

انواع رگرسیون لجستیک

یادگیری با نظارت چیست؟

یادگیری نظارتی (Supervised ML)

دسته‌بندی کننده بیز (Naive Bayes classifier)

کمینه مربعات

رگرسیون لجستیک (logistic regression)

چکیده

مقدمه

رویکردهای کلاسیک در قطعه بندی و پردازش تصاویر رنگی

رویکردها دیگر از پردازش و قطعه بندی تصاویر رنگی

الف- روش های مبتنی بر شبکه های عصبی

ب- رویکرد های مبتنی بر منطق فازی

ج- رویکردهای مبتنی بر الگوریتم ژنتیک

د- wavelet

نتیجه گیری

تکنولوژی DNR چیست؟

معنای نویز تصویر چیست؟ DNR چیست؟

DNR چگونه عمل می کند ؟

عملکرد DNR درکاهش نویز دوربین مدار بسته به چه صورت است ؟

نویز ضربه ای(فلفل نمکی)

نویز گوسی

نویز رایلی

نویز ارلانگ(گاما)

نویز یکنواخت

طراحی الگوریتم های موازی

مشکلات موجود در طراحی الگوریتم های موازی

طراحی‌های علمی

جزء بندی

ارتباطات

انباشتگی

مراحل محاسبه ویژگی های تصویر

تلفن های تماس:

ساعات کاری

پیوند ها :

محصولات :