بایگانی‌های مدل‌های مخفی مارکوف و HMM پیوسته

انواع مدل‌های مخفی مارکوف و HMM پیوسته

همان‌طور که گفته شد نوع خاصی از HMM وجود دارد که در آن تمام حالات موجود با یکدیگر متصل هستند. لیکن مدل مخفی مارکوف از لحاظ ساختار و اصطلاحاً توپولوژی انواع مختلف دارد. همان‌طور که گفته شد برای مدل ارگودیک برای تمام i و jها $\ a_{ij}>0$ است و ساختار مدل مثل یک گفتار کامل است که راسها در آن دارای اتصالات بازگشتی نیز می‌باشند. لیکن برای کاربردهای متفاوت و با توجه به پیچیدگی فرایند نیاز به ساختار متفاوتی وجود دارد. از جمله این ساختارها که به شکل گسترده‌ای در کاربردهای شناسایی گفتار مبتنی بر واج و شناسایی گوینده مورد استفاده قرار می‌گیرد، مدل چپ به راست یا مدل بکیس است. این مدل که ساختار آن را در شکل ۲ نیز می‌بینید، دارای اتصالات چپ به راست است و برای مدل کردن سیگنالهایی که خواص آن‌ها با زمان تغییر می‌کند مورد استفاده قرار می‌گیرد. در مدل چپ به راست تنها یک حالت ورودی وجود دارد که همان حالت اول است و به این ترتیب:

$\pi _{t}={\begin{cases}0,&\,i\neq 1\\1,&\,i\neq 1\end{cases}}$ مدلهای ارگودیک و چپ به راست مدل‌های HMM پایه هستند و در پردازش گفتار نیز بیشترین کاربرد را دارا می‌باشند. هرچند می‌توان با اتصال چندین مدل یا تغییر در ساختار اتصالات آن مدلهایی با انعطاف‌پذیری بیشتری ایجاد نمود. شکل ۲-ج یک نمونه از مدل موازی چپ به راست، که شامل دو مدل چپ به راست است، را نشان می‌دهد.

در قسمت‌های قبل مدل‌های HMM برای مجموعه مشاهدات گسسته را مورد بررسی قرار دادیم. اگر چه می‌توان با چندی‌سازی تمام فرایندهای پیوسته را به فرایندهای با دنباله مشاهدات گسسته تبدیل نمود، اما این کار ممکن است باعث افت مدل شود. در مدل HMM پیوسته احتمال قرار گرفتن مشاهدات در یک حالت را با توابع چگالی احتمال نشان می‌دهند. در این شرایط برای هر حالت i و ورودی O، احتمال مشاهده $\ b_{t}(O)$ به صورت یک توزیع شامل M مخلوط نشان داده می‌شود:

$\ b_{t}(O)=\sum _{m=1}^{M}c_{im}R(O,\mu _{im},U_{im})$

$\ c_{im}\geq 0,1\leq i\leq N,1\leq m\leq M$

مدل مخلوط گاوسی

مدل مخلوط گوسی یکی از مهمترین روش‌های مدل کردن سیگنال است که در واقع شبیه یک HMM یک حالته است که تابع چگالی احتمال آن حالت دارای چندین مخلوط نرمال می‌باشد. احتمال تعلق بردار آزمایشیd به یک مدل مخلوط گاوسی دارای M مخلوط به شکل زیر بیان می‌شود:

$P(x|GMM)=\sum _{t=1}^{M}c_{t}.N(\mu _{t},\Sigma _{t}),$

که در آن $\ c_{t}$ وزن مخلوط $\mu _{t}$ و $\Sigma _{t}$ به ترتیب بردار میانگین و ماتریس کوواریانس توزیع نرمال هستند. ماتریس کوواریانس مدل GMM معمولاً به صورت قطری در نظر گرفته می‌شود، گرچه امکان استفاده از ماتریس کامل نیز وجود دارد.

برای به‌دست آوردن پارامترهای مدل GMM، شامل وزن مخلوط‌های گاوسی و میانگین و کواریانس توزیع‌ها، از الگوریتم ماکزیمم نمودن امید ریاضی(EM)استفاده می‌شود. باید توجه داشت که تعداد مخلوطهای گاوسی با تعداد نمونه‌های موجود آموزشی رابطه مستقیم دارند و نمی‌توان با مجموعه داده‌ای ناچیز یک مدل GMM دارای تعداد بیش از حد از مخلوطها را آموزش داد. در تشکیل و آموزش مدل GMM مانند تمام روش‌های تشکیل مدل رعایت نسبت میزان پیچیدگی مدل و نمونه‌های آموزشی الزامی می‌باشد.

فرضیات تئوری مدل مخفی مارکوف

برای اینکه مدل مخفی مارکوف از لحاظ ریاضی و محاسباتی قابل بیان باشد فرضهای زیر در مورد آن در نظر گرفته می‌شود.

۱- فرض مارکوف

با داشتن یک مدل مخفی مارکوف، احتمال انتقال از حالت i به حالت j به صورت زیر تعریف می‌شود:

$\ a_{ij}=p(q_{t+1}|q_{t}=i)$

به بیان دیگر فرض می‌شود که حالت بعدی تنها به حالت فعلی بستگی دارد. مدل حاصل از فرض مارکوف یک مدل HMM مرتبه صفر می‌باشد. در حالت کلی، حالت بعدی می‌تواند با k حالت قبلی وابسته باشد. این مدل که مدل HMM مرتبه k ام گفته می‌شود، با استفاده از احتمالات انتقال به صورت زیر تعریف می‌گردد.

$\ a_{i1}a_{i2}a_{i3}a{i4}...=p(q_{t+1}=j|q_{t}=i_{1},q_{t-1}=i_{2}....,q_{t-k+1}=i_{k},1\leq i_{1},i_{2},...i_{k},j\leq N))$

به نظر می‌رسد که یک مدل HMM از مرتبه بالاتر باعث افزایش پیچیدگی مدل می‌شود. علی‌رغم اینکه مدل HMM مرتبه اول متداول‌ترین مدل است، برخی تلاشها برای استفاده از مدل‌های دارای مرتبه بالاتر نیز در حال انجام می‌باشد.

۲- فرض ایستایی (stationarity)

در اینجا فرض می‌شود که احتمال انتقال در بین حالات از زمان واقعی رخداد انتقال مستقل است. در این صورت می‌توان برا ی هر $\ t_{1},t_{2}$ نوشت

$\ p(q_{t_{1}+1}=j|q_{t_{1}}=i)=p(q_{t_{2}+1}=j|q_{t_{2}}=i$

۳- فرض استقلال خروجی

در این حالت فرض می‌شود که خروجی (مشاهدات) فعلی به صورت آماری از خروجی قبلی مستقل است. می‌توان این فرض را با داشتن دنباله‌ای از خروجی‌ها مانند بیان نمود:

$\ O=o_{1},o_{2},....o_{T}$

آنگاه مطابق با این فرض برای مدل HMM با نام $\ \lambda$ خواهیم داشت:

$\ p(O|q_{1},q_{2},..q_{T},\lambda )={\begin{matrix}\prod _{t=1}^{T}p(O_{t}|q_{t},\lambda )\end{matrix}}$

اگر چه بر خلاف دو فرض دیگر این فرض اعتبار کمتری دارد. در برخی حالات این فرضیه چندان معتبر نیست و موجب می‌شود که مدل HMM با ضعفهای عمده‌ای مواجه گردد.

مسئله ارزیابی و الگوریتم پیشرو (forward)

در این حالت مسئله این است که با داشتن مدل $\lambda =(A,B,\pi )$ و دنباله مشاهدات $O=\{O_{1},O_{2},...,O_{T}\}$ باید مقدار $\ P(O|\lambda )$ را پیدا نماییم. می‌توانیم این مقدار را با روش‌های آماری مبتنی بر پارامترها محاسبه نماییم. البته این کار به محاسباتی با پیچیدگی $\ O(N^{T})$ احتیاج دارد. این تعداد محاسبات حتی برای مقادیر متوسط t نیز بسیار بزرگ است. به همین دلیل لازم است که راه دیگری برای این محاسبات پیدا نماییم. خوشبختانه روشی ارائه شده‌است که پیچیدگی محاسباتی کمی دارد و از متغیر کمکی $\ a_{t}(i)$ با نام متغیر پیشرو استفاده می‌کند.

متغیر پیشرو به صورت یک احتمال از دنباله مشاهدات $O=\{O_{1},O_{2},...,O_{t}\}$ تعریف می‌شود که در حالت i خاتمه می‌یابد. به بیان ریاضی:

$\alpha _{t}(i)=p\{O_{1},O_{2},...,O_{t},q_{t}=i|\lambda \}$ آنگاه به سادگی مشاهده می‌شود که رابطه بازگشتی زیر برقرار است.

$\ a_{t+1}(j)=b_{j}(O_{t+1}\sum _{i=1}^{N})a_{t}(i)a_{ij},1\leq j\leq N,1\leq t\leq T-1$

که در آن

$\ a_{1}(j)=\pi _{j}b_{j}(O_{1}),1\leq j\leq N$

با داشتن این رابطه بازگشتی می‌توانیم مقدار زیر را محاسبه نماییم.

$\ a_{T}(i),1\leq i\leq N$

و آنگاه احتمال $\ P(O|\lambda )$ به صورت زیر محاسبه خواهد شد:

$p\{O|\lambda \}=\sum _{i=1}^{N}a_{T}(i)$

پیچیدگی محاسباتی روش فوق که به الگوریتم پیشرو معروف است برابر با $\ O(N^{2}T)$ است، که در مقایسه با حالت محاسبه مستقیم که قبلاً گفته شد، و دارای پیچیدگی نمایی بود، بسیار سریعتر است.

روشی مشابه روش فوق را می‌توان با تعیین متغیر پسرو، $\beta _{t}(i)$ ، به عنوان احتمال جزئی دنباله مشاهدات $O=\{O_{t+1},O_{t+2},...,O_{T}\}$ در حالت i تعریف نمود. متغیر پیشرو را می‌توان به شکل زیر نمایش داد.

$\beta _{t}(i)=p\{O_{t+1},O_{t+2},...,O_{T}|q_{t}=i,\lambda \}$

مانند روش پیشرو یک رابطه بازگشتی به شکل زیر برای محاسبه $\beta _{t}(i)$ وجود دارد.

$\beta _{t}(i)=\sum _{i=1}^{N}\beta _{t+1}(j)a_{ij}b_{j}(O_{t+1}),1\leq i\leq N,1\leq t\leq T-1$

که در آن

$\beta _{t}(i)=1,1\leq i\leq N$

می‌توان ثابت کرد که

$\ a_{t}(i)\beta _{t}(i)=p\{O,q_{t}=i|\lambda \},1\leq i\leq N,1\leq t\leq T$

آنگاه می‌توان با کمک هر دو روش پیشرو و پسرو مقدار احتمال $\ P(O|\lambda )$ را محاسبه نمود.

$p\{O|\lambda \}=\sum _{i=1}^{N}p\{O,q_{t}=i|\lambda \}=\sum _{i=1}^{N}a_{t}(i)\beta _{t}(i)$ رابطه فوق بسیار مهم و مفید است و بخصوص برای استخراج روابط آموزش مبتنی بر گرادیان لازم می‌باشد.

مدل مخفی مارکوف (Hidden Markov Model) قسمت 1
مدل مخفی مارکوف (Hidden Markov Model) قسمت 2
مدل مخفی مارکوف (Hidden Markov Model) قسمت 3
مدل مخفی مارکوف (Hidden Markov Model) قسمت 4

بایگانی برچسب برای: مدل‌های مخفی مارکوف و HMM پیوسته

مدل مخفی مارکوف (Hidden Markov Model) قسمت 3

انواع مدل‌های مخفی مارکوف و HMM پیوسته

مدل مخلوط گاوسی

فرضیات تئوری مدل مخفی مارکوف

مسئله ارزیابی و الگوریتم پیشرو (forward)

تلفن های تماس:

ساعات کاری

پیوند ها :

محصولات :