ارائه­ دهنده:

  اساتید راهنما:

 دکتر محمد طاهر پیله‌ور

هیات داوران:
دکتر سعیده ممتازی  
دکتر صالح اعتمادی

زمان:
چهارشنبه ۱۴۰۰/۰۶/۲۴

آقای حسین محبی دانشجوی کارشناسی ارشد جناب آقای دکتر محمد طاهر پیله‌ور روز چهارشنبه ۲۴ شهریور ماه ساعت ۰۸:۰۰ از پروژه کارشناسی ارشد خود تحت عنوان "تفسیرپذیری و انتقال‌پذیری دانش‌های زبانی در مدل‌های زبانی از پیش‌آموزش‌دیده" دفاع خواهند نمود

چکیده پایان نامه:
به‌دنبال موفقیت‌های چشم‌گیر مدل‌های زبانی از پیش‌آموزش‌دیده در حوزه پردازش زبان طبیعی و یادگیری انتقالی، اخیرا موج قابل‌توجهی از تحقیقات به آشکارسازی دانش‌های زبانی کسب‌شده توسط بازنمایی‌های این مدل‌ها اختصاص یافته است. یکی از روش‌های محبوب و پرکاربرد در این تحقیقات استفاده از رده‌بند‌هایی موسوم به کاوش‌گر هستند که بر روی بازنمایی‌های یک مدل آموزش داده شده و از دقت آن‌ها به‌عنوان توانایی مدل در کسب دانش‌ها تعبیر می‌شود. اگرچه این نتایج دید خوبی از نوع دانش‌های زبانی کدشده در لایه‌های مختلف فراهم می‌کنند، اما این تحقیقات به نتیجه‌گیری تنها برحسب سنجه‌هایی مانند دقت بسنده کرده و دلایل متفاوت بودن دقت کاوش‌ها در لایه‌های مختلف و نقشی که توسط بازنمایی هر یک از توکن‌ها ایفا می‌شود را روشن نکرده‌اند. در این تحقیق ابتدا با معرفی یک روش کاوش بدیع مبتنی‌بر گرادیان، تحقیقات در این زمینه را به سطح توکن‌ها توسعه داده و به‌کمک آن به‌دنبال اکتشاف زیرفضاهایی متمایز و معنادار در فضای بازنمایی‌های بافتاری مدل هستیم که بتوانند نتایج  به‌دست‌آمده توسط کاوش‌ها را توضیح دهند. نتایج این کاوش بر روی مجموعه وظایف متنوع سطحی، نحوی و معنایی نشان می‌دهد مدل‌های برت و روبرتا در بازنمایی بعضی از توکن‌ها دانش نسبتا بیشتری کد می‌کنند. سپس با الهام از این نتیجه، یک روش بدیع و پویا برای حذف توکن‌های بی‌اهمیت در هر لایه از مدل پیشنهاد می‌دهیم که موجب کاهش هزینه محاسباتی و مدت زمان استنتاج شود. همچنین نشان می‌دهیم استفاده از معیار برجستگی با اختلاف قابل توجهی بهتر از اتکا به وزن‌های توجه‌به‌خود در سنجش اهمیت توکن‌ها در یک جمله است. در پایان، تحقیقات در حوزه کاوش بازنمایی‌ها را به سایر مدل‌ها توسعه داده و با بهره‌گیری از یک کاوش مبتنی بر علم نظریه اطلاعات، سه مدل محبوب و پرکاربرد مبتنی‌بر برت با اهداف آموزشی کاملا متفاوت را مورد تحقیق قرار داده و نشان می‌دهیم توزیع دانش‌های کدشده در این مدل‌ها یکسان نبوده و رفتار متفاوتی را نسبت‌به هم به‌نمایش می‌گذارند. به‌طور خاص نشان می‌دهیم مدل ایکس‌ال‌نت دانش‌های زبانی را در لایه‌های ابتدایی‌تر انباشته کرده در حالی که الکترا بیشتر این دانش‌ها را در لایه‌های آخر کد کرده است.