ارائه­ دهنده:

  استاد راهنما:

  دکتر محمد‌طاهر پیله‌ور و
دکتر سید صالح اعتمادی

هیات داوری: 
دکتر مرتضی آنالویی
 دکتر یدالله یعقوب‌زاده

زمان:
 ۱۴۰۱/۰۲/۲۵

ساعت ۱۸:۰۰
 

آقای هومن مهرآفرین دانشجوی کارشناسی ارشد آقایان دکتر محمد‌طاهر پیله‌ور و دکتر سید صالح اعتمادی مورخ ۲۵ اردیبهشت ماه ساعت ۱۸:۰۰ از پروژه کارشناسی ارشد خود تحت عنوان "تأثیر سایز مجموعه‌ داده بر روی دانش ذخیره‌شده در مدل‌های زبانی تنظیم‌شده" دفاع خواهند نمود.

چکیده پایان نامه:
مدل‌های پیش‌آموزش‌داده در پردازش زبان، محققان به‌دنبال یافتن پاسخی برای علت عملکرد بالای چنین مدل‌هایی هستند. در همین راستا با استفاده از روش‌هایی همانند واکاوی بازنمایی‌های مدل‌های پیش‌آموزش‌داده به یک سری اطلاعات زبانی کد‌گذاری شده در آن‌ها پی برده‌اند. دانش زبانی مدل را می‌توان به عنوان پاسخی برای علت عملکرد بالای چنین مدل‌هایی در پردازش زبان تلقی نمود. اگر چه این مدل‌ها عملکرد بسیار خوبی در اکثر تسک‌ها دارند، نیاز است که بر روی تسک هدف برای چند ایپاک تنظیم شوند. تنظیم‌سازی مدل همواره تغییراتی را در وزن‌ها و بازنمایی‌های مدل ایجاد می‌کند. این تغییرات در بازنمایی‌های مدل به تغییرات در دانش زبانی کدگذاری شده در آن‌ها نیز منجر می‌شود.
تعدادی از تحقیقات به بررسی علت مؤثر بودن تنظیم‌سازی پرداخته‌اند. چنین مطالعاتی معمولا به کمک واکاوی بازنمایی‌های مدل صورت می‌گیرند. اما در بررسی‌های صورت گرفته از نقش سایز مجموعه‌داده تنظیم‌ساز چشم پوشی شده است. در این گزارش اهمیت این عامل در عملکرد کاوش مدل بررسی شده است و نشان داده شده است که مقدارد دانش زبانی کدگذاری شده به تعداد داده‌های آموزشی تسک تنظیم‌ساز وابسته است. بررسی‌ها همچنین نشان می‌دهند که مجموعه‌داده‌های بزرگ عمدتا بر روی لایه‌های بالایی اثر می‌گذارند و مقدار این تأثیر به دلیل تعداد دفعات به روز رسانی مدل است. در نهایت نیز با یک سری آزمایش به بررسی تأثیر سایز مجموعه‌داده در بازیابی دانش زبانی تغییر یافته پرداخته شده است.

واژگان کلیدی: کاوش، مدل‌های زبانی پیش‌آموزش‌داده، دانش زبانی، تنظیم‌سازی

دانشکده مهندسی کامپیوتر مدیریت تحصیلات تکمیلی