ارائه­ دهنده:

  اساتید راهنما:

 دکتر بهروز مینایی

هیات داوران:
 دکتر ناصر مزینی
 دکتر هشام فیلی

زمان:
شنبه ۱۴۰۰/۰۸/۲۲

آقای مهرداد ناصر دانشجوی کارشناسی ارشد جناب آقای دکتر بهروز مینایی روز شنبه ۲۲ آبان ماه ساعت ۱۶:۴۵ از پروژه کارشناسی ارشد خود تحت عنوان "استفاده از شبکه‌های عصبی ترنسفورمر برای استخراج رابطه با نظارت از راه دور " دفاع خواهند نمود. 

چکیده پایان نامه:
استخراج رابطه با نظارت از راه دور برای تولید مجموعه داده به صورت خودکار استفاده می‌شود ولی با تولید نمونه‌های اشتباه همراه است. اغلب روش‌های موجود از یادگیری چند نمونه‌ای کاهش اثر این نمونه‌های اشتباه استفاده می‌کنند. با این حال به دلیل این که استخراج رابطه، به جای سطح جمله، در سطح سبد (مجموعه جملاتی که جفت موجودیت یکسان دارند) انجام می‌شود و هر سبد یک نمونه محسوب می‌شود، استفاده از شبکه‌های ترنسفورمر با تعداد پارامتر زیاد به عنوان کدگذار در یادگیری چند نمونه‌ای نیازمند حافظه‌ی زیاد برای آموزش نسبت به یادگیری سطح جمله است. در این تحقیق، یک روش جدید مبتنی بر نمونه‌گیری برای استخراج رابطه با نظارت از راه دور پیشنهاد می‌دهیم که حافظه‌ی مورد نیاز برای یادگیری چند نمونه‌ای را به طور قابل توجهی کاهش می‌دهد. در روش پیشنهادی، در هر گام از فرآیند آموزش، مجموع تعداد جملات موجود در سبد‌ها در یک دسته را با نمونه‌گیری از سبد‌ها محدود می‌کنیم. با این حال این نمونه‌گیری تصادفی باعث حذف شدن جملات صحیح از سبد‌های جملات می‌شود. همچنین به دلیل ماهیت تصادفی این روش آموزش، جملات یک سبد در هر گام از آموزش متفاوت خواهند بود و به این دلیل با هر بار آموزش، مثل این است که مدل روی یک مجموعه داده کمی متفاوت آموزش دیده و به همین دلیل عملکرد مدل دارای واریانس بیشتری نسبت به حالت عادی خواهد بود. برای رفع این مشکلات، ما از ترکیب چند مدل آموزش داده شده در فاز آزمون استفاده می‌کنیم. ما از روش پیشنهادی برای تنظیم شبکه ترنسفورمر BERT بر روی مجموعه داده NYT استفاده می‌کنیم. نتایج به‌دست آمده نشان می‌دهد که روش پیشنهادی عملکرد بسیار بهتری نسبت به روش‌های مرز دانش کنونی در معیار‌های PN و AUC (به میزان ۰.۱۰۴) دارد.
 
واژه‌های کلیدی: استخراج رابطه، نظارت از راه دور، شبکه‌های ترنسفورمر، یادگیری عمیق