ارائه­ دهنده:

  اساتید راهنما:

دکتر سید صالح اعتمادی و دکتر محمدطاهر پیله ور

هیات داوران:
 دکتر بهروز مینایی بیدگلی
دکتر یدالله یعقوب زاده

زمان:
یکشنبه ۱۴۰۰/۰۸/۳۰

ساعت ۱۴:۰۰
 

آقای سیدمحسن طبسی دانشجوی کارشناسی ارشد جناب آقای دکتر سید صالح اعتمادی و دکتر محمدطاهر پیله ور روز یکشنبه ۳۰ آبان ماه ساعت ۱۴:۰۰ از پروژه کارشناسی ارشد خود تحت عنوان "یک روش طبقه بندی با نمونه های معدود با استفاده از مدلهای زبانی ازپیش آموزش دیده " دفاع خواهند نمود.

چکیده پایان نامه:
مدل­های زبانی یکی از مؤلفه­ های اساسی در پردازش زبان طبیعی هستند. امروزه گسترش مدل­های زبانی مبتنی بر شبکه­ های عصبی عمیق و ظهور مدل­های زبانی از پیش آموزش­ دیده منجر به پیشرفت­های شگرفی در حل مسائل مختلف این حوزه شده است. این پیشرفت را می­توان در مسائل گوناگون مرتبط با فهم زبانی، از جمله پاسخ ­دهی به پرسش و انواع طبقه­ بندی متون مشاهده کرد. در این مسیر، بلندترین گام با معرفی معماری ترنسفورمر و سپس توسعه مدل­های زبانی مبتنی بر آن از جمله BERT و GPT برداشته شده است. از ویژگی­های تعیین­ کننده معماری ترنسفورمر می­ توان به امکان آموزش بر روی حجم عظیم دادگان متنی، مقیاس پذیری از نظر تعداد پارامترها و سهولت انتقال دانش زبانی به مسائل مختلف اشاره کرد.
پس از مشاهده بهبود نتایج در مسائل گوناگون پردازش زبان طبیعی، رویکرد جدیدی در به­کارگیری مدل­های زبانی مبتنی بر ترنسفورمر شکل گرفت. این رویکرد سعی دارد با ارتباط با مدل زبانی به زبان طبیعی، حداکثر استفاده را از دانش نهادینه­ شده در مدل داشته باشد. به عنوان مثال برای تحلیل احساسات متن، به زبان طبیعی از مدل پرسیده می­شود: «_متن ورودی_ من احساس خیلی __» و مدل زبانی با پیشنهاد دادن کلمه بعدی (مثلا «عالی») درباره احساسات متن ورودی اظهارنظر می­کند. نکته مهم درباره این رویکرد (که آن را تحریک زبانی می­نامیم)، عملکرد قابل توجه آن با استفاده از نمونه­ های آموزشی معدود در برخی مسائل (عموماً طبقه ­بندی) است که نشان می­ دهد مدل زبانی دانش موردنیاز برای حل این مسائل را تا حد خوبی داشته است و کافی است صورت مسئله به نحو مناسبی به مدل تفهیم شود.
تا به امروز موفق­ترین روش­های طبقه­ بندی مبتنی بر تحریک زبانی، از مدل­های زبانی جای­خالی استفاده می­کردند. محدودیت عمده این روش­ها ثابت ­بودن تعداد کلمات جای­ خالی (معمولا یک جای­ خالی) و در نتیجه محدودکردن مدل زبانی در پاسخ­دهی است.
در این پژوهش روش جدیدی برای طبقه­ بندی متن با نمونه­های معدود ارائه می­دهیم که با استفاده از مدل زبانی علّی (مولد) مانند GPT۲ انعطاف بیشتری برای تحریک زبانی ایجاد می­کند. در روش پیشنهادی، ابتدا توصیف­های متعددی برای هر کلاس به صورت خودکار یا توسط انسان تولید می­شود. سپس با پرسش میزان ارتباط هر توصیف با متن ورودی از مدل زبانی، درباره خروجی تصمیم­ گیری می­شود. از ویژگی­های این روش می­توان به توضیح­ پذیری، انعطاف در پاسخ مدل زبانی، امکان طراحی هدفمند توصیف­ ها توسط متخصص و استفاده از مدل­زبانی استاندارد بدون هیچ­گونه پیش­فرض اشاره کرد. بررسی­های کمی و کیفی عملکرد قابل قبول روش پیشنهادی را در مسائل طبقه­بندی اخبار، تحلیل احساسات، تشخیص عواطف و تشخیص نیت نشان می­دهد که مسلماً با افزایش کیفیت مدل زبانی مورداستفاده قابل بهبود خواهد بود.
واژه‌های کلیدی: پردازش زبان طبیعی، مدل زبانی از پیش آموزش ­دیده، یادگیری با نمونه­های معدود، طبقه­ بندی متن، مدل GPT