ارائه دهنده:
سیدمحسن طبسی
اساتید راهنما:
دکتر سید صالح اعتمادی و دکتر محمدطاهر پیله ور
هیات داوران:
دکتر بهروز مینایی بیدگلی
دکتر یدالله یعقوب زاده
زمان:
یکشنبه ۱۴۰۰/۰۸/۳۰
ساعت ۱۴:۰۰
آقای سیدمحسن طبسی دانشجوی کارشناسی ارشد جناب آقای دکتر سید صالح اعتمادی و دکتر محمدطاهر پیله ور روز یکشنبه ۳۰ آبان ماه ساعت ۱۴:۰۰ از پروژه کارشناسی ارشد خود تحت عنوان "یک روش طبقه بندی با نمونه های معدود با استفاده از مدلهای زبانی ازپیش آموزش دیده
" دفاع خواهند نمود.
چکیده پایان نامه:
مدلهای زبانی یکی از مؤلفه های اساسی در پردازش زبان طبیعی هستند. امروزه گسترش مدلهای زبانی مبتنی بر شبکه های عصبی عمیق و ظهور مدلهای زبانی از پیش آموزش دیده منجر به پیشرفتهای شگرفی در حل مسائل مختلف این حوزه شده است. این پیشرفت را میتوان در مسائل گوناگون مرتبط با فهم زبانی، از جمله پاسخ دهی به پرسش و انواع طبقه بندی متون مشاهده کرد. در این مسیر، بلندترین گام با معرفی معماری ترنسفورمر و سپس توسعه مدلهای زبانی مبتنی بر آن از جمله BERT و GPT برداشته شده است. از ویژگیهای تعیین کننده معماری ترنسفورمر می توان به امکان آموزش بر روی حجم عظیم دادگان متنی، مقیاس پذیری از نظر تعداد پارامترها و سهولت انتقال دانش زبانی به مسائل مختلف اشاره کرد.
پس از مشاهده بهبود نتایج در مسائل گوناگون پردازش زبان طبیعی، رویکرد جدیدی در بهکارگیری مدلهای زبانی مبتنی بر ترنسفورمر شکل گرفت. این رویکرد سعی دارد با ارتباط با مدل زبانی به زبان طبیعی، حداکثر استفاده را از دانش نهادینه شده در مدل داشته باشد. به عنوان مثال برای تحلیل احساسات متن، به زبان طبیعی از مدل پرسیده میشود: «_متن ورودی_ من احساس خیلی __» و مدل زبانی با پیشنهاد دادن کلمه بعدی (مثلا «عالی») درباره احساسات متن ورودی اظهارنظر میکند. نکته مهم درباره این رویکرد (که آن را تحریک زبانی مینامیم)، عملکرد قابل توجه آن با استفاده از نمونه های آموزشی معدود در برخی مسائل (عموماً طبقه بندی) است که نشان می دهد مدل زبانی دانش موردنیاز برای حل این مسائل را تا حد خوبی داشته است و کافی است صورت مسئله به نحو مناسبی به مدل تفهیم شود.
تا به امروز موفقترین روشهای طبقه بندی مبتنی بر تحریک زبانی، از مدلهای زبانی جایخالی استفاده میکردند. محدودیت عمده این روشها ثابت بودن تعداد کلمات جای خالی (معمولا یک جای خالی) و در نتیجه محدودکردن مدل زبانی در پاسخدهی است.
در این پژوهش روش جدیدی برای طبقه بندی متن با نمونههای معدود ارائه میدهیم که با استفاده از مدل زبانی علّی (مولد) مانند GPT۲ انعطاف بیشتری برای تحریک زبانی ایجاد میکند. در روش پیشنهادی، ابتدا توصیفهای متعددی برای هر کلاس به صورت خودکار یا توسط انسان تولید میشود. سپس با پرسش میزان ارتباط هر توصیف با متن ورودی از مدل زبانی، درباره خروجی تصمیم گیری میشود. از ویژگیهای این روش میتوان به توضیح پذیری، انعطاف در پاسخ مدل زبانی، امکان طراحی هدفمند توصیف ها توسط متخصص و استفاده از مدلزبانی استاندارد بدون هیچگونه پیشفرض اشاره کرد. بررسیهای کمی و کیفی عملکرد قابل قبول روش پیشنهادی را در مسائل طبقهبندی اخبار، تحلیل احساسات، تشخیص عواطف و تشخیص نیت نشان میدهد که مسلماً با افزایش کیفیت مدل زبانی مورداستفاده قابل بهبود خواهد بود.
واژههای کلیدی: پردازش زبان طبیعی، مدل زبانی از پیش آموزش دیده، یادگیری با نمونههای معدود، طبقه بندی متن، مدل GPT
"دفاع بهصورت آنلاین برگزار میشود"
دانشکده مهندسی کامپیوتر مدیریت تحصیلات تکمیلی
|