بررسی تعمیم خارج از دامنه در مدل های پردازش زبان طبیعی [Persian Thesis]

زهرا سادات دلبری

شناسگر رکورد: ۵۲۰۹۴
رشته تحصیلی: علوم داده
عنوان: بررسی تعمیم خارج از دامنه در مدل های پردازش زبان طبیعی
نويسنده: زهرا سادات دلبری
استاد راهنما : دکتر محمدطاهر پیله ور
مقطع تحصیلی : کارشناسی ارشد
دانشگاه : خاتم
تاریخ دفاع : ۱۴۰۳
چکیده: یکی از چالش های اساسی در پردازش زبان طبیعی توسعه مدل هایی است که بتوانند به طور موثر در دامنه های مختلف تعمیم یابند.در بسیاری از سناریوهای دنیای واقعی، داده های آموزشی و آزمون از دامنه های متفاوتی می آیند و این مسئله به عنوان چالش «تعمیم خارج از دامنه» شناخته میشود.این پژوهش به بررسی محدودیت های مدل های پردازش زبان طبیعی در تعمیم در وظیفه استدلال زبانی پرداخته و به طور خاص برناپایداری مشاهده شده در برخی مدل های تمایزی مبتنی بر ترنسفورمر تمرکز دارد. پرسش اصلی این است که چرا مدل ها با وجود عملکرد پایدار در تعمیم درون دامنه، در تعمیم خارج از دامنه نتایج متفاوتی از خود نشان می دهند. در ابتدا فرض شد که این ناپایداری ناشی از عوامل تصادفی در فرآیند تنظیم دقیق است. تحلیل ها نشان دادند که هر یک ازاین عوامل می توانند به طور مستقل بر نتایج تاثیرگذار باشند. با این حال بررسی دقیق تر فضای بازنمایی مدل نشان داد که ضعف عملکرد مدل ها لزوما ناشی از ناتوانی کدگذار در تعمیم نیست.در واقع داده های خارج از دامنه در فضای بازنمایی تقریبا به طور کامل از یکدیگر تفکیک پذیر هستند، اما مرزبندی طبقه بند نهایی که صرفا براساس داده های آموزشی تعیین شده است، با این داده ها هم راستا نیست.به طور دقیق تر، در حالی که دقت مدل های تنظیم شده بر روی داده های MNLI هنگام ارزیابی با معیار طبقه بند نهایی روی دیتاست HANS تنها بین ۵۰تا۶۰ درصد متغیر است، بازنمایی های کدگذار همین مدل ها داده های HANS را با دقت نزدیک به ۹۵ درصد به صورت خطی تفکیک پذیر قرار می دهند. این یافته نشان می دهد که اختلاف عملکرد مشاهده شده بیش از آنکه بیانگر ضعف مدل در یادگیری باشد، ناشی از ناهماهنگی میان بازنمایی های کدگذار و تصمیم گیری طبقه بند است.
واژگان کلیدی: ﺧﺎﺭﺝ ﺍﺯ ﺩﺍﻣﻨﻪ، ﺗﻌﻤﯿﻢ ﭘﺬﯾﺮﯼ، ﭘﺮﺩﺍﺯﺵ ﺯﺑﺎﻥ طبیعی ﺗﺮﻧﺴﻔﻮﺭﻣﺮ
Register Number Version Volume Part Reference Call Number lended Date Back Description
284783 1
Copyright 2025 by Payam Hannan co ltd. PayamLib.com