بررسی اهمیت توکن‌های ورودی در ترنسفورمرها [پايان نامه فارسي]
سینا عباسی شنبه‌بازاری
| شناسگر رکورد: | ۵۲۱۵۰ |
| رشته تحصیلی: | علوم داده |
| عنوان: | بررسی اهمیت توکن‌های ورودی در ترنسفورمرها |
| نويسنده: | سینا عباسی شنبه‌بازاری |
| استاد راهنما : | دکتر محمدطاهر پیله ور دکتر یداله یعقوب زاده |
| مقطع تحصیلی : | کارشناسی ارشد |
| دانشگاه : | خاتم |
| تاریخ دفاع : | ۱۴۰۴ |
| چکیده: | با معرفی و گسترش روزافزون مدل‌های زبانی بزرگ، ضرورت استفاده از روش‌های مستقل از معماری که توانایی تفسیر طیف متنوعی از مدل‌ها را داشته باشند، بیش از پیش احساس می‌شود. اگرچه پیشرفت‌های اخیر در حوزه تفسیر مدل‌های زبانی بزرگ امیدوارکننده بوده است، بسیاری از آن‌ها مبتنی بر روش‌های پیچیده‌ای هستند که به یک معماری خاص وابسته بوده و هزینه محاسباتی بالایی دارند. در پاسخ به این محدودیت‌ها، ما NormXLogit را به عنوان روشی نوین برای سنجش اهمیت هر یک از توکن‌های ورودی معرفی می‌کنیم. NormXLogit بر پایه دو مؤلفه کلیدی بنا شده است؛ روش LogAt و نُرم ℓ۲ بردارهای تعبیه ورودی. نخست، ما از یک ارتباط معنادار بین میزان اهمیت یک توکن و قدرت بازتولید پیش‌بینی نهایی مدل توسط بازنمایی آن توکن پرده برمی‌داریم. سپس، نشان می‌دهیم که نُرم بردارهای تعبیه واژگان می‌تواند به‌عنوان معیاری از اهمیت توکن‌ها به‌کار رود. مجموعه‌ای گسترده از آزمایشات نشان می‌دهد که روش پیشنهادی ما نسبت به روش‌های مبتنی بر گرادیان از وفاداری بالاتری برخوردار است و در عین حال، توان رقابت با پیشرفته‌ترین روش‌های وابسته به معماری را نیز دارد. |
| واژگان کلیدی: | انتساب اهمیت به توکن‌ها، انتساب اهمیت به ویژگی‌ها، وفاداری توضیح، تفسیرپذیری، ترنسفورمرها |
| شماره ثبت | نسخه | جلد | بخش | مرجع | شماره بازیابی | در دست امانت | تاریخ بازگشت | ملاحظات | |
|---|---|---|---|---|---|---|---|---|---|
| 284800 | 1 |
جهت ثبت نظر با حساب کاربری تان وارد شوید