تطبیق مدل های زبانی با ماتریس تصادفی مبتنی بر توجه تک سر [Persian Thesis]
محمد عظیمی
| شناسگر رکورد: | ۵۲۰۳۹ |
| رشته تحصیلی: | علوم داده |
| عنوان: | تطبیق مدل های زبانی با ماتریس تصادفی مبتنی بر توجه تک سر |
| نويسنده: | محمد عظیمی |
| استاد راهنما : | دکتر یداله یعقوب زاده |
| مقطع تحصیلی : | کارشناسی ارشد |
| دانشگاه : | خاتم |
| تاریخ دفاع : | ۱۴۰۳ |
| چکیده: | تنظیم دقیق کامل مدل‌های زبانی بزرگ نیاز به به‌روزرسانی تمام پارامترهای مدل دارد، که از نظر محاسباتی و زمانی فرآیندی هزینه‌بر می باشد و همچنین ذخیره‌سازی این مدل‌ها برای هر وظیفه پایین دستی و دامنه‌های مختلف نیز عملی نمی باشد. برای مواجهه با این چالش‌هاLoRA به عنوان یک روش تنظیم دقیق کارآمد، هم از نظر تعداد پارامتر و هم از نظر حافظه مصرفی، معرفی شد. با این حال، با افزایش اندازه مدل‌ها، حتی LoRA نیز در مواجهه با چالش‌های ذخیره‌سازی مدل با مشکل مواجه می‌شود. این مسئله به‌ویژه زمانی آشکار می‌شود که از مدل‌های زبانی بزرگتر استفاده کنیم یا نیاز به نگهداری مدل‌های جداگانه برای هر کاربرد یا وظیفه‌ای را داشته باشیم. ما در این پژوهش، روش تنظیم دقیق کارآمد جدیدی به‌نام SARA (تطبیق با ماتریس تصادفی مبتنی بر توجه تک‌سر) را معرفی میکنیم که نسبت به LoRA تعداد پارامترهای خیلی کمتری دارد و در عین حال از نظر عملکرد همتراز با LoRA قرار میگیرد. ما برای دستیابی به این امر از یک جفت ماتریس با وزن‌های تصادفی و یک مکانیسم توجه تک سر برای یادگیری استفاده نموده‌ایم. برای نشان دادن کارایی روش خود نیز آن را با دادگان GLUE و E۲E ارزیابی نموده‌ایم. |
| واژگان کلیدی: | تنظیم دقیق کارآمد، تعداد پارامترها، حافظه مصرفی |
| Register Number | Version | Volume | Part | Reference | Call Number | lended | Date Back | Description | |
|---|---|---|---|---|---|---|---|---|---|
| 284755 | 1 |
LoginWithYourAccountToPostComment