تشخیص جعل عمیق در تصاویر ترافیکی[Persian Thesis]

پیمان حاجی نوروزی

تولید تصاویر جعلی روز به روز آسان‌تر می‌شود. در کنار انواع تصاویر جعلی که ایجاد می‌شود و چهره‌های سیاسی یا شخصیت‌های اجتماعی را هدف قرار می‌دهد، امکان استفاده از جعل عمیق برای نفوذ در سیستم‌های حمل و نقل هوشمند هم خطرات زیادی دارد. این امر می‌تواند امنیت افراد و جامعه را تهدید کند و تشخیص به موقع آن بسیار ضروری است. در این پژوهش، تولید و شناسایی تصاویر جعلی در حوزه علائم ترافیکی خیابان مورد بررسی قرار می‌گیرد . برای تشخیص جعل عمیق، نیاز به مجموعه تصاویر واقعی و جعل عمیق می‌باشد، برای تصاویر واقعی از یک مجموعه‌داده کوچک با هشت صد و هفتاد و هفت عکس از پایگاه داده Road Sign Detection استفاده شد اما با توجه به اینکه مجموعه ‌داده‌ای از تصاویر جعلی ترافیکی تا کنون ارائه نشده است، در مرحله اول با استفاده از مدل‌های مولد پیشرفته مانند Stable Diffusion 3 و Flux، مجموعه‌داده‌ای از تصاویر جعلی تولید شد. داشتن مجموعه داده تصاویر جعل عمیق ترافیکی علاوه‌بر هدف اصلی این پژوهش کاربردهای زیادی در زمینه آموزش و شبیه‌سازی محیط‌های واقعی دارد. این تحقیق نشان داد که مدل‌های مولد جدید قادر به تولید تصاویری با ویژگی‌های ظریف هستند که تشخیص آن‌ها را برای روش‌های سنتی چالش‌برانگیز می‌سازد و کمتر از ده درصد تصاویر جعلی عمیق را تشخیص می‌دهند. برای مقابله با این مشکل، از تکنیک‌های یادگیری انتقالی استفاده کردیم و مدل ResNet50 را با داده‌های جدید شامل تصاویر واقعی و جعلی آموزش مجدد دادیم. مدل‌ جدید آموزش‌دیده بهبود قابل توجهی نشان داد و تا نود درصد تصاویر جعل عمیق مجموعه داده آزمایش را شناسایی کرد. این کار به ما مدل شناسایی جعل عمیق جدیدی می‌دهد و اهمیت به‌روزرسانی مداوم مدل‌های تشخیص با داده‌های جدید را نشان می‌دهد.واژه‌های کلیدی: شناسایی جعل عمیق، مدل‌های مولد، یادگیری انتقالی، Stable Diffusion، علائم ترافیکی خیابان