در حالت عادی شما با اعمال نویز به ورودی شبکه GAN قادر خواهید بود تا تصاویر مورد نظرتون رو تولید کنید. در مورد Conditional GAN ها هم می توانید خروجی رو محدود به شرایط خاصی بکنید، ولی همچنان اعمال نویز نقطه شروع کار است. اما در GAN Inversion شروع کار با نویز نیست. در اینجا کار با یک تصویر تولید شده (و یا حتی تولید نشده) با شبکه GAN شروع شده و تغییرات مورد نظر بر روی آن با حرکت در فضای نهان و یافتن یک کد جدید در آن فضا ادامه یافته و در نهایت با شبکه مولد تصویر جدید ساخته می شود.
توجه: این نوشتار خلاصه ای از مطالب تشریح شده در یک مقاله مروری پیرامون GAN Inversion است.
نوع: مروری (Survey)
نویسندگان: Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, Ming-Hsuan Yang
لینک دانلود مقاله: اینجا
مقاله در گیت هاب: مجموعه مقالات در حوزه GAN Inversion
متدهای GAN Inversion از یک طرف به دو نوع مبتنی بر یادگیری، مبتنی بر بهینه سازی و ترکیبی از این دو تقسیم می شوند. روش های مبتنی بر بهینه سازی کارایی (performance) بیشتری دارند و در عین حال روش های مبتنی بر بهینه سازی به خروجی وفادارترند. البته هزینه این وفاداری پیچیدگی محاسباتی بیشتر این روش است.
از طرف دیگر روش های GAN Inversion شامل یکی یا تعداد بیشتری از ویژگی های زیر می تواند باشد.
همچنین از جهت نوع فضای نهان که روش GAN Inversion بر روی آن عمل می کند شامل فضاهای نهان زیر است.
هر یک از این فضاها در مقاله به اختصار تشریح شده اند.
بر این مبنا این مقاله پژوهش های انجام شده در این زمینه را در جدولیبه این شکل دسته بندی کرده است.
مفهومی در این حوزه داریم به نام حرکت در فضای نهان (Latent Space Navigation). در واقع این همان یافتن یک نقطه جدید در فضای نهان با شروع حرکت از یک نقطه دیگر است. در واقع این حرکت منجر به تولید یک تصویر دستکاری شده از تصویر اولیه است. در مورد دستکاری تصاویر دو رویکرد مهم در GAN Inversion وجود دارد.
چالش های متعددی در این زمینه وجود دارد که برخی از آن ها عبارتند از:
یک مقاله به طور مفید شانزده هفده صفحه ای رو تو یکی دو صفحه خلاصه کردم. ?
بررسی مقاله: Cross-Domain Weakly-Supervised Object Detection through Progressive Domain Adaptation
بررسی مقاله: Learning by Asking Questions
بررسی مقاله: Chitty-Chitty-Chat Bot: Deep Learning for Conversational AI
دیدگاهتان را بنویسید