در این پست خلاصه ای از توصیه های Andrew Ng رو درباره خواندن مقاله های پژوهشی در دوره درسی یادگیری عمیق دانشگاه استنفورد (۲۰۱۸) آورده ام. توصیه می کنم برای جزئیات بیشتر سخنرانی را تماشا کنید. ویدیوی کاملش رو هم می تونید از Youtube و آپارت ببینید.
اگر Andrew Ng رو نمیشناسید، به ویکی پدیا مراجعه کنید! تو بخش سوابق شغلی اومده:
ان‌جی مؤسس و رهبر گوگل برین و سرپرست علمی سابق سایت بایدو است که شرکت‌های هوش مصنوعی بسیاری را ایجاد کرد وی استاد و مدیر آزمایشگاه هوش مصنوعی دانشگاه استنفورد بود همچنین وی به عنوان پیشگامان آموزش مجازی آنلاین شناخته می‌شود که تلاش‌های وی منجر به ایجاد سایت کورسرا شد.
در این جلسه اندرو دو توصیه عمده را به طور خاص به اشتراک گذاشت:
خواندن مقالات پژوهشی، تکنیک های موثر برای خواندن مقالات پژوهشی زمانی که با یک موضوع جدید در یادگیری عمیق مواجه می شویم و مشاوره برای هدایت شغلی درحوزه یادگیری ماشین.
سوال اینه که، چطور میتونیم از طریق خوندن مقاله های پژوهشی نسبتا سریع و موثر موضوعی رو یاد بگیریم. چه برای ساخت یک سیستم مبتنی بر یادگیری عمیق یا به منظور بهره گیری از دانش جدید و ارتقاء آن.
- لیستی از مقالات را تهیه کنید: سعی کنید لیستی از مقالات پژوهشی ، پست های بلاگ های تخصصی و هر متن یا منبع پژوهشی را ایجاد کنید.
- مرور سریع مقالات: باید مقالات پژوهشی را به صورت موازی بخوانید. یعنی سعی کنید همزمان بر روی بیش از یک مقاله کار کنید. به طور خلاصه ، سعی کنید هر یک از این مقاله ها را به سرعت و به طور سطحی بفهمید و همه مقاله را نخوانید، شاید مطالعه ۱۰-۲۰ درصد از هر مقاله برای درک سطح بالایی از مقاله موجود کافی است. با این روش این امکان وجود دارد که به سرعت بتوانید تصمیم بگیرید برخی از این مقالات را حذف کنید یا فقط یکی دو مقاله را مرور کنید و آنها را کامل بخوانید.
اندرو به این مساله اشاره می کنه که:
۵ تا ۲۰ مقاله (فیلدی هم که برای مثال انتخاب کرد تشخیص گفتار بود) ممکنه برای بدست آوردن دانش لازم برای پیاده سازی یک سیستم تشخیص گفتار کافی باشه، اما برای پژوهش یا قرارگیری در لبه دانش کافی نیست.
با مطالعه ۵۰ تا ۱۰۰ مقاله شما احتمالا به به درک بسیار خوبی از حوزه تحت مطالعه (تشخیص گفتار) دست پیدا کرده اید.
چطور باید یک مقاله رو بخونید؟
ننشینید مقاله رو از اولین کلمه تا آخر بخونید! در عوض، چندین بار از مقاله با روش های زیر عبور کنید:
- عنوان ، چکیده و تصاویر را بخوانید: با خواندن عنوان، چکیده، شکل های اصلی معماری و شاید قسمت آزمایشات، می توانید به درکی کلی از مفاهیم مقاله برسید. در یادگیری عمیق ، بسیاری از مقالات تحقیقاتی وجود دارد که کل مقاله در یک یا دو شکل خلاصه می شود.
- مقدمه + نتیجه گیری + ارقام + خلاصه سایر موارد را بخوانید: مقدمه، نتیجه گیری و بخش خلاصه از مواردی است که نویسنده (ها) سعی می کند کارهای خود را با دقت خلاصه کند تا برای منتقد روشن کند که چرا مقاله اش برای چاپ پذیرفته شده است. همچنین ، از بخش کارهای مرتبط (related works) (در صورت امکان) صرف نظر کنید؛ هدف این بخش برجسته کردن کارهای انجام شده توسط دیگران است که به نوعی با اثر نویسنده (ها) ارتباط دارد. از این رو، ممکن است خواندن آن مفید باشد اما اگر در موضوعی که در حال پژوهش هستید، تازه واردید و با ادبیات آن آشنا نیستید، درک این بخش گاهی اوقات دشوار است.
- مقاله را بخوانید اما از ریاضیات صرف نظر کنید.
- کل مطالب را بخوانید اما از قسمتهایی که برای شما معنی ندارد (مفهوم نیست) بگذرید: تحقیقات عالی به این معنی است که ما چیزهایی را در مرز دانش و درک خود منتشر می کنیم. اندرو در ادامه توضیح می دهد که وقتی مقاله ای را می خوانید (حتی موثرترین مقاله ها)، ممکن است قسمت هایی را در آن پیدا کنید که بسیار کمتر مورد استفاده قرار می گیرند یا مفهومی برای شما ندارند. در نتیجه، این مساله مشکلی ایجاد نمیکنه اگر مقاله ای بخوانید و بعضی از قسمت های آن برای شما معنی نداشته باشد (این مساله غیر معمول نیست)؛ پس بد نیست همان اول این قسمت های نامفهوم را حذف کنید. مگر این که بخواهید روی مقاله تسلط پیدا کنید که در این صورت باید زمان بیشتری را صرف مطالعه آن کنید.
وقتی مقاله ای را می خوانید سعی کنید به سوالات زیر پاسخ دهید:
- نویسنده (ها) سعی داشتند به چه چیزی برسند؟
- عناصر کلیدی رویکردشان چیست؟
- شما از چه چیزی از آن می توانید برای خودتان استفاده کنید؟
- چه منابع دیگری را می خواهید دنبال کنید؟
اگر بتوانید به این سوالات پاسخ دهید، این می تواند نشان دهنده این مساله باشد که شما به درک خوبی از مقاله دست پیدا کرده اید.
این مساله زمانی به نتیجه می رسد که شما مقالات بیشتری بخوانید و با تمرین سریعتر خواهید شد. چرا که بیشتر نویسنده ها هنگام نگارش مقاله از قالب مشترکی استفاده می کنند.
برای مثال نمونه زیر یک فرمت معمول است که نویسندگان مقاله از آن برای توصیف معماری شبکه (عصبی) بخصوص در حوزه بینایی کامپیوتر استفاده می کنند.
فهم یک مقاله چقدر زمان میبره؟
برای کسانی که نسبتا تازه درگیر مباحث یادگیری ماشین هستند، غیر طبیعی نیست که فهم یک مقاله نسبتا آسان یک ساعت زمان ببرد. اما برخی اوقات ممکن است فهم برخی مقالات به ۳ ساعت یا بیشتر زمان نیاز داشته باشد.
منابع مقالات
با توجه به این که سیر تکامل در حوزه یادگیری عمیق نسبتا سریع است، خیلی ها می خواهند در جریان دست آوردهای جدید در این حوزه باشند. برای این افراد منابع زیر را پیشنهاد می کنیم:
توییتر: خیلی جالبه، توییتر در حال تبدیل شدن به مکانی مهم برای دانشمندان در مورد چیزهای جدید است.
انجمن (subreddits) یادگیری ماشین در شبکه اجتماعی Reddit
کنفرانس های مهم یادگیری ماشین: NeurIPS / ICML / ICLR.
دوستان: یک انجمن یا گروهی از دوستان علاقه مند به این حوزه را پیدا کنید که دارای مقالات پژوهشی مورد توجهی باشد.
برای درک عمیق تر ریاضیات در مقالات
سعی کنید عبارات ریاضی مقاله رو از اول خودتون بنویسید و نتایج رو بدست بیاورید. هر چند انجام این کار مقداری طول می کشد اما یک تمرین خوب محسوب می شود.
برای تمرین کدنویسی
- اگر توانستید کد منبع مقاله را پیدا کنید، آن را دانلود و اجرا کنید.
- از ابتدا کد مقاله را پیاده سازی کنید؛ اگر توانستید این کار را انجام دهید، این بدان معنی است که شما الگوریتم موجود واقعاً را درک کرده اید.
برای بهتر شدن
مهمترین چیز برای ادامه یادگیری و بهتر شدن در آن، یادگیری پیوسته و با ثبات بیشتر است تا فعالیت شدید. (اهسته و پیوسته بهتر از گهی تند و گهی خسته است). برای سال بعد هفته ای دو مقاله بخوانید بهتر است تا اینکه در یک بازه زمانی کوتاه بخواهید همه چیز را به طور فشرده مطالعه کنید.
مشاوره شغلی در حرفه یادگیری ماشین
بسته به این که هدف شما گرفتن شغل (در یک شرکت بزرگ، شرکت های تازه تاسیس و یا عضو هیئت علمی دانشگاه) است و یا انجام تحصیلات تکمیلی پیشرفته تر، فقط روی انجام کارهای مهم تمرکز کنید و شغل خود را به عنوان یک تاکتیک و فرصتی برای انجام کارهای مفید در نظر بگیرید.
استخدام کنندگان دنبال چه چیزی هستند؟
- مهارت های یادگیری ماشین
- کار معنی دار؛ منظور پروژه هایی است که نشان می دهد شما می توانید کار را انجام دهید.
یک الگوی بسیار معمول برای مهندسان موفق یادگیری ماشین و کاندیدهای شغلی قوی، ایجاد یک پایگاه دانش T شکل است. پایگاه دانش T شکل به معنای درک گسترده ای از بسیاری از موضوعات مختلف در هوش مصنوعی و درک بسیار عمیق حداقل در یک زمینه است.
برای ساخت بخش افقی این پایگاه دانش (برای ساخت مهارت های پایه در این حوزه)، یک روش کارآمد استفاده از دوره های درسی و مطالعه مقالات پژوهشی است. بخش عمودی این پایگاه دانش، با انجام پروژه های مرتبط، مشارکت در پروژه های منبع باز، پژوهش و کارآموزی بدست می آید.
انتخاب شغل
اگر می خواهید به یادگیری چیزهای جدید ادامه دهید، مواردی است که بر موفقیت شما تأثیر می گذارد:
- این که آیا شما با افراد/پروژه های بزرگی کار می کنید: محاصره شدن توسط افراد سخت کوش بر روی شما تأثیر می گذارد.
- علاوه بر مدیر ، بر شناخت و ارزیابی تیمی که با آن کار خواهید کرد (۱۰-۳۰ نفری که بیشترین تعامل را دارید) متمرکز شوید.
- روی “برند” (نشان تجاری) تمرکز نکنید: برند تجاری آنقدر با تجربه شخصی شما ارتباط ندارد.
بنابراین اگر پیشنهاد شغلی دریافت کردید، در مورد اینکه با کدام تیم کار می کنید سوال کنید و پیشنهادی را که می گوید “به ما بپیوندید و بعداً به یک تیم ملحق خواهیم شد” نپذیرید؛ زیرا ممکن است در نهایت به تیمی بروید که در مورد چیزهایی که مورد علاقه شما نیستند کار می کند و در نتیجه به تکامل موثر شما کمک نخواهد کرد.
از طرف دیگر، اگر بتوانید یک تیم خوب (حتی در یک شرکت ناشناخته) پیدا کنید و به آنها بپیوندید، می توانید چیزهای زیادی یاد بگیرید.
مشاوره عمومی
- بیشترین چیزها را بیاموزید: تمایل به انتخاب چیزهایی که بخواهید روی آن کار کنید، به شما امکان می دهد بیشترین چیزها را یاد بگیرید.
- کارهای مهم انجام دهید: روی پروژه های بدردبخور کار کنید تا از طریق آن دنیا را به جلو ببرید.
- سعی کنید یادگیری ماشینی را به صنایع سنتی برسانید: ما در صنایع وابسته به تکنولوژی تحولات زیادی ایجاد کرده ایم اما فکر می کنم یکی از جالب ترین کارهایی که باید انجام شود در صنایع سنتی (خارج از صنعت فناوری) است؛ زیرا شما می توانید در آنجا ارزش بیشتری ایجاد کنید .
نکات کلیدی
اجمالاً توصیه های اصلی اندرو را می توانیم در فهرست زیر خلاصه کنیم:
- عادت خواندن مقاله های پژوهشی را در خود ایجاد کنید: شاید ۲ مقاله در هفته برای شروع خوب باشد.
- کارآمد بخوانید: فهرستی از مقالات را تهیه کنید، بیش از یک مقاله را همزمان بخوانید و از هر یک چندین بار عبور کنید.
- هنگام خواندن مقاله: خواندن مقاله را از عنوان / چکیده / (به ویژه) شکل ها / مقدمه / نتیجه گیری شروع کنید.
- هنگام تلاش برای درک یک الگوریتم: سعی کنید مجددا فرمول ها و عبارات ریاضی را بدست آورید و با اجرای مجدد آزمایشات آن، کد نویسی را تمرین کنید.
- سعی کنید در مورد همه چیز بالا باشید: با بررسی مقالات در کنفرانس های یادگیری ماشین و سایر منابع آنلاین.
- یک پایگاه دانش T شکل در هوش مصنوعی برای خود ایجاد کنید.
- سعی کنید به یک تیم خوب (در یک شرکت بزرگ یا یک شرکت تازه تأسیس) بپیوندید که به رشد موثر شما کمک می کند.
- روی پروژه های مفیدی کار کنید که به شما کمک می کند چیزهای بیشتری را بیاموزید و دنیا را به جلو حرکت دهید.
- سعی کنید یادگیری ماشینی را به صنایع دیگر ببرید: بهداشت و درمان، نجوم، تغییرات اقلیمی و غیره.
مطالب مرتبط
بررسی مقاله: Cross-Domain Weakly-Supervised Object Detection through Progressive Domain Adaptation
بررسی مقاله: Unikernels: The Next Stage of Linux’s Dominance
بررسی مقاله: Chitty-Chitty-Chat Bot: Deep Learning for Conversational AI
منبع: KDnuggets News
دیدگاهتان را بنویسید