در این مطلب خلاصه ای از مقاله PixelRL: Fully Convolutional Network with Reinforcement Learning for Image Processing (2019) ارائه خواهد شد.
این مقاله به یک مسئله جدید می پردازد: یادگیری تقویتی با پاداش های پیکسل (pixelRL) برای پردازش تصویر. پس از معرفی شبکه Q عمیق، RL عمیق موفقیت بزرگی کسب کرده است. با این حال، کاربردهای یادگیری تقویتی عمیق (RL) برای پردازش تصویر هنوز محدود است. بنابراین، برای کاربردهای مختلف پردازش تصویر، RL عمیق را به pixelRL(روش پیشنهادی نویسندگان مقاله) گسترش می دهیم. در pixelRL، هر پیکسل یک عامل دارد و عامل با انجام اقدامی مقدار پیکسل را تغییر می دهد. ما همچنین یک روش یادگیری موثر برای pixelRL پیشنهاد می کنیم که با در نظر گرفتن نه تنها حالات آینده پیکسل خود بلکه همچنین پیکسل های همسایه، عملکرد را به طور قابل توجهی بهبود می بخشد. روش پیشنهادی را می توان برای برخی از کارهای پردازش تصویر که نیاز به دستکاری های پیکسلی دارند، جایی که RL عمیق هرگز استفاده نشده است، اعمال کرد. علاوه بر این، می توان نوع عملکرد را برای هر پیکسل در هر تکرار تجسم کرد، که به ما کمک می کند بفهمیم چرا و چگونه چنین عملی انتخاب شده است. ما همچنین معتقدیم که فناوری ما می تواند قابلیت تبیین و تفسیر پذیری شبکه های عصبی عمیق را افزایش دهد. بعلاوه، از آن جا که عملیات اجرا شده در هر پیکسل بصری شده است، در صورت لزوم می توانیم عملیات را تغییر دهیم یا اصلاح کنیم. ما روش پیشنهادی را برای کارهای مختلف پردازش تصویر اعمال می کنیم: حذف نویز تصویر(image denoising)، ترمیم تصویر(image restoration) ، بهبود رنگ محلی(local color enhancement) و ویرایش تصویر saliency-driven. نتایج تجربی ما نشان می دهد که روش پیشنهادی در مقایسه با روشهای پیشرفته مبتنی بر یادگیری تحت نظارت، به عملکردی قابل مقایسه یا بهتر دست می یابد.
در سال های اخیر، یادگیری عمیق نه تنها در طبقه بندی تصویر، بلکه در کارهای پردازش تصویر مانند فیلتر کردن تصویر، رنگ آمیزی، تولید و ترجمه نیز موفقیت چشمگیری داشته است. اگرچه همه موارد فوق از شبکه های عصبی برای یادگیری روابط بین ورودی و خروجی استفاده می کنند، ساختارهای آن ها تقریباً به دو دسته تقسیم می شوند. شبکه های عصبی که به طور معمول برای شناسایی تصویر استفاده می شوند، شبکه های عصبی کانولوشن (CNN: convolutional neural networks) هستند که دارای تعدادی لایه کانولوشن و به دنبال آن لایه های fully connected برای خروجی امتیازات طبقه بندی هستند. در مقابل، شبکه های کاملا کانولوشن (FCN: fully convolutional networks) که لایه های fully connected به هم ندارند، برای کارهای پردازش تصویر استفاده می شوند زیرا برای کارهای آن ها یک خروجی پیکسلی لازم است.
پس از معرفی شبکه Q عمیق (DQN: deep Q-network)، که می تواند بازی های آتاری را در سطح انسانی انجام دهد، توجه بیشتری به یادگیری تقویتی عمیق (RL: reinforcement learning) معطوف شده است. اخیراً RL عمیق همچنین در انواع وظایف پردازش تصویر اعمال شده است. با این حال، این روش ها می توانند فقط اقدامات کلی را برای کل تصویر اجرا کنند و محدود به برنامه های ساده هستند، به عنوان مثال، برش تصویر(image cropping) و بهبود رنگ کلی(global color enhancement). به سختی می توان این روش ها را در برنامه هایی که به دستکاری های پیکسلی(pixel-wise) مانند حذف نویز تصویر(image denoising) نیاز دارند، اعمال کرد.
برای غلبه بر این اشکال، ما یک مسئله جدید تنظیم می کنیم: pixelRL برای پردازش تصویر. PixelRL یک مسئله RL چند عاملی است، که در آن هر پیکسل یک عامل دارد. نمایندگان رفتار بهینه را برای به حداکثر رساندن میانگین کل پاداش مورد انتظار در تمام پیکسل ها می آموزند. هر مقدار پیکسل به عنوان حالت فعلی در نظر گرفته می شود و با عملکرد نماینده به صورت تکراری به روز می شود. استفاده از تکنیک های موجود RL چند عامل برای pixelRL از نظر هزینه محاسباتی غیر عملی است زیرا تعداد عامل ها بسیار زیاد است (به عنوان مثال ، 1 میلیون عامل برای تصاویر 1000*1000 پیکسل). بنابراین، ما با استفاده از شبکه کاملا کانولوشن (FCN) مشکل را حل می کنیم. شایستگی استفاده از FCN این است که همه عوامل می توانند پارامترها را به اشتراک بگذارند و به طور کارآمد یاد بگیرند. در این مقاله ، ما همچنین پیشنهاد ترکیب نقشه پاداش را ارائه می دهیم، که یک روش یادگیری موثر برای pixelRL است. با پیشنهاد ترکیب نقشه پاداش، هر عامل نه تنها وضعیت های آینده پیکسل خود بلکه پیکسل های همسایه را نیز در نظر می گیرد. اگرچه اقدامات باید برای هر برنامه از پیش تعریف شده باشد، اما روش پیشنهادی با مشاهده اقدامات انجام شده توسط عوامل قابل تفسیر است، كه این یک نقطه جدید و متفاوت از روش های پردازش تصویر مبتنی بر یادگیری عمیق برای چنین برنامه هایی است.
pixelRL پیشنهادی برای حذف نویز تصویر، بازسازی تصویر، بهبود رنگ محلی و ویرایش تصویر saliency-driven اعمال می شود. با توجه به دانش ما، این اولین کاری است که RL را برای پردازش تصویر سطح پایین برای هر پیکسل یا هر منطقه محلی اعمال می کند. نتایج تجربی ما نشان می دهد که عوامل آموزش داده شده با pixelRL و پیچیدگی نقشه پاداش پیشنهادی، در مقایسه با پیشرفته ترین روش های مبتنی بر CNN، عملکردی قابل مقایسه یا بهتر دارند.
الگوریتم اساسی روش پیشنهادی و نتایج تجربی حذف نویز تصویر، بازسازی تصویر، بهبود رنگ محلی قبلاً در مطالعه مقدماتی ما ارائه شده است. در این مقاله توضیحات دقیق تر و کاربرد جدیدی از pixelRL در ویرایش تصویر مبتنی بر شوری ارائه شده است.
نمونه هایی از عملکرد روش پیشنهادی مقاله را در زیر می توانید ببینید:
لینک دانلود مقاله اصلی:
https://arxiv.org/abs/1912.07190
