مجموعه داده Fashion3D عمیق

منتشر‌شده در: وبلاگ SyncedReview به تاریخ ۷ آپریل ۲۰۲۰
لینک منبع: Deep Fashion3D: Dataset & Benchmark for Virtual Clothing Try-On and More

خرید کتاب، لوازم الکترونیک و یا مواد غذایی آنلاین سریع و راحت است. با این حال، حتی مصرف کنندگان آگاه به تجارت الکترونیکی ممکن است در مورد خرید لباس در اینترنت تردید کنند. دلیل آن ساده است-هیچ اتاق پرو مجازی وجود ندارد. اما نگران نباشید، هوش مصنوعی بر روی آن کار می‌کند.

دستیابی به دیجیتالی‌سازی دقیق انسان سه‌بعدی نیاز به مدل‌سازی بدن بدون پوشش دقیق انسان همراه با مقادیر زیادی داده پوشاک ۳ بعدی علامت‌خورده دارد. پیشرفت‌های اخیر در روش‌های یادگیری عمیق به پیشرفت‌های چشمگیری در بازسازی شکل بدن انسان و ژست گرفتن از چندین یا حتی یک تصویر دست یافته‌است. بهبود عملکرد به کمک مقادیر عظیمی از داده‌های آموزشی نشاندار شده صورت گرفته است.

ژیائوگوانگ هان، محقق موسسه تحقیقات کلان داده شنژن (SRIBD) و استادیار تحقیق در دانشگاه چینی هنگ‌کنگ، شنژن (CUHK-شنوژن) می‌گوید: « بیشتر تحقیقات قبلی ما بازسازی اجساد برهنه از یک تصویر بود. بازسازی لباس بخش بسیار مهمی از دیجیتالی شدن انسان است، اما با حرکت تیم من از مدل انسانی به مدل لباس، ما خیلی زود به اولین مانع بزرگ می‌رسیم-کمبود مجموعه داده‌های لباس سه‌بعدی.»

تیم هان، متشکل از محققانی از CUHK-شنزن، SRIBD، دانشگاه ژجیانگ، دانشگاه زیدیان، دانشگاه تنسنت آمریکا، و دانشگاه علم و فن‌آوری چین، هشت ماه را صرف ساخت Fashion3D عمیق - بزرگ‌ترین مجموعه مدل‌های پوشاک ۳ بعدی - با هدف ایجاد یک معیار جدید و مجموعه داده برای ارزیابی سیستم‌های بازسازی پوشاک مبتنی بر تصویر کردند.

داده‌های Fashion3D عمیق شامل ۲،۰۷۸ مدل لباس سه‌بعدی است که از لباس‌های دنیای واقعی در ۱۰ دسته لباس مختلف بازسازی شده‌اند. محققان از نرم‌افزار بازسازی هندسی مبتنی بر تصویر برای تولید بازسازی پوشاک با وضوح بالا از تصاویر چند نمایی به شکل ابرهای نقطه‌ای متراکم استفاده کردند.

برای تسهیل تحقیقات در آینده در مورد استدلال لباس ۳ بعدی، محققان توضیحات اضافی را به طور خاص برای Fashion3D عمیق، شامل خطوط ویژگی ۳ بعدی، ژست بدنه ۳ بعدی و تصاویر واقعی چند دیدگاهی مربوطه فراهم می‌کنند. علاوه بر این، هر پوشش به طور تصادفی به منظور افزایش ظرفیت مجموعه داده‌ها برای ویژگی‌های مدل‌سازی مانند چروک‌های پویا، قرار داده می‌شود.

این تیم همچنین یک رویکرد خط پایه جدید پیشنهاد کرد که قادر به استنتاج لباس‌های سه‌بعدی واقعی از یک تصویر واحد، و همچنین یک نمایش «الگوی سازگار» جدید است که یک شبکه را قادر می‌سازد تا همه انواع لباس را یاد بگیرد. معتقدند که اینها می‌توانند منجر به بیانگری قوی‌تر در بازسازی شوند.

این تیم یک مدل پایه آموزش‌دیده در Fashion3D عمیق را با شش رویکرد بازسازی دید منفرد SOTA که از نمایش‌های سه‌بعدی مختلف استفاده می‌کنند، مقایسه کرد. نتایج آزمایش نشان می‌دهد که رویکرد جدید به بالاترین دقت بازسازی در وظایف بازسازی پوشاک تک دید دست می‌یابد.

«هان» به Synced می‌گوید که حتی با رویکرد «سوتا» (SOTA) ، بازسازی دقیق لباس سه‌بعدی از یک عکس با یک کلیک موس، همچنان یک چالش باقی مانده‌است. ما فقط یک قدم به جلو حرکت کردیم. تیم ما هنوز سخت تلاش می‌کند تا نتایجی که می‌توانیم بدست آوریم را بهبود بخشد، برای مثال، روش کنونی تلاش می‌کند تا یک دامن حبابی با جزئیات واقعی هندسی تولید کند.

نحوه تولید داده‌های سه‌بعدی با استفاده از الگوریتم های یادگیری عمیق خود یک سوال باز باقی می‌ماند و هندسه لباس‌ها می‌تواند برای الگوریتم های فعلی بسیار پیچیده باشد. علاوه بر این، ما هنوز با شکاف دامنه بین مجموعه داده لباس و پوشش واقعی در فضای باز مواجه هستیم.

تیم تحقیق قصد دارد تا به مطالعه محدودیت‌های الگوریتم براساس مجموعه داده Fashion3D عمیق کنونی ادامه دهد، و در حال بررسی گسترش مجموعه داده در آینده است، اگرچه آن‌ها می‌گویند این ممکن است سال‌ها طول بکشد.

کاربردهای بالقوه چنین فن‌آوری‌هایی گسترده هستند و می‌توانند بازی را تغییر دهند. هان همراه با اتاق‌های پرو مجازی، پتانسیل این روش را در ویرایش هوشمند عکس، بازی و انیمیشن شبیه‌سازی، واقعیت تقویت‌شده و فراتر از آن می‌بیند.

مقاله Fashion3D: یک Dataset و بنچ‌مارک برای بازسازی تصاویر سه‌بعدی از تصاویر واحد بر روی مقاله‌خوان ترجمیار به فارسی مطالعه کنید.

این متن با استفاده از ربات مترجم مقاله هوش مصنوعی ترجمه شده و به صورت محدود مورد بازبینی انسانی قرار گرفته است.در نتیجه می‌تواند دارای برخی اشکالات ترجمه باشد.
مقالات لینک‌شده در این متن می‌توانند به صورت رایگان با استفاده از مقاله‌خوان ترجمیار به فارسی مطالعه شوند.