تولید داده‌ تصوایر متنوع پزشکی مصنوعی برای آموزش مدل‌های یادگیری ماشین

منتشرشده در: وبلاگ هوش‌مصنوعی گوگل به تاریخ ۱۹ فوریه ۲۰۲۰
نویسندگان: Timo Kohlberger و Yuan Liu
لینک مقاله اصلی: https://ai.googleblog.com/2020/02/generating-diverse-synthetic-medical.html

پیشرفت یادگیری ماشین (ML) برای تصویربرداری پزشکی که به پزشکان کمک می‌کند تا تشخیص‌های بهتری ارایه دهند، تا حدی با استفاده از مجموعه داده‌های برچسب دار بزرگ و با دقت انجام شده‌است. با این حال، اندازه مجموعه داده‌ها می‌تواند در زندگی واقعی به دلیل نگرانی‌های حریم خصوصی، حجم کم بیمار در موسسات، یا به دلیل مطالعه بیماری‌های نادر محدود شود. علاوه بر این، برای اطمینان از اینکه مدل‌های یادگیری ماشین به خوبی تعمیم داده می‌شوند، آن‌ها به داده‌های آموزشی نیاز دارند که طیف وسیعی از زیر گروه‌ها، مانند نوع پوست، جمعیت شناختی و دستگاه‌های تصویربرداری را پوشش دهد. نیاز به این است که اندازه هر زیر گروه ترکیبی (به عنوان مثال، نوع پوست A با شرایط پوست B، گرفته‌شده توسط دوربین C) نیز به اندازه کافی بزرگ باشد می‌تواند به سرعت غیر عملی شود.

امروزه ما خوشحال هستیم که دو پروژه را با هدف بهبود تنوع داده‌های آموزشی یادگیری ماشین و افزایش مقدار موثر داده‌های آموزشی موجود برای کاربردهای پزشکی به اشتراک بگذاریم. پروژه اول یک روش قابل تنظیم برای ایجاد تصاویر ضایعات پوستی مصنوعی به منظور بهبود پوشش انواع و شرایط پوست نادر است. پروژه دوم از تصاویر مصنوعی به عنوان داده‌های آموزشی برای توسعه یک مدل ML استفاده می‌کند که می‌تواند انواع مختلف بافت زیستی را در طیف وسیعی از دستگاه‌های تصویربرداری بهتر تفسیر کند.

ایجاد تصاویر متنوع از شرایط پوست

در «DermGAN: تولید مصنوعی تصاویر بالینی پوست با آسیب‌شناسی»، که در کارگاه یادگیری ماشینی برای بهداشت (ML4H) در NeurIPS ۲۰۱۹ منتشر شد، به مشکلات مربوط به تنوع داده‌ها در تصاویر پوستی شناسایی‌شده توسط دوربین‌های درجه مصرف‌کننده می‌پردازیم. این کار به (۱) کمیابی داده‌های تصویر برداری نماینده شرایط نادر پوست، و (۲) فرکانس پایین داده‌ها که انواع پوست فیتزپاتریک خاصی را پوشش می‌دهند، می‌پردازد. انواع پوست فیتزپاتریک از نوع I ("سفید کمرنگ، همیشه سوخته، هرگز نسوخته") تا نوع VI ("تاریک‌ترین قهوه‌ای، هرگز نسوخته")، با مجموعه داده‌هایی که به طور کلی شامل موارد نسبتا کمی در «مرزها» است پوشش داده می‌شود. در هر دو مورد، مشکلات کمبود داده‌ها با نسبت سیگنال به نویز پایین رایج در تصاویر هدف، به دلیل فقدان نور استاندارد، کنتراست و میدان دید؛ تغییرپذیری پس‌زمینه، مانند مبلمان و لباس؛ و جزئیات ظریف پوست، مانند مو و چین و چروک بدتر می‌شوند.

برای بهبود تنوع در تصاویر پوست، ما یک مدل به نام (درماگان) ایجاد کردیم، که تصاویر پوستی را تولید می‌کند که ویژگی‌های شرایط پوست از قبل مشخص‌شده، محل، و رنگ پوست زمینه‌ای را نشان می‌دهد. در درماگان از یک روش ترجمه تصویر به تصویر، براساس معماری شبکه (GAN)، برای یادگیری نگاشت زیربنایی از یک نوع تصویر به نوع دیگر استفاده می‌کند.

درماگان یک تصویر واقعی و نقشه معنایی متناظر و از پیش تولید شده آن را به عنوان ورودی می‌گیرد که ویژگی‌های اساسی تصویر واقعی را نشان می‌دهد (به عنوان مثال، شرایط پوست، محل ضایعه، و نوع پوست)، که از آن یک مثال مصنوعی جدید با ویژگی‌های درخواستی ایجاد خواهد کرد. مولد براساس معماری U-Net است، اما به منظور کاهش آرتیفکت‌های شطرنجی، لایه‌های دیکانولوشن با یک لایه مقاومتی جایگزین می‌شوند، که با کانولوشن دنبال می‌شود. چند تلفات سفارشی برای بهبود کیفیت تصاویر مصنوعی، به ویژه در منطقه آسیب‌شناسی، معرفی شده‌اند. جز تفکیک‌کننده در درماگان فقط برای آموزش استفاده می‌شود، در حالی که مولد هم به صورت بصری ارزیابی می‌شود و هم برای افزایش مجموعه داده آموزشی برای طبقه‌بندی کننده شرایط پوست.

مروری بر بخش مولد درماگان.

مروری بر بخش مولد درماگان.این مدل از یک نقشه معنایی آر جی بی (جعبه قرمز)استفاده می‌کند که با اندازه و موقعیت شرایط پوست (مستطیل نارنجی کوچک‌تر)حاشیه‌نویسی شده‌است، و یک تصویر واقعی از پوست بیرون می‌دهد. جعبه‌های رنگی نشان‌دهنده لایه‌های مختلف شبکه عصبی، مانند اتصالات و ReLU هستند؛ اتصالات جهشی شبیه به شبکه U هستند و قادر به انتشار اطلاعات در مقیاس‌های مناسب هستند.
مروری بر بخش مولد درماگان.این مدل از یک نقشه معنایی آر جی بی (جعبه قرمز)استفاده می‌کند که با اندازه و موقعیت شرایط پوست (مستطیل نارنجی کوچک‌تر)حاشیه‌نویسی شده‌است، و یک تصویر واقعی از پوست بیرون می‌دهد. جعبه‌های رنگی نشان‌دهنده لایه‌های مختلف شبکه عصبی، مانند اتصالات و ReLU هستند؛ اتصالات جهشی شبیه به شبکه U هستند و قادر به انتشار اطلاعات در مقیاس‌های مناسب هستند.
ردیف بالا نمونه‌های مصنوعی تولید شده را نشان می‌دهد و ردیف پایین تصاویر واقعی سرطان سلول بازال (چپ)و خال ملانوسیتی (راست)را نشان می‌دهد.
ردیف بالا نمونه‌های مصنوعی تولید شده را نشان می‌دهد و ردیف پایین تصاویر واقعی سرطان سلول بازال (چپ)و خال ملانوسیتی (راست)را نشان می‌دهد.

این روش علاوه بر ایجاد تصاویر واقعی بصری، امکان ایجاد تصاویری از شرایط پوست یا انواع پوستی که نادرتر هستند و از کمبود تصاویر پوستی رنج می‌برند را فراهم می‌کند.

درماگان می‌تواند برای ایجاد تصاویر پوستی (همه با خال ملانوسیتی در این مورد) با انواع مختلف پوست پس‌زمینه (بالا، با تغییر رنگ پوست ورودی) و ضایعات با اندازه مختلف (پایین، با تغییر اندازه ضایعه ورودی) استفاده شود.با تغییر رنگ ورودی پوست، ضایعه ظاهر خود را تغییر می‌دهد تا با آنچه که در انواع مختلف پوست به نظر می‌رسد مطابقت داشته باشد.
درماگان می‌تواند برای ایجاد تصاویر پوستی (همه با خال ملانوسیتی در این مورد) با انواع مختلف پوست پس‌زمینه (بالا، با تغییر رنگ پوست ورودی) و ضایعات با اندازه مختلف (پایین، با تغییر اندازه ضایعه ورودی) استفاده شود.با تغییر رنگ ورودی پوست، ضایعه ظاهر خود را تغییر می‌دهد تا با آنچه که در انواع مختلف پوست به نظر می‌رسد مطابقت داشته باشد.


نتایج اولیه نشان داد که استفاده از تصاویر تولید شده به عنوان داده‌های اضافی برای آموزش طبقه‌بندی کننده شرایط پوست ممکن است عملکرد را در تشخیص شرایط بدخیم نادر مانند ملانوما بهبود بخشد. با این حال، برای کشف بهترین روش استفاده از چنین تصاویری برای بهبود دقت به طور کلی در انواع و شرایط پوست نادرتر، به کار بیشتری نیاز است.

تولید تصاویر آسیب‌شناسی با برچسب‌های مختلف در بین اسکنرهای متنوع

کیفیت فوکوس تصاویر پزشکی برای تشخیص دقیق مهم است. کیفیت ضعیف فوکوس می‌تواند هم تشخیص‌های مثبت کاذب و هم منفی کاذب را تحریک کند، حتی در غیر این صورت الگوریتم های تشخیص سرطان پستان متاستاتیک مبتنی بر یادگیری ماشین دقیق هستند. تعیین اینکه آیا تصاویر آسیب‌شناسی در فوکوس هستند یا خیر به دلیل عواملی مانند پیچیدگی فرآیند کسب تصویر دشوار است. تصاویر کل اسلاید تقسیم‌شده می‌تواند تمرکز ضعیفی در کل تصویر داشته باشد، اما از آنجا که آن‌ها اساسا از هزاران میدان دید کوچک‌تر به هم چسبانده شده‌اند، همچنین می‌توانند نواحی با ویژگی‌های فوکوس مختلف نسبت به بقیه تصویر داشته باشند. این امر، غربالگری دستی برای کیفیت فوکوس را غیرعملی می‌سازد و میل به یک رویکرد خودکار برای شناسایی اسلایدهای ضعیف متمرکز و تعیین مناطق خارج از تمرکز را تحریک می‌کند. شناسایی مناطق با فوگوس ضعیف ممکن است اسکن مجدد را ممکن سازد، یا فرصت‌هایی برای بهبود الگوریتم‌های فوکوس مورد استفاده در طول فرآیند اسکن ایجاد کند.

در پروژه دوم ما، که در "کیفیت فوکوس تصویر کل اسلاید: ارزیابی خودکار و تاثیر آن بر تشخیص سرطان با هوش مصنوعی" ارایه شد، ما روشی را برای ارزیابی تصاویر شناسایی نشده و بزرگ گیگاپیکسلی آسیب‌شناسی برای مسایل مربوط به کیفیت فوکوس توسعه داده‌ایم. این شامل آموزش یک شبکه عصبی کانولوشنی بر روی داده‌های آموزشی نیمه‌مصنوعی است که انواع مختلف بافت و ویژگی‌های نوری اسکنر اسلاید را نشان می‌دهد. با این حال، یک مانع کلیدی برای توسعه چنین سیستم مبتنی بر یادگیری ماشین این بود که فقدان کیفیت برچسب گذاری شده تمرکز داده برای درجه‌بندی قابل‌اطمینان دشوار است و مجموعه داده‌های برچسب دار در دسترس نیستند. مشکل بدتر از این است، چون کیفیت فوکوس بر روی جزئیات تصویر تاثیر می‌گذارد، داده‌های جمع‌آوری‌شده برای یک اسکنر خاص ممکن است نماینده دیگر اسکنرها نباشد، که ممکن است تفاوت‌هایی در سیستم‌های نوری فیزیکی، روش چسباندن مورد استفاده برای بازسازی یک تصویر آسیب‌شناسی بزرگ از کاشی‌های تصویر گرفته‌شده، الگوریتم‌های تراز سفیدی و پس پردازش، و غیره، داشته باشد. این امر منجر به توسعه یک سیستم چند مرحله‌ای جدید برای تولید تصاویر مصنوعی شد که ویژگی‌های واقع گرایانه خارج از فوکوس را نشان می‌دهند.

ما فرآیند جمع‌آوری داده‌های آموزشی را به چندین مرحله شکستیم. اولین مرحله جمع‌آوری تصاویر از اسکنرهای مختلف و برچسب گذاری در مناطق متمرکز بود. این کار به طور قابل‌توجهی آسان‌تر از تلاش برای تعیین درجه‌ای است که یک تصویر خارج از فوکوس است، و می‌تواند توسط افراد غیر متخصص تکمیل شود. سپس، ما تصاویر مصنوعی خارج از فوکوس را ایجاد کردیم، با الهام از توالی وقایعی که قبل از یک تصویر واقعی خارج از فوکوس اتفاق می‌افتد: اثر مات کردن نوری ابتدا اتفاق می‌افتد، به دنبال آن فوتون‌های جمع‌آوری‌شده توسط یک سنسور (فرآیندی که نویز سنسور را اضافه می‌کند)، و در نهایت فشرده‌سازی نرم‌افزار نویز اضافه می‌کند.

توالی تصاویری که تولید تصویر خارج از فوکوس را به صورت گام‌به‌گام نشان می‌دهند. تصاویر در مقیاس خاکستری برای برجسته کردن تفاوت بین پله‌ها نشان‌داده شده‌اند. اول، یک تصویر در فوکوس جمع‌آوری (a)و یک اثر بوکه برای ایجاد یک تصویر تار (b)اضافه می‌شود. سپس، نویز سنسور برای شبیه‌سازی یک سنسور تصویر واقعی (c)اضافه می‌شود، و در نهایت فشرده‌سازی JPEG برای شبیه‌سازی لبه‌های تیز معرفی‌شده توسط پردازش نرم‌افزار پس از اکتساب (d)اضافه می‌شود. یک تصویر خارج از فوکوس واقعی برای مقایسه (e)نشان‌داده شده‌است.
توالی تصاویری که تولید تصویر خارج از فوکوس را به صورت گام‌به‌گام نشان می‌دهند. تصاویر در مقیاس خاکستری برای برجسته کردن تفاوت بین پله‌ها نشان‌داده شده‌اند. اول، یک تصویر در فوکوس جمع‌آوری (a)و یک اثر بوکه برای ایجاد یک تصویر تار (b)اضافه می‌شود. سپس، نویز سنسور برای شبیه‌سازی یک سنسور تصویر واقعی (c)اضافه می‌شود، و در نهایت فشرده‌سازی JPEG برای شبیه‌سازی لبه‌های تیز معرفی‌شده توسط پردازش نرم‌افزار پس از اکتساب (d)اضافه می‌شود. یک تصویر خارج از فوکوس واقعی برای مقایسه (e)نشان‌داده شده‌است.



مطالعه ما نشان می‌دهد که مدل‌سازی هر مرحله برای نتایج بهینه در میان انواع مختلف اسکنر ضروری است و به طور قابل‌ملاحظه‌ای کشف الگوهای دیدنی خارج از فوکوس در داده‌های واقعی را ممکن می‌سازد:

نمونه‌ای از یک الگوی خارج از فوکوس جالب در یک برش بافت زیستی. نواحی به رنگ آبی توسط این مدل برای تمرکز شناخته شدند، در حالی که نواحی برجسته شده در رنگ‌های زرد، نارنجی و یا قرمز بیشتر خارج از فوکوس بودند. درجه‌بندی در فوکوس در اینجا (که توسط دایره‌های هم مرکز نشان داده می‌شود: یک مرکز قرمز / نارنجی خارج از فوکوس که با سبز / cyan کمی خارج از فوکوس احاطه شده‌است، و سپس یک حلقه آبی در فوکوس)توسط یک سنگ سخت در مرکز که بافت بیولوژیکی اطراف را بلند کرده‌است، ایجاد شده‌است.
نمونه‌ای از یک الگوی خارج از فوکوس جالب در یک برش بافت زیستی. نواحی به رنگ آبی توسط این مدل برای تمرکز شناخته شدند، در حالی که نواحی برجسته شده در رنگ‌های زرد، نارنجی و یا قرمز بیشتر خارج از فوکوس بودند. درجه‌بندی در فوکوس در اینجا (که توسط دایره‌های هم مرکز نشان داده می‌شود: یک مرکز قرمز / نارنجی خارج از فوکوس که با سبز / cyan کمی خارج از فوکوس احاطه شده‌است، و سپس یک حلقه آبی در فوکوس)توسط یک سنگ سخت در مرکز که بافت بیولوژیکی اطراف را بلند کرده‌است، ایجاد شده‌است.



مفاهیم و چشم‌انداز آینده

اگر چه حجم داده‌های استفاده‌شده برای توسعه سیستم‌های یادگیری ماشین به عنوان یک تنگنای اساسی دیده می‌شود، ما تکنیک‌هایی را برای تولید داده‌های مصنوعی ارایه کرده‌ایم که می‌تواند برای بهبود تنوع داده‌های آموزشی برای مدل‌های یادگیری ماشین و در نتیجه بهبود توانایی یادگیری ماشین برای کار خوب بر روی مجموعه داده‌های متنوع‌تر استفاده شود. ما باید هشدار دهیم که این روش‌ها برای اعتبار سنجی داده‌ها مناسب نیستند، تا از تعصبی مانند یک مدل یادگیری ماشین که تنها روی داده‌های مصنوعی به خوبی عمل می‌کند جلوگیری شود. برای اطمینان از ارزیابی دقیق آماری و بی طرفانه، داده‌های واقعی حجم و تنوع کافی هنوز مورد نیاز خواهد بود، گرچه تکنیک‌هایی مانند وزن دهی احتمال معکوس (برای مثال، به عنوان اعمال نفوذ در کار ما بر روی یادگیری ماشین برای اشعه ایکس قفسه‌سینه) ممکن است آنجا مفید باشد. ما به کشف روش‌های دیگر برای استفاده موثرتر از داده‌های شناسایی نشده برای بهبود تنوع داده‌ها و کاهش نیاز به مجموعه داده‌های بزرگ در توسعه مدل‌های یادگیری ماشین برای بهداشت و درمان ادامه می‌دهیم.


این مقاله توسط مترجم هوشمند متن‌های تخصصی و علمی ترجمیار و به صورت کاملا خودکار ترجمه شده و با حداقل ویرایش و بازبینی انسانی منتشر شده است. مقالات لینک‌شده در این مقاله را می‌توانید با کمک مقاله‌خوان ترجمیار به رایگان و فارسی بخوانید