مشخصه رفتاری تقسیم بندی تصویر جمعیت (مقاله ترجمه شده)

 معرفی

پلت فرم های برون سپاری افراد و شرکت ها را قادر می سازد تا به سرعت جمع آوری مقادیر زیادی از ورودی انسانی را انجام دهند. چالش این است که چگونه به نتایج حاصل از افراد غیرفعال از طریق محتوا اعتماد کنیم. کار ما سهمی از تحقیق روزافزون در مورد چگونگی موفقیت گروه های بزرگ جمعیت افراد غیر رسمی برای جمع آوری نتایج تفسیر تصاویر با کیفیت بالا است. در سراسر زمینه های مختلف، روش هایی برای کنترل کیفیت نتایج و به حداقل رساندن خطاهای انسانی پیشنهاد شده است. در میان آنها می توان دو دسته اصلی را مشاهده کرد. اولین دسته روش هایی برای طراحی وظیفه crowdsourcing مناسب است. به شرایط مناسب کاربران بالقوه، با استفاده از سرنخ های تصویری مناسب و دستورالعمل های جامع برای جلوگیری از ابهام، و نشان دادن مثال های خوب و بد نتیجه مورد نظر  نیاز است، درخواست کنندگان می توانند شانس خود را برای به دست آوردن پاسخ های با کیفیت بالا از جمعیت افزایش دهند. دسته دوم روش های کنترل کیفیت می تواند در زمان اجرا مورد استفاده قرار گیرد. تکنیک های مورد مطالعه در این دسته عبارتند از: بررسی تخصصی دامنه و استفاده از انفصال، که در آن نتایج چند جمعیت به یک نتیجه نهایی می پیوندد. ناحیه کمتر تحقیق شده چگونگی استفاده از دانش در مورد رفتار کاربر برای ارزیابی نتیجه نهایی است.

اطلاعات جمع آوری شده برای حل وظایف دیداری رایانه ای مورد استفاده قرار گرفته است. تمرکز کار ما این است که مرزهای اشیاء در تصاویر (تقسیم بندی)، که یک گام بحرانی است برای بسیاری از وظایف دیداری کامپیوتر، از جمله جمع آوری اطلاعات در مناطق موردنظر، تطبیق اشیاء در تصاویر مختلف (ثبت نام)، دنبال کردن اشیاء (ردیابی)، و تمایز بین انواع مختلف اشیاء (طبقه بندی) را مشخص کند.

محتوای تصویر می تواند رفتار کاربر و کیفیت حاشیه نویسی های به دست آمده را تحت تاثیر قرار دهد - کاربر ممکن است زمان بیشتری برای رسم کردن مرزهای شیئ پیچیده، مانند مرز یک گل در مقابل جعبه نیاز داشته باشد. ممکن است از این دیدگاه استفاده کنید تا هزینه های جمع آوری رسم مرزهای شیء را کاهش دهید. یکی دیگر از ویژگی های آموزنده رفتار کاربر، تعداد کلیک هایی است که کاربر برای محدود کردن مرز انجام می دهد. ایده این است که بیشتر شکل های پیچیده نیاز به نقاط بیشتر برای گرفتن این شکل در جزئیات دارد. پیش ببینی شده است که تعداد کلیک های کاربر مربوط به دقت باشد که ممکن است از کاربران جمعیت هنگام درخواست آنها برای رسم مرزهای اشیا انتظار داشته باشید. ابزار طراحی همچنین می تواند موثر باشد.

روش شناسی تجربی

آزمایش crowdsourcing تمرکز بر وظیفه تقسیم بندی تصویر برای جمع آوری طرحهای crowdsourced از مرزهای اشیاء دارد، ما از ابزار Annotation آنلاین دسترسی آزاد LabelMe استفاده کردیم. آن را به Amazon Mechanical Turk متصل کردیم، یک بازار اینترنتی که ما کاربران را استخدام کردیم که قبلا حداقل 100 کار (HIT) انجام داده بودند و حداقل یک امتیاز تایید 92٪ را نگهداری می کردند. ما تمام HIT های ارسالی را پذیرفتیم. کاربران را با دستورالعمل های جزئی در مراحل کارهای طراحی و تصاویر نشان داده شده آنها از حاشیه نویسی خوب و بد ارائه دادیم. زمان تکمیل کار مکانیزم پایان را به دست آوردیم.

نتایج

در آزمایش ما، 90 کارمند منحصر به فرد 2025 نقاشی را به خود اختصاص دادند. ما در اینجا رفتار کاربر جمعیت را با رابطه بین کیفیت یادداشت و تعداد کلیک های کاربر رسم جمعیت بخوبی زمان لازم برای حاشیه نویسی مشخص می کنیم. میانگین زمانی که کاربران برای رسم یک طرح کلی شیء در نظر گرفتند 46 ثانیه بود و میانگین آن 30 ثانیه بود (25 درصد 21ثانیه و 75 درصد 56ثانیه). متوسط زمانی که کاربران برای رسم یک طرح کلی در یک تصویر بیومتریک به کار می بردند، 26 ثانیه بود (25 درصد 18 ثانیه و 75 درصد 46 ثانیه) و در تصویر روزانه 32 ثانیه (25 درصد 48ثانیه و75درصد 80 ثانیه).

تعداد متوسط ​​کلیک کاربر 27 بود (25 درصد 20تا و 75 درصد 38تا)، 27 مورد برای تصاویر پزشکی (25 درصد 21 و 75 درصد 37 تا کلیک کاربر) و 29 برای تصاویر روزانه (25 درصد بارز 17 و 75 درصد 43 تا کلیک کاربر).

دقت به عنوان عملکرد زمان تکمیل

برای بررسی رابطه بین کاربران زمانی که به تصاویر یادداشت پرداختند و کیفیت کار آنها ما داده های زمان تکمیل را به چهار دسته تقسیم کردیم، T1 برای 0-25 درصد، T2 برای 25-50، T3 برای 50-75، و T4 برای 75-100. سپس دقت نتایج حاشیه نویسی برای تصاویر بیومدیکال و روزانه را با توجه به این گروه های تقسیم شده تجزیه و تحلیل کردیم (شکل a 1 ). هنگام مقایسه دقت حاشیه نویسی تصاویر بیومدیکال در مقابل تصاویر روزمره، ما یک الگوی مخالف را از تغییر در نمرات دقت با افزایش زمان اتمام مشاهده کردیم: به عنوان مثال زمان تکمیل، کار افزایش یافته کیفیت حاشیه نویسی تصویر در تصاویر بیومدیکال را بدتر کرده است. با این حال، در تصاویر روزانه، یک کاربر زمان بیشتری صرف کرد، نتایج حاشیه نویسی تصویر دقیق تر به دست آمد.

دقت به عنوان یک عملکرد از کلیک های کاربر

ما رابطه بین دقت کاربر و تعداد کلیک های کاربر را مورد بررسی قرار دادیم (شکل a 2 ).همانطور که درتجزیه و تحلیل قبلی، نتایج حاشیه نویسی را به چهار دسته تقسیم کردیم، P1 برای اولین تقسیم،P4 برای آخرین. همچنین هنگام مقایسه دقت علامت تصاویر زیست پزشکی و روزانه ویژگی های متفاوتی پیدا کردیم. برای داده های زیست پزشکی، کمترین نمرات دقت برای تقسیم بندی هایی که بیشترین تعداد کلیک های کاربر را دارند (P4) به دست آمده است. برای تصاویر روزانه، با این حال، بیشترکلیک کاربر به معنای دقت بالاتر است (P2-P4). تقسیم بندی تصاویر روزانه به دست آمده با کمترین کلیک کاربر (P1) در داشتن کمترین نمرات دقت و در (یا وزن کمتر)یک روش رأی گیری که حاوی حاشیه نهایی است میتواند مورد توجه قرار گیرد.

بحث و نتیجه گیری

ما شگفت زده شدیم که زمان بیشتری منجر به نتایج دقیق تر برای تفسیر محتوای آشنا در تصاویر روزانه و نتایجی با دقت کمتر برای محتوای نا آشنا از تصاویر biomedicalشد. ما تصاویر بصری را بررسی کردیم تا نتیجه بگیریم (شکل b 1 ). فرض می کنیم که کاربران که زمان بیشتری برای انجام دقیق هر نقطه کنترل صرف کرده اند در امتداد مرز شی وجود داشت. این مرز برای اشیاء روزمره قابل درک است، اما برای تصاویر بیومدیکال قابل درک نیست و مبهم است(شکل b 2). همچنین شگفت زده شدیم که کلیک های بیشتر کاربر، یعنی نقاط کنترل مرزی، منجر به روندهای مختلف مشاهده شده از کیفیت یادداشت با محتوای تصویر آشنا و نا آشنا شد. بازرسی دیداری از نتایج نشان می دهد که مرزهای اشیای زیست پزشکی بسیار پیچیده است افزایش تعداد نقاط مرزی به طور کلی در بهبود دقت بخش بندی ناکافی بود (شکل 2b).

کار ما، تعیین اینکه چه چیزی از کاربران جمعیت در زمان و مکان انتظار می رود، تعداد کلیک برای دو مجموعه تصویر چالش انگیز که محتوای تصویر آشنا و آشنا را نشان می دهند تسهیل می شود. امیدواریم که این درک افراد را تشویق کند تا روش های کنترل کیفیت عمومی تر یا سیستم های طراحی مبتنی بر وب را برای سیستم های ذخیره سازی خود تشویق کنند. علاوه بر این، ما این را امیدواریم که همکاری های بین رشته ای، آینده را با برجسته کردن نحوه تجزیه و تحلیل در مورد تصاویر ناآشنا تشویق خواهد کرد (بیومدیکال) و راه هایی برای بهبود درک ما در مورد رفتار کلی جمعیت را نشان می دهد.

این مقاله توسط گروه علوم کامپیوتر منتشر شده و در سایت ای ترجمه جهت دانلود ارائه شده است. در صورت نیاز به دانلود رایگان اصل مقاله انگلیسی و ترجمه آن می توانید به پست دانلود ترجمه مقاله مشخصه رفتاری تقسیم بندی تصویر جمعیت در سایت ای ترجمه مراجعه نمایید.