چکیده:
زمینه: طبقه بندی احساسات همچنان یک مشکل چالش برانگیز در محاسبات احساسی است. اکثریت مطالعات طبقه بندی احساسات به سیگنالهای الکتروانسفالوگرافی (EEG) و یا الکتروکاردیوگرافی (ECG) متکی هستند و فقط احساسات را در دو یا سه کلاس طبقه بندی می کنند. علاوه بر این ، محرک های مورد استفاده در بیشتر مطالعات طبقه بندی احساسات از موسیقی یا محرک های بصری استفاده می شود که از طریق نمایشگرهای معمولی مانند صفحه نمایش کامپیوتر یا صفحه نمایش تلویزیون ارائه می شوند. این مطالعه گزارش از یک رویکرد جدید در شناخت احساسات با استفاده از شیب سنجی به تنهایی در قالب داده های قطر مردمک برای طبقه بندی احساسات در چهار کلاس مجزا با توجه به مدل احساسات Russell’s Circumplex، با استفاده از محرک های احساسی است که در یک محیط واقعیت مجازی (VR) ارائه می شود. محرک های مورد استفاده در این آزمایش فیلم های 360 درجه است که با استفاده از هدست VR ارائه می شوند. با استفاده از ردیاب چشم ، قطر مردمک به عنوان تنها ویژگی طبقه بندی بدست می آید. از سه طبقه بندی برای طبقه بندی احساسات استفاده شده است: ماشین بردار پشتیبان (SVM) ، الگوریتم نزدیکترین همسایه (KNN) و جنگل تصادفی (RF).
یافته ها: SVM با متوسط دقت 05/57 درصد ، که بیش از دو برابر دقت طبقه بندی تصادفی است ، بهترین عملکرد را برای کار طبقه بندی درون موضوعی به دست آورد. اگرچه هنوز هم می توان به طور قابل توجهی دقت را بهبود بخشید ، این مطالعه گزارش از اولین مطالعه سیستماتیک در استفاده از داده های ردیابی چشم به تنهایی بدون هیچ روش سنسور تکمیلی دیگر برای انجام طبقه بندی احساسات انسانی است و نشان می دهد که حتی با یک ویژگی واحد از قطر مردمک به تنهایی ، احساسات را می توان به سطح مشخصی از دقت در چهار کلاس مجزا طبقه بندی کرد. علاوه بر این ، بهترین عملکرد برای شناسایی یک کلاس خاص 70.83٪ بود که با طبقه بندی KNN برای احساسات سه ماهه حاصل شد.
نتیجه: این مطالعه اولین بررسی سیستماتیک در مورد استفاده از شانه سنجی به عنوان تنها ویژگی برای طبقه بندی احساسات در چهار کلاس مجزا با استفاده از محرک های VR را ارائه می دهد. توانایی انجام طبقه بندی احساسات با استفاده از داده های مردمک به تنهایی نشان دهنده یک رویکرد جدید امیدوار کننده در محاسبات احساسی است زیرا برنامه های جدید می توانند از وب کم های قابل دسترس در لپ تاپ ها و سایر دستگاه های تلفن همراه مجهز به دوربین بدون نیاز به تجهیزات تخصصی و پرهزینه مانند EEG و / یا ECG به عنوان حالت سنسوراستفاده کنند.
کلید واژه ها: طبقه بندی احساسات ، ردیابی چشم ، قطر مردمک ، واقعیت مجازی ، یادگیری ماشین
مقدمه:
طبقه بندی احساسات وظیفه تشخیص عواطف انسانی است که بیشتر از حالت های صورت [8] ، عبارات کلامی [5] و اندازه گیری های فیزیولوژیکی در آن استفاده میشود. برنامه های کاربردی نیز از تکنیک های طبقه بندی احساسات ایجاد شده و در راه حل های دنیای واقعی مانند نظارت بر خستگی راننده [3] و نظارت بر سلامت روان [12] استفاده میکنند. با این حال ، بیشتر مطالعات مربوط به طبقه بندی احساسات بر اساس سیگنالهای فیزیولوژیکی از الکتروانسفالوگرافی (EEG) و الکتروکاردیوگرافی (ECG) به دست می آید [18 ، 22]. پس از آن ، در مورد استفاده از ردیابی چشم به عنوان یک سنسور برای تشخیص احساسات ، موارد بسیار کمی شناخته شده است. بنابراین ، هدف این مقاله گزارش نتایج شناخت احساسات با استفاده از داده های ردیابی چشم فقط به شکل قطر مردمک و بدون هیچ روش اضافی دیگری است.
ردیابی چشم به روش ردیابی حرکات چشم و شناسایی مکانی که کاربر به آن نگاه می کند و همچنین ضبط سایر خصوصیات مربوط به چشم مانند قطر مردمک اشاره دارد. از ردیابی چشم می توان در بسیاری از حوزه ها مانند تحقیقات بازاریابی ، مراقبت های بهداشتی [13] ، آموزش [7] ، روانشناسی و همچنین بازی های ویدئویی [2] استفاده کرد. فناوری ردیابی چشم می تواند در آینده نزدیک به طور گسترده مورد استفاده قرار گیرد ، زیرا فقط برای دستیابی به داده های مورد نیاز به دوربین نیاز دارد. به همین ترتیب ، برای پیاده سازی در دستگاه ضبط ، به حسگرهای کمتری نیاز دارد.
علاوه بر این ، در بیشتر مطالعات طبقه بندی احساسات از فیلم ها ، تصاویر یا موسیقی به عنوان ابزار تحریک کننده آنها برای برانگیختن احساسات کاربر استفاده می شود. در کمتر مطالعاتی سعی شده است از واقعیت مجازی (VR) برای ارائه محرک های عاطفی استفاده شود. VR یک محیط مجازی را فراهم می کند که شباهت زیادی به دنیای واقعی دارد و به همین ترتیب می تواند پاسخ های احساسی شدیدتری را در مقایسه با سایر ابزارهای تحریک کننده از کاربر ایجاد کند. کاربر می تواند با تماشای فیلم های 360 درجه با استفاده از هدست VR در یک تجربه واقعی غوطه ور شود. کاربر حواس پرتی کمتری خواهد داشت و می تواند بیشتر روی محرک های محیط مجازی تمرکز کند.
در این آزمایش از سه طبقه بندی یادگیری ماشین استفاده شده است که عبارتند از ماشین بردار پشتیبانی (SVM) ، نزدیکترین همسایه (KNN) و جنگل تصادفی (RF). این روش ها برای کارهای طبقه بندی مناسب هستند. الگوریتم SVM داده ها را برای تجزیه و تحلیل رگرسیون و طبقه بندی تجزیه و تحلیل می کند. این داده ها را در یک فضای عملکردی با ابعاد بالا ترسیم می کند ، به طوری که مجموعه داده ها می توانند طبقه بندی شوند حتی اگر داده ها به صورت خطی از هم جدا نشوند. KNN یک الگوریتم یادگیری ماشین است که از داده ها استفاده می کند و مجموعه داده های جدید را با توجه به شباهت ها شناسایی می کند.
این کار برای ارزیابی نزدیکترین همسایگان براساس حداقل فاصله از نمونه های آزمون تا مجموعه داده های آموزشی انجام می شود. جنگل تصادفی روشی است که چندین درخت تصمیم را به طور تصادفی در یک "جنگل" تولید و ذوب می کند. این تعداد زیادی درخت تصمیم ایجاد می کند و از طبقه ای که طبقه بندی یا رگرسیون درختان منفرد است ، تولید می کند. برای تعیین اینکه کدام الگوریتم یادگیری ماشین می تواند بهترین عملکرد را در شناخت احساسات در چهار ربع به دست آورد ، از سه مدل مختلف طبقه بندی استفاده می شود.
زمینه:
طبقه بندی احساسات
احساس یک حالت ذهنی مرتبط با مغز است که شامل سه جز خاص است که عبارتند از پاسخ فیزیولوژیکی ، تجربه ذهنی و پاسخ رفتاری [9]. عاطفه احساس و افکار فرد و همچنین میزان لذت / ناخشنودی را منعکس می کند. مدل اکمان شش احساس اساسی را از کارهای تحقیقاتی خود ارائه داده است که عبارتند از ترس ، خوشبختی ، عصبانیت ، تعجب ، انزجار و غم و اندوه [10]. این شش احساس اساسی سپس به هشت احساس گسترش می یابد ، انتظار و اعتماد به لیست مدل Plutchik اضافه می شود [21]. طبقه بندی احساسات به وظیفه شناخت احساسات فرد و طبقه بندی احساسات از واکنشها و پاسخهای آنها اطلاق می شود. طبقه بندی احساس به عنوان دسته بندی احساسات و تلاش برای تمایز یک احساس از احساس دیگر تعریف می شود. مدل تأثیرات راسل [25] ، که شامل ابعاد برانگیختگی و ظرفیت با چهار چهارم عواطف در نتیجه ترکیب این دو بعد است ، از میان متداول ترین مدل های عاطفی است که توسط محققان احساسات برای آزمایش کاربران و تلاش برای طبقه بندی احساسات آنها بر اساس به این چهار ربع استفاده میشود. هر ربع با توجه به ترکیبات تحریک زیاد / کم (HA / LA) همراه با ظرفیت مثبت / منفی (PV / NV) ، حالات احساسی مربوطه را نشان می دهد. ربع 1 ترکیبی از HA / PV است و بیانگر احساسات شاد ، هیجان زده ، سرخوش و هوشیار است. ربع دوم ترکیبی از HA / NV است و نمایانگر احساسات متشنج ، عصبی ، استرس و ناراحتی است. ربع سوم ترکیبی از LA / NV است و نمایانگر احساسات غمگین ، افسرده ، گیج و ملال آور است. در حالی که ربع چهارم ترکیبی از LA / PV است و بیانگر احساسات خرسندی ، آرام ، متین و ساکت است. از آنجا که احساسات پیچیده بسیاری وجود دارد که در هر یک از این چهار رده ها رخ می دهد ، تعیین احساس خاص خاص بر اساس پاسخ ها و واکنش های کاربر بسیار دشوار است. از این رو ، این مقاله تلاش می کند تا با تفکیک احساسات بر اساس اطلاعات ربع مربوطه با توجه به مدل احساسات راسل ، تحلیل عاطفی را طبقه بندی کند.
ردیابی چشم
ردیابی چشم یک فناوری پیشرفته است که برای اندازه گیری حرکت چشم یا دیدگاه یک فرد استفاده می شود. فناوری ردیابی چشم در بسیاری از زمینه ها از جمله در تحقیقات مختلف پزشکی ، مطالعات روانشناسی شناختی و همچنین در تحقیقات انسان و کامپیوتر (HCI) [17] استفاده شده است. سیگنال های حرکت چشم محلی سازی بینایی فرد را فراهم می کنند و بنابراین مشاهده مستقیم و مشخص کردن دقیق آنچه را که توجه او را جلب می کند ، امکان پذیر می کند. از سیگنال های حرکتی چشم می توان به عنوان نشانه ای از رفتارهای فرد استفاده کرد و برخی از کارهای قبلی از سیگنال های چشم برای بررسی توجه کاربران در خواندن استفاده کرده اند [24].
ردیابی چشم در طبقه بندی احساسات
ویژگی های چشم مانند قطر مردمک شامل برخی از ویژگی های مربوط به احساسات است ، از این رو می توان از داده های ردیابی چشم در طبقه بندی احساسات استفاده کرد. از بسیاری از ویژگی های چشم برای انجام طبقه بندی احساسات می توان استفاده کرد مانند مدت زمان ثابت شدن مردمک ، سرعت حرکت مردمک ، موقعیت مردمک و اندازه مردمک. مطالعاتی در مورد تجزیه و تحلیل حرکات چشم برای تشخیص رفتار انسان وجود دارد [14 ، 16]. با این حال ، مطالعاتی که به طور خاص بر روی طبقه بندی احساسات با استفاده از داده های ردیابی چشم متمرکز هستند ، بسیار محدود است زیرا بیشتر این مطالعات شامل سایر سنسورهای نظیر EEG و ECG هستند. یک مطالعه وجود دارد که با استفاده از سیگنالهای الکتروکولوگرافی (EOG) تجزیه و تحلیل حرکتی چشم چشم را متمرکز می کند [20]. همچنین مطالعاتی انجام شده است که به انواع دیگر داده های ردیابی چشم مانند مدت زمان تثبیت و موقعیت مردمک متکی هستند [1 ، 23]. اکثر مقالاتی که به داده های ردیابی چشم متکی هستند ، فقط بعد تحریک یا بعد ظرفیت را به طور جداگانه یا احساسات سه طبقه اساسی مانند مثبت ، خنثی و منفی طبقه بندی می کنند [4 ، 27]. گزارشی اخیراً وجود دارد که مقالات اخیر در زمینه تشخیص احساسات را با استفاده از ردیابی چشم و ارائه طبقه بندی و همچنین چالش های فعلی در این زمینه مرور می کند [19]. با توجه به دانش ما ، تاکنون هیچ مطالعه منظمی در مورد استفاده از داده های ردیابی چشم به طور انحصاری برای طبقه بندی احساسات چهار کلاسه انجام نشده است. بنابراین ، این مقاله تلاش می کند تا طبقه بندی عاطفی چهار کلاسه را با توجه به چهار ربع مدل راسل انجام دهد.
طبقه بندی احساسات در VR
با استفاده از فناوری های VR ، کاربر کاملاً در یک محیط مجازی غوطه ور می شود که شباهت زیادی به دنیای واقعی دارد.
به همین ترتیب ، این احساس واقعی تری را برای کاربر فراهم می کند که کاربر از طریق سطح بالایی از غوطه وری VR ، محرک های بینایی را تجربه می کند. علاوه بر این ، از آنجا که کاربر کاملاً توسط صفحه نمایش خود محصورشده است (HMD) ، این امر می تواند محرک های ثانویه خارجی را که ممکن است باعث پرت شدن کاربر از محرک های اولیه فوری توسط کاربر شود ، مسدود کند. از این رو ، کاربر باید ارتباط بیشتری با محرک های ارائه شده در محیط مجازی داشته باشد و از این رو یک پاسخ احساسی مستقیم تر و واقعی تر از طریق ارائه VR برانگیخته می شود. یک مطالعه گذشته گزارش داده است که از محیط های مجازی غوطه وری (IVE) می توان به عنوان یک ابزار ارائه دهنده برای ایجاد احساسات به طور مثر استفاده کرد [11]. تعدادی از HMD های VR اکنون امکان ادغام دستگاه های ردیابی چشم در HMD خود را دارند. بدین ترتیب ، اکنون می توان با ردیاب های افزودنی چشم که در VR HMD قرار می گیرند ، داده های ردیابی چشم را به راحتی بدست آورد. اخیراً یک مطالعه در مورد طبقه بندی احساسات با استفاده از هدبند EEG پوشیدنی و یادگیری ماشین در یک محیط مجازی با استفاده از فیلم های 360 درجه انجام شده است [26]. همچنین نویسندگانی وجود دارند که تحقیقات طبقه بندی خود را با استفاده از ردیابی چشم و VR در حالات صورت ارائه داده اند [6 ، 15]. در حال حاضر ، هیچ مطالعه ای در مورد طبقه بندی احساسات با استفاده از داده های ردیابی چشم صرفاً در یک محیط مجازی انجام نشده است. بنابراین ، ما از این روش برای کار خود در زمینه طبقه بندی احساسات با استفاده از ردیابی چشم در محیط های VR استفاده می کنیم.
مواد و روش ها
راه اندازی آزمایش
در این مطالعه ، VR به عنوان محرک های ارائه عاطفی ما استفاده می شود. برای تحریک احساسات شرکت کننده از هدست HTC Vive VR همراه با یک جفت هدفون استفاده شد. این آزمایشات با ارائه فیلمهای احساسی 360 درجه شامل چهار احساس متمایز طبق مدل احساسات راسل انجام شد. در مجموع ده نفر (9 مرد و 1 زن) در آزمایش ما شرکت کردند. دامنه سنی 21-28 است. قبل از شروع آزمایش به همه شرکت کنندگان توضیحی داده شد. این آزمایش با ارائه یک سری فیلم 360 درجه انجام شد که در کل حدود 6 دقیقه طول کشید. داده های ردیابی چشم شرکت کنندگان با استفاده از یک ردیاب چشم اضافی از "آزمایشگاه های مردمک" برای هدست VR ثبت شد. جریان ارائه ویدئو در آزمایش به شکلی است که در شکل 1 نشان داده شده است. چهار جلسه مجزا از تحریک ویدئو به مدت 80 ثانیه هر کدام با توجه به هر یک از ربع های احساس وجود دارد. قبل از شروع جلسه بعدی تحریک ویدئو از ربع مربوط ، یک دوره استراحت 10 ثانیه ای داده می شود.
روش های جمع آوری و طبقه بندی داده ها
داده های ردیابی چشم با استفاده از برنامه Pupil Labs جمع آوری شد. در فرآیند جمع آوری داده ها ، کالیبراسیون چشم برای هر یک از شرکت کنندگان انجام می شود. در ابتدا ، همه شرکت کنندگان از هدست VR با افزودنی چشم ردیاب استفاده می کنند. داده های مردمک با استفاده از Pupil Capture ثبت شد. ضبط ویدئو و ضبط داده به طور همزمان آغاز می شود. ویدئو با استفاده از Unity ، بستری برای فیلم های 360 درجه با اسکریپت ضبط به زبان برنامه نویسی C # ارائه شده است. پس از اتمام پخش فیلم ، ضبط داده به طور همزمان متوقف می شود. سپس فهرست ضبط برای پردازش تجسم داده ها به Pupil Player منتقل می شود. این داده های ثبت شده با استفاده از صادر کننده داده خام در Pupil Player صادر شده و در قالب پرونده CSV ذخیره می شود. انواع مختلفی از داده های ردیابی چشم وجود دارد که می تواند از Pupil Player صادر شود ، مانند داده های نگاه ، ثابت ها و داده های مردمک. قطر مردمک به عنوان ویژگی چشم در این آزمایش انتخاب شد. داده ها از طریق تشخیص مردمک گرفته می شود و قطر مردمک بر اساس قطر کره چشم متوسط انسان در میلی متر (میلی متر) برآورد می شود. این مطالعه از محرک های تهیه شده با استفاده از محتوای مبتنی بر VR استفاده کرده است. این مجموعه داده به طور خاص با استفاده از یک محیط VR از هر یک از شرکت کنندگان جمع آوری شده است و تقریباً دارای 70،000 نقطه داده با یک مهر زمان برای هر ثانیه کسب است. وظایف یادگیری ماشین با استفاده از پایتون انجام شد. در این آزمایش از سه نوع طبقه بندی کننده یادگیری ماشین استفاده شده است: پشتیبانی ماشین بردار (SVM) ، نزدیکترین همسایه K (KNN) و جنگل تصادفی ، برای طبقه بندی احساسات. در این آزمایش از طبقه بندی SVM با هسته عملکرد شعاعی (RBF) استفاده شد در حالیکه محدوده مقدار k برای طبقه بندی KNN "پنج" بود.
نتایج و بحث
از شکل 2 ، نتایج نشان می دهد که بیشتر قطر مردمک در ربع 4 بزرگترین است در حالی که در ربع 3 کوچکترین است. همچنین نشان داد که قطر مردمک بیشترین تغییرات را در سطح تحریک کم دارد. نتایج همچنین نشان داد که قطر مردمک در ربع 2 و 3 که در ظرفیت منفی قرار دارد ، کوچکتر است. این ویژگی ها نشان می دهد که قطر مردمک با برخی احساسات تغییراتی را نشان می دهد ، از این رو می توانیم چنین ویژگی های مربوط به احساسات را برای انجام طبقه بندی با استفاده از الگوریتم های یادگیری ماشین استخراج کنیم تا بتوانیم بین چهار رده مختلف احساسات تمایز قائل شویم.
نتایج طبقه بندی با استفاده از قطر مردمک از سه الگوریتم مختلف یادگیری ماشین ، که طبقه بندی کننده های KNN ، SVM و RF بودند ، بدست آمد. از شکل 3 ، طبقه بندی کننده SVM هنگام مقایسه با طبقه بندی کننده های KNN و RF بهترین عملکرد را برای طبقه بندی احساسات نشان می دهد. بالاترین دقت بدست آمده توسط طبقه بندی "SVM" 05/57 درصد بود در حالی که بالاترین دقت بدست آمده از طبقه بندی کننده های KNN و RF به ترتیب 23/53 و 23/49 درصد بود.
جداول 1 ، 2 ، 3 ماتریس های گیجی هر طبقه بندی عاطفی را برای شرکت کنندگان 5 و 6 نشان می دهد ، این نتایج انتخاب شده است زیرا نتایج طبقه بندی از این دو شرکت کننده خاص ، بالاترین دقت طبقه بندی متوسط را در چهار کلاس نشان داده است. بالاترین صحت از زمان مقایسه در تمام ماتریس سردرگمی طبقه بندی برای ربع 3 در شرکت کننده 6 بدست آمده است که برای SVM 69.86٪ ، برای KNN 70.83٪ و برای RF 64.69٪ بود. بالاترین نرخ طبقه بندی بعدی در شرکت کننده 5 برای ربع 2 مشاهده شد که 58.85٪ برای SVM ، 56.98٪ برای KNN و 53.42٪ برای RF بود. هر دو این مشاهدات نشان می دهد که قطر مردمک به نظر می رسد یک روش امیدوار کننده برای استفاده هنگام تلاش برای شناسایی احساسات LA / NV و HA / NV است که در ربعهای ظرفیت منفی قرار دارند. به نظر می رسد این یافته جدیدی باشد که نشان می دهد رابطه ای بین قطر مردمک و محرک های ظرفیت منفی وجود دارد زیرا قطر مردمک فقط قبلاً با سطح تحریک ارتباط داشت.
نتیجه
در این نامه ، ما با استفاده از داده های ردیابی چشم از ارائه محرک های ویدئویی VR 360 درجه به شرکت کنندگان ، احساسات را با توجه به مدل احساسات چهارگوشه ای راسل طبقه بندی کردیم. ما داده های ردیابی چشم را از یک ردیاب چشم که در داخل هدست VR نصب شده بود جمع آوری کردیم و قطر مردمک به عنوان ویژگی چشم برای طبقه بندی احساسات در این آزمایش انتخاب شد. ما از سه الگوریتم مختلف یادگیری ماشین برای انجام کارهای طبقه بندی استفاده کردیم. یافته ها نشان داد که ماشین بردار پشتیبان (SVM) در مقایسه با دو طبقه بندی کننده دیگر که نزدیکترین همسایه K (KNN) و جنگل تصادفی (RF) است ، دارای بهترین میانگین متوسط 57.05٪ در هر چهار ربع است. از تجزیه و تحلیل ماتریس سردرگمی ، همچنین مشاهده شد که دقت در پیش بینی صحیح احساسات ناشی از ربع احساسات LA / NV بالاترین میزان در حدود 70٪ برای هر سه طبقه بندی کننده برای یک شرکت کننده خاص است. برای کارهای آینده ، این مطالعه سعی در مقایسه عملکرد طبقه بندی عاطفه بین دو موضوع چهار طبقه و همچنین استفاده از یادگیری عمیق دارد.
مخفف ها
نوار قلب: الکتروکاردیوگرافی ؛ EEG: الکتروانسفالوگرافی ؛ HA: تحریک زیاد ؛ HMD: صفحه نمایش KNN: نزدیکترین همسایه LA: تحریک کم NV: ظرفیت منفی ؛ PV: ظرفیت مثبت؛ RBF: عملکرد پایه شعاعی ؛ RF: جنگل تصادفی SVM: دستگاه بردار پشتیبانی ؛ VR: واقعیت مجازی.
سپاسگزاریها
این کار توسط وزارت انرژی ، علوم ، فناوری ، محیط زیست و تغییرات آب و هوایی (MESTECC) ، مالزی پشتیبانی شد [شماره گرنت ICF0001-2018].
مشارکت نویسندگان:
LJZ - نوشتن - پیش نویس اصلی.
JM — نوشتن — بررسی و ویرایش ، نظارت.
JT - نوشتن - بررسی و ویرایش ، نظارت ، کسب بودجه.
همه نویسندگان نسخه نهایی را خواندند و تأیید کردند.
منابع مالی:
این کار توسط وزارت انرژی ، علوم ، فناوری ، محیط زیست و تغییرات آب و هوایی (MESTECC) ، مالزی پشتیبانی شد [شماره گرنت ICF0001-2018].
در دسترس بودن داده ها و مواد:
مجموعه داده های مورد استفاده و / یا تجزیه و تحلیل در طول مطالعه فعلی در صورت درخواست منطقی از نویسنده مربوطه در دسترس است.
منافع رقابتی:
نویسندگان اعلام کردند که هیچ منافع رقابتی ندارند.
دریافت: 30 مارس 2020 پذیرفته شده: 21 ژوئن 2020
منتشر شدن به صورت آنلاین: 6 جولای 2020
References
1. Alhargan A, Cooke N, Binjammaz T. Multimodal affect recognition in an interactive gaming environment using eye
tracking and speech signals. In: ICMI 2017—proceedings of the 19th ACM international conference on multimodal
interaction; 2017. p. 479–86. https ://doi.org/10.1145/31367 55.31370 16.
2. Almeida S, Mealha س, Veloso A. Video game scenery analysis with eye tracking. Entertain Comput. 2016;14:1–13.
https ://doi.org/10.1016/j.entco m.2015.12.001.
3. Alsibai MH, Manap SA. A study on driver fatigue notification systems. ARPN J Eng Appl Sci. 2016;11(18):10987–92.
4. Aracena C, Basterrech S, Snasel V, Velasquez J. Neural networks for emotion recognition based on eye tracking data.
In: Proceedings—2015 IEEE international conference on systems, man, and cybernetics, SMC 2015; 2016. p. 2632–7.
https ://doi.org/10.1109/SMC.2015.460.
5. Basu S, Chakraborty J, Aftabuddin M. Emotion recognition from speech using convolutional neural network with
recurrent neural network architecture. In: Proceedings of the 2nd international conference on communication and
electronics systems, ICCES 2017, 2018-Jan (Icces); 2018. p. 333–336. https ://doi.org/10.1109/CESYS .2017.83212 92.
6. Bekele E, Bian D, Zheng Z, Peterman J, Park S, Sarkar N. Responses during facial emotional expression recognition
tasks using virtual reality and static IAPS pictures for adults with schizophrenia. In: Lecture Notes in Computer Science
(Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 8526 LNCS
(PART 2); 2014. p. 225–35. https ://doi.org/10.1007/978-3-319-07464 -1_21.
7. Busjahn T, Begel A, Orlov P, Sharif B, Hansen M, Bednarik R, Shchekotova G. Eye tracking in computing education
categories and subject descriptors. In: ACM: proceedings of the tenth annual conference on international computing
education research; 2014. p. 3–10. https ://doi.org/10.1145/26323 20.26323 44.
8. Chanthaphan N, Uchimura K, Satonaka T, Makioka T. Facial emotion recognition based on facial motion stream generated
by kinect. In: Proceedings—11th international conference on signal-image technology and internet-based
systems, SITIS 2015; 2016. p. 117–124. https ://doi.org/10.1109/SITIS .2015.31.
9. Damasio AR. Emotion in the perspective of an integrated nervous system. Brain Res Rev. 1998;26(2–3):83–6. https ://
doi.org/10.1016/S0165 -0173(97)00064 -7.
10. Ekman P. Basic emotions. Encyclopedia of personality and individual differences. Cham: Springer; 1999. p. 1–6. https
://doi.org/10.1007/978-3-319-28099 -8_495-1.
11. Gorini A, Mosso JL, Mosso D, Pineda E, Ruيz NL, Ramيez M, et al. Emotional response to virtual reality exposure
across different cultures: the role of the attribution process. CyberPsychol Behav. 2009;12(6):699–705. https ://doi.
org/10.1089/cpb.2009.0192.
12. Guo R, Li S, He L, Gao W, Qi H, Owens G. Pervasive and unobtrusive emotion sensing for human mental health. In:
Proceedings of the 2013 7th international conference on pervasive computing technologies for healthcare and
workshops, PervasiveHealth 2013; 2013. p. 436–9. https ://doi.org/10.4108/icst.perva siveh ealth .2013.25213 3.
13. Henneman EA, Marquard JL, Fisher DL, Gawlinski A. Eye tracking: a novel approach for evaluating and improving the
safety of healthcare processes in the simulated setting. Simul Healthcare. 2017;12(1):51–6. https ://doi.org/10.1097/
SIH.00000 00000 00019 2.
14. Hess EH. The tell-tale eye: How your eyes reveal hidden thoughts and emotions. In The tell-tale eye: How your eyes
reveal hidden thoughts and emotions. Oxford: Van Nostrand Reinhold; 1975.
15. Hickson S, Kwatra V, Dufour N, Sud A, Essa I. Eyemotion: classifying facial expressions in VR using eye-tracking
cameras. In: Proceedings—2019 IEEE winter conference on applications of computer vision, WACV 2019; 2019. p.
1626–1635. https ://doi.org/10.1109/WACV.2019.00178 .
16. Isaacowitz DM, Wadlinger HA, Goren D, Wilson HR. Selective preference in visual fixation away from negative images
in old age? An eye-tracking study. Psychol Aging. 2006;21:40–8. https ://doi.org/10.1037/0882-7974.21.1.40.
17. Jacob RJK, Karn KS. Eye tracking in human-computer interaction and usability research: ready to deliver the promises.
Mind’s Eye. 2003. https ://doi.org/10.1016/B978-04445 1020-4/50031 -1.
18. Ko KE, Yang HC, Sim KB. Emotion recognition using EEG signals with relative power values and Bayesian network. Int
J Control Autom Syst. 2009;7(5):865–70. https ://doi.org/10.1007/s1255 5-009-0521-0.
19. Lim JZ, Mountstephens J, Teo J. Emotion recognition using eye-tracking: taxonomy, review and current challenges.
Sensors (Switzerland). 2020;20(8):1–21. https ://doi.org/10.3390/s2008 2384.
20. Paul S, Banerjee A, Tibarewala DN. Emotional eye movement analysis using electrooculography signal. Int J Biomed
Eng Technol. 2017;23(1):59–70. https ://doi.org/10.1504/IJBET .2017.08222 4.
21. Plutchik R. The nature of emotions. Philos Stud. 2001;52(3):393–409. https ://doi.org/10.1007/BF003 54055 .
22. Rattanyu K, Ohkura M, Mizukawa M. Emotion monitoring from physiological signals for service robots in the living
space. In: ICCAS 2010—international conference on control, automation and systems; 2010. p. 580–583. https ://doi.
org/10.1109/ICCAS .2010.56699 14.
23. Raudonis V, Dervinis G, Vilkauskas A, Paulauskaite A, Kersulyte G. Evaluation of human emotion from eye motions. Int
J Adv Comput Sci Appl. 2013;4(8):79–84. https ://doi.org/10.14569 /ijacs a.2013.04081 2.
24. Rayner K. Eye movements and attention in reading, scene perception, and visual search. Quart J Exp Psychol.
2009;62(8):1457–506. https ://doi.org/10.1080/17470 21090 28164 61.
25. Russell JA. A circumplex model of affect. J Pers Soc Psychol. 1980;39(6):1161–78. https ://doi.org/10.1037/h0077 714.
26. Teo J, Suhaimi NS, Mountstephens J. Augmenting EEG with inertial sensing for improved 4-class subject-independent
emotion classification in virtual reality; 2019. p. 1–8. https ://doi.org/10.4108/eai.18-7-2019.22879 46.
27. Wang Y, Lv Z, Zheng Y. Automatic emotion perception using eye movement information for E-healthcare systems.
Sensors (Switzerland). 2018;18(9):2826. https ://doi.org/10.3390/s1809 2826.
