چگونگی کارکرد NLP

هوش مصنوعی از بخش‌های مختلفی تشکیل شده و یکی از این قسمتها NLP یا پردازش زبان طبیعی است.

اما سوالی که مطرح می‌شود این استکه جایگاه NLP در هوش مصنوعی کجاست؟

می دانیم NLP شامل مجموعه‌ای از فرایند هاست که باعث ارتباط ماشین و زبان طبیعی می‌شود، از مجموعه پست‌های قبل می‌دانیم که به کمک ML (یادگیری ماشین) می‌توانیم به ماشین توانایی یادگیری بدهیم ، حالا میتوانیم واضح تر به مساله نگاه کنیم و به طور کلی می‌توان گفت الگویتم‌های NLP الگوریتم‌های ML را با متن مرتبط میکنند.

برای درک بهتر یک مثال میزنیم :

یکی از کاربردهای NLP تحلیل عواطف هست ، مثلا به کمک تحلیل عواطف میتوانیم کامنت‌های زیر یک پست اینستاگرام را بررسی کنیم و حدس زده میشود کدومشان مثبت ، کدام منفی و کدام خنثی است،

در مرحله اول به کمک NLP متن را به بردار تبدیل می کنیم ، برای این کار در ایتدا یک فضای n بعدی تعریف می‌کنیم ( n تعداد لغات متمایز در متن است) سپس هر جمله بر اساس تعداد تکرار لغات یک بردار می‌شود و از روی زاویه بردارها نزدیکی معنی جملات حدس زده می‌شود ، البته برای بهبود این کار روشی به کار گرفته میشود که لغاتی که تکار زیاد داشته باشد اثر کمتری در بردار داشته باشد مثلا در یک متن فارسی به تعداد بالا از "است" استفاده می‌شود و چنان که اثر این لغت را کم کنیم بردارها بهینه‌تر می‌شوند.

گام دوم این است که این بردارها را به الگوریتمهای ML بدهیم تا پردازش انجام شود.

حال چنانچه کامنتی داده شود می‌توانیم پیش‌یینی داشته باشم.