پردازش زبان های طبیعی (NLP) [1]

سال 1398 شروع شده و همیشه اوایل سال، با کلی رزولوشن و برنامه های خیلی خوب شروع میشه. اما این بار تصمیم گرفتم تا چالش NLP رو شروع کنم که شامل مطالعه و یا کدزدن توی همین حوزه خواهد بود.

البته سال 97، یک چالش 40 روزه Machine Learning رو شروع کرده بودم که از نظر خودم نتایج خوبی داشت. بخش اول مطالعات طبق سیلابس NLP دانشگاه Standford خواهد بود (آقایان Dan Jurafsky و Christopher Manning) که از طریق لینک هایی که به رنگ آبی در آمده است، در دسترس عموم قرار گرفته است.

چالش 100 روز پردازش زبان های طبیعی (NLP) [1/100]
چالش 100 روز پردازش زبان های طبیعی (NLP) [1/100]

خوب برای روز اول و شروع این چالش، در مورد کاربردهای NLP و پردازش متن، بعد از یک گشت و گذاری توی اینترنت و بررسی بخش اول ویدیوهای هفته اول، به موارد زیر رسیدم:

  • نظرکاوی (Sentiment Analysis): تحلیل احساسات از روی متون و به ویژه کامنت ها و نظرات کاربران
  • خلاصه‌ساز خودکار متون: کاهش حجم متون با حفظ موضوع وخوانایی متن اصلی (کابرد: خلاصه اخبار)
  • ترجمه متون از یک زبان به زبان دیگه
  • سامانه های Chat bot جهت ارتباط تعاملی با کاربران
  • استخراج کلمات کلیدی: با هدف برچسب‌زنی یا تگ‌زنی موضوعی خودکار متن
  • دسته‌بندی و خوشه‌بندی متون: گروه‌بندی مجموعه متون (کاربرد: گروه‌بندی متون اخبار)
  • تشخیص موضوع کلی متن به ویژه در سایت های خبری جهت دسته بندی متون

در واقع پردازش زبان طبیعی (NLP) به بهره‌گیری از ابزارها، تکنیک‌ها و الگوریتم‌ها جهت پردازش داده‌های طبیعی مبتنی بر زبان می باشد که معمولاً در قالب‌های ساخت‌نیافته‌ای مانند متن، سخنرانی و غیره وجود دارند. از طرفی با توجه به اینکه الان بخش اعظمی از دیتاهای موجود به صورت متن هست، کارهای زیادی هست که قطعاً این تکنولوژی با استفاده از روش های هوش مصنوعی و یادگیری ماشین می تونن حرفها برای گفتن داشته باشند.

لیست روزهای آتی به صورت زیر می باشد:

من، سهیل تهرانی پور، قصد دارم تا از طریق ویرگول برای شما بیشتر از NLP بگم تا بتونیم در کنار هم زبان قشنگ فارسی رو جهانی تر کنیم.

بیاین با هم یادگیری ماشین، یاد بگیریم. (Keep Calm and Learn Machine Learning)