https://virgool.io/feed/@amir.kenarang Web Programmer, Android Developer, and NLP Data Science. Master of Ai fa 2026-06-07 07:58:07 https://files.virgool.io/upload/users/53597/avatar/sNzXDj.png?height=120&width=120 https://virgool.io/@amir.kenarang https://virgool.io/dataio/%D9%BE%D8%B1%D8%AF%D8%A7%D8%B2%D8%B4-%D8%B2%D8%A8%D8%A7%D9%86-%D8%B7%D8%A8%DB%8C%D8%B9%DB%8C-%D9%88-%DA%A9%D8%A7%D8%B1%D8%A8%D8%B1%D8%AF%D9%87%D8%A7%DB%8C%D8%B4-%D8%A8%D8%AE%D8%B4-2-ygvdzjxbrtqd تکنیک‌هادر بخش 1 به معرفی NLP و کاربردهایش پرداختیم. حال میخواهیم چند تا از مهمترین تکنیک‌های‌ NLP را به زبان خودمانی بیان کنیم. در بخش‌های آینده به کد‌های هر کدام از این تکنیک‌ها و روش‌های پیاده سازی آن‌ها خواهیم پرداخت. اما اکنون با ما همراه باشید تا ابتدا با این تکنیک‌ها آشنا شویم. چندین مرحله برای پردازش زبان طبیعی وجود دارد که انجام دادن هر کدام با توجه به نیاز ما انجام می‌شود. TokenizationStemmingLemmatizationPOS TagsNamed Entity RecogonitionsChunking Tokenization:Tokenization با tokenization شروع می کنیم که پروسه تبدیل یک string (یک رشته از متن) به توکن های ریزتر می‌باشد که ساختار کوچک‌تری دارند. اگر به مثال توجه کنیم می‌بینیم که یک جمله به چندین کلمه تقسیم شده است. این روش بسیار کارآمد در پردازش زبان طبیعی می‌باشد. همچنین یک متن میتواند به جملات تقسیم شود و یا حتی یک کلمه می‌تواند به حروف تقسیم شود. مرحله Tokenization مهمترین‌کاری می‌باشد که در NLP وجود دارد و تقریبا برای اکثر پردازش‌ها به این مرحله نیاز خواهیم داشت.Tokenization Example Stemming:Stemming تکنیک Stemming به نرمالایز کردن کلمات به حالت پایه آن می‌گویند. اگر به کلمات زیر نگاه کنیم ریشه آنها از یک کلمه می آید و آن Affect است. این کار فرایند کاهش کلمات یا به اصلاح مشتق گرفتن از کلمات می‌باشد. Stemming Example Lemmatization:Lemmatization در Lemmatization کلمات مشابه را شبیه به هم میکنیم. چند نکته قابل توجه در مورد این تکنیک وجود دارد که مشاهده می‌کنیم. · در Lemmatization کلمات معنی دارند ولی در Stemming کلمات بی معنی هستند. · زمان بیشتری نسبت به Stemming نیاز دارد. · زمانی که به معنی کلمات نیاز داریم، مثل Question and Answering از Lemmitization استفاده می‌کنیم.به عنوان مثال کلمات زیر به یک ریشه با معنی رسیده‌اند. gone, going and went ===> go POS Tags:POS زمانی که به صورت گرامری در مورد نوع کلمات صحبت می کنیم منظور ما POS Tags می باشد. POS یا Part of speech موقعیت یک کلمه به عنوان فعل، اسم، قید،صفت و یا ... می‌باشد. این تکنیک می‌تواند ‌بخش‌های مختلف یک جمله را تشخیص بدهد. در مثال زیر مشاهده می‌کنید که نقش‌های هر کدام از کلمات چه چیزی می‌باشد.POS Example Name Entity Recognition:Name Entityتکنیک Name Entity Recognition که به عنوان NER شناخته می شود. در این روش موجودیت یک کلمه را به دست می آوریم. به عنوان مثال یک کلمه را می گوییم فیلم، اسم کمپانی، مکان، شخص و یا ... می باشد.به مثال زیر توجه کنید: NER Example Chunking:Chunking حال نوبت این است که این گروه از تکنیک ها را جمع کنیم و یک حسی نسبت به آن به دست آوریم.ما chunking را داریم. Chunking به معنی برداشت قطعات جداگانه اطلاعات و گروه کردن آن ها به یک قطعه بزرگتر می باشد. در NLP مفهوم chunking به این معنی است که کلمات یا توکن ها را به هم وصل کنیم.تکنیک Chunking فرآیند استخراج عبارات از متن بدون ساختار است. به جای فقط نشانه های ساده که ممکن است معنای واقعی متن را نشان ندهد، توصیه هایی است برای استفاده از عباراتی مانند «آفریقای جنوبی» به عنوان یک کلمه به جای واژه های جداگانه «جنوب» و «آفریقا».Chunkung Exampleدر بالا تکنیک های مهم NLP را بررسی کردیم و با آن ها آشنا شدیم. چندین toolkit مهم برای پردازش زبان طبیعی وجود دارد که در بخش بعد همین مقاله با آن ها بیشتر آشنا خواهیم شد و روش های استفاده از آن ها را با همدیگر بررسی میکنیم. ابزار ها و کتابخانه هایی همانند NLTK، Gensim، Hazm و spaCyممنون از این که با من همراه بودید. کامنت های شما باعث بهتر نوشتن و رفع مشکلات مقاله میشه. استفاده از این مقاله با ذکر نام نویسنده، بلامانع است. amir.kenarang amir.kenarang Fri, 21 Jun 2019 13:06:22 +0430 https://virgool.io/dataio/%D9%BE%D8%B1%D8%AF%D8%A7%D8%B2%D8%B4-%D8%B2%D8%A8%D8%A7%D9%86-%D8%B7%D8%A8%DB%8C%D8%B9%DB%8C-%D9%88-%DA%A9%D8%A7%D8%B1%D8%A8%D8%B1%D8%AF%D9%87%D8%A7%DB%8C%D8%B4-%D8%A8%D8%AE%D8%B4-1-w2qtybdz7bwf مقدمه - زبان های انسانانسان ها پیشرفته ترین گونه در جهان هستند و هیچ شکی در آن نیست و موفقیت ما در انسان بودن به دلیل توانایی ما در ارتباط برقرار کردن و به اشتراک گذاری اطلاعات می باشد. و این ارتباط برقرار کردن، مفهوم توسعه یک زبان است. زمانی که ما در مورد زبان انسان صحبت می کنیم، این بحث پیچیده ترین و گوناگون‌ترین قسمت از ما می‌باشد. امروزه 6500 زبان موجود است اگر چه حدود 2000 زبان وجود دارد که تعداد کمتر از 1000 نفر صحبت می‌کنند. 21 درصد دیتاها به صورت ساختار یافته همانند توییت، و یا ارسال پیام از طریق واتس آپ، فیسبوک، صحبت‌ها و غیره می باشد که می‌توان به عنوان داده زبان طبیعی از آن‌ها استفاده کرد.در ادامه یک سری مطالب در مورد NLP و Text Mining بیان می‌کنیم.نگاهی به NLP و Text Minin: اصطلاح Text Mining یا Text Analytics پروسه به دست آوردن اطلاعات با معنی، از متن زبان طبیعی می‌باشد. Text Mining معمولا پردازش ساختار متن های ورودی، به دست آوردن الگوهای ساختاری داده و در آخر ارزیابی و تفسیر خروجی است.Text Mining and NLP پردازش زبان طبیعی اشاره دارد به متدهای Artificial Intelligence یا هوش مصنوعی و ارتباط با سیستم‌های هوشمند با استفاده از دانش زبان‌ها می‌باشد. همانظور که Text Mining به پردازش به دست آوردن اطلاعات از متن اشاره دارد هدف نهایی این است که اساسا متن را به دیتاهای آنالیز شده در اپلیکیشن‌های NLP تبدیل کنیم. به طور کلی Text Mining و NLP دست در دست هم هستند.کاربر‌های NLP: اولین و یکی از بهترین کاربردهای NLP که وجود دارد، Sentiment Analysis می‌باشد. تجزیه و تحلیل احساسات توییتر و فیسبوک بسیار پرکاربرد می‌باشد. در سال های اخیر مقالات بسیاری در این زمینه در ژورنال های معتبر به چاپ رسیده‌اند. Applications of NLP مورد بعدی پیاده سازی Chatbotها می‌باشد. ممکن است شما با سرویس های چت بات که کمپانی های مختلفی این کار را کردند و پردازش پشت این ها همگی NLP می‌باشند کار کرده باشید. مثل Chatfuel ساخته شرکت فیسبوکاپلیکیشن بعدی Speech Recognition می باشد. و ما اینجا در مورد device هایی مثل Google Assistant، Siri و Cortona صحبت می کنیم. و پردازش همه این ها به دلیل وجود NLP می‌باشد.یکی دیگر از کاربردهای پردازش زبان طبیعی، Machine Translation می‌باشد. از معروف ترین موارد کاربردی می‌توان Google Translate را نام برد.Text Mining and NLP کاربردهای دیگر از NLP همانند Spell Checking، Keyword Searching، Information Extraction و در آخر Advertisement Matching می‌باشد.همگی این‌ها، کاربردهایی هستند که روزانه ما با آن‌ها به صورت مستقیم و یا غیر مستقیم درگیر هستیم. اما چه تکنیک هایی برای پردازش زبان طبیعی وجود دارد.در بخش 2 به طور تخصصی به تکنیک‌های پردازش زبان خواهیم پرداخت.استفاده از این مقاله با ذکر نام نویسنده، بلامانع است. amir.kenarang amir.kenarang Thu, 20 Jun 2019 19:09:42 +0430