https://virgool.io/feed/@technotesai fa 2026-04-14 08:03:50 https://static.virgool.io/images/default-avatar.jpg https://virgool.io/@technotesai https://virgool.io/@technotesai/%DA%86%D8%B1%D8%A7-%D8%AC%D8%B3%D8%AA%D8%AC%D9%88%DB%8C-%D9%81%D8%A7%D8%B1%D8%B3%DB%8C-%D8%AF%D8%B1-elasticsearch-%D8%AF%D8%B1%D8%B3%D8%AA-%DA%A9%D8%A7%D8%B1-%D9%86%D9%85%DB%8C-%DA%A9%D9%86%D8%AF-%D9%88-%DA%86%D8%B7%D9%88%D8%B1-%D8%AF%D8%B1%D8%B3%D8%AA%D8%B4-%DA%A9%D9%86%DB%8C%D9%85-dfsaaev7zebh (به توصیه چند تا از دوستان و به کمک chatGPT این پست رو که قبلا اینجا منتشر کرده بودم فارسی کردم و اینجا گذاشتم.)یک کانفیگ Analyzer تست‌شده در محیط اجرای واقعی برای کاتالوگ محصول فارسیاگر تا به حال برای یک کاتالوگ محصول فارسی،‌ مثل دیتای دیجی کالا که اینجا کرال کردیم، سیستم جستجو ساخته اید و حس کرده اید نتایجی که بر می گردونه تصادفی یا غیرقابل‌پیش‌بینی هستند، تنها نیستید.Analyzer پیش‌فرض Elasticsearch برای زبان‌های لاتین طراحی شده است و اگر بدون تغییر روی متن فارسی بشود، تجربه جستجویی خواهد ساخت که هم کاربر را ناامید می‌کند و هم روی نرخ کانورژن خوبی ایجاد نخواهد کرد.در این پست، یک کانفیگ analyzer که در محیط production و روی میلیون‌ها کوئری فارسی استفاده و بهینه شده را به اشتراک می‌گذارم. اما مهم‌تر از خود کد، توضیح می‌دهم چرا هر تصمیم گرفته شده است، تا بتوانید آن را هوشمندانه با داده‌های خودتان تطبیق بدهید.ریشه مشکل: متن فارسی با استاندارد یگانه ای نوشته نمی شود!‌قبل از هر تغییری بای داده را درست شناخت. محتوای فارسی از منابع مختلفی می‌آید:اطلاعات وارد شده توسط فروشنده ها، کاتالوگ‌هایی که به سیستم اضاف میشوند، سیستم‌های قدیمی، متن تولیدشده توسط کاربر و ...این داده‌ها معمولا با هم سازگاری ندارند. یک کلمه واحد ممکن است بنا به دلایل زیر، در چندین شکل متفاوت ظاهر شود:تفاوت کیبورد عربی و فارسیوجود یا عدم وجود اِعراباستفاده یا عدم استفاده از نیم‌فاصله (ZWNJ)استفاده از اعداد فارسی، عربی یا لاتیناگر این تفاوت‌ها قبل از توکن‌سازی (tokenization) نرمال‌سازی نشوند، اسناد و کوئری‌هایی که باید با هم match شوند، هرگز یکدیگر را پیدا نمی‌کنند.تقریباً تمام اجزای یک analyzer درست برای فارسی، برای حل همین مشکل طراحی می‌شوند.لایه اول: Character Filters (اصلی‌ترین بخش کار)Character filterها قبل از توکن‌سازی اجرا می‌شوند. برای فارسی، بخش عمده کار واقعی همین‌جاست.نگاشت حروف عربی به فارسی"arabic_char_mapper": { "type": "mapping", "mappings": [ "ك => ک", "أ => ا", "إ => ا", "ي => ی", "ى => ی", "ئ => ی", "ة => ه", "ؤ => و", "آ => ا" ] }فارسی و عربی الفبای مشترکی دارند، اما برخی حروف حتی اگر ظاهرا شبیه به هم دیده بشوند از نظر یونیکد متفاوت‌اند. این نگاشت این مشکل را حل می کند و اگر انجام نشود، ممکن است کوئری کاربر با کیبورد فارسی نوشته شود ولی عنوان محصولی که از با کیبورد عربی نوشته شده باشد و با اینکه از دید ما یکسان هستند با هم match نشوند.حذف اِعرابدر فارسی روزمره معمولاً از اِعراب استفاده نمی‌شود، اما در داده‌های قدیمی یا داده های که به سیستم inject میشود ممکن است اعراب وجود داشته باشد. وجود اِعراب فقط تنوع بی‌دلیل ایجاد می‌کند. بنابراین باید حذف شود.مثال:کِتاب = کتاب"persian_vowel_remover": { "type": "mapping", "mappings": [ "\\u064B => ", "\\u064C => ", "\\u064D => ", "\\u064E => ", "\\u064F => ", "\\u0650 => ", "\\u0651 => ", "\\u0652 => ", "\\u0653 => ", "\\u0670 => " ] }نرمال‌سازی اعداددر متن فارسی سه سیستم عددی داریم:اعداد عربی-هندیاعداد فارسیاعداد لاتینمثلاً:۱۲۸ گیگابایتباید با128 گیگابایتmatch شود. ولی اگر نرمال‌سازی انجام نشود، توکن‌های این دو متن متفاوت خواهند بود و match اتفاق نمی‌افتد."persian_digit_mapper": { "type": "mapping", "mappings": [ "٠ => 0", "١ => 1", "٢ => 2", "٣ => 3", "٤ => 4", "٥ => 5", "٦ => 6", "٧ => 7", "٨ => 8", "٩ => 9", "۰ => 0", "۱ => 1", "۲ => 2", "۳ => 3", "۴ => 4", "۵ => 5", "۶ => 6", "۷ => 7", "۸ => 8", "۹ => 9" ] }حذف نیم‌فاصله و کاراکترهای نامرئیکاراکترهای نامرئی یونیکد مثل ZWNJ در منابع مختلف به شکل‌های متفاوت استفاده می‌شوند.کاربر آن‌ها را نمی‌بیند، اما برای موتور جستجو تفاوت دارند. حذف این کاراکترها برای یک جستجوی موثر، کاملاً ضروری است."persian_zwnj_mapper": { "type": "mapping", "mappings": [ "\\u200B => ", "\\u200C => ", "\\u00A0 => ", "\\u2009 => ", "\\u200A => ", "\\u2002 => " ] }حذف علائم نگارشی"punctuation_mapper": { "type": "mapping", "mappings": [ ": => ", ", => ", "! => ", "? => ", "؟ => ", ". => ", "- => ", "، => " ] }هم علائم لاتین و هم علائم فارسی (مثل «،» و «؟») باید در نظر گرفته شوند. بسیاری از تیم‌ها این مورد را نادیده می‌گیرند و نتیجه آن، توکن‌سازی ناسازگار و mismatchهای غیرضروری است.جدا کردن پسوندها"persian_suffix_stripper": { "type": "pattern_replace", "pattern": "([\u0600-\u06FF\\w]+)(های|ها)", "replacement": "$1 $2" }این فیلتر، پسوندهای «ها» و «های» را جدا می‌کند تا بعداً بتوان آن‌ها را به عنوان stopword حذف کرد. این مرحله stemming واقعی نیست؛ بلکه یک راه‌حل عملی برای کاتالوگ‌های محصول است. در واقع در کاتالوگ های مربوط به فروشگاه ها یا لیست محصولات، stemming کامل ضروری نیست. اما اگر با متن فارسی به صورت کلی، و نه کاتالوگ های فروشگاه ها کار می کنید، بهتر است stemming را آفلاین (مثلاً با Hazm) انجام دهید و نتیجه را با stemmer_override وارد کنید.لایه دوم: Token Filtersبعد از توکن‌سازی، token filterها روی استریم توکن‌ها اعمال می‌شوند.جدا کردن متن و عدد"text_digit_splitter": { "type": "pattern_replace", "pattern": "([\u0600-\u06FFa-zA-Z\\s])(\\d+)|(\\d+)([\u0600-\u06FFa-zA-Z\\s])", "replacement": "$1$3 $2$4" }در عنوان محصول زیاد می‌بینیم:Samsung32اینچاگر بخش های مخلف این محصول جدا نشود، به یک توکن غیرقابل‌جستجو تبدیل می‌شود.این فیلتر باعث می‌شود هم بخش متنی و هم عددی قابل match باشند.Stopwordها"persian_stopwords": { "type": "stop", "stopwords": ["و", "از", "در", "با", "برای", "ها", "های"] }, "digikala_stopwords": { "type": "stop", "stopwords": ["طرح", "کد", "مدل"] }دو لیست جدا داریم:Stopwordهای عمومی فارسی برای حذف کلمات عملکردی کم‌اهمیتStopwordهای دامنه‌ای (Domain-specific) برای حذف کلماتی که تقریباً در همه عناوین محصول تکرار می‌شوند (مثل «مدل» و «کد»)جدا بودن این دو لیست، نگهداری را ساده‌تر و امن‌تر می‌کند.نکته:هفت stopword فارسی ای که اینجا لیست شده حداقل ممکن است. اگر داده عمومی‌تر دارید، اضافه کردن کلماتی مثل «که»، «را»، «به»، «این»، «یک» احتمالاً به بهبود ranking کمک می‌کند.اما قبل از deploy حتماً اثر آن بر recall را بررسی کنید.مترادف‌ها (Synonyms)"synonyms_filter": { "type": "synonym", "synonyms": ["بسته,پک"] }با یک لیست کوچک شروع کنید. و کم کم و بر اساس آنچه در لاگ‌های سیستم می بینید لیست مترادف ها را گسترش بدهید.حدس نزنید. مترادف‌ها را از رفتار واقعی کاربران (کوئری و کلیک) استخراج کنید.نکته عملیاتی:اگر مترادف‌ها در زمان ایندکس اعمال شوند، برای تغییر آن‌ها باید reindex انجام دهید.اگر لیست مترادف‌ها زیاد تغییر می‌کند، بهتر است در زمان کوئری اعمال شوند.در اغلب سیستم‌های production، استفاده از synonym در زمان ایندکس توصیه نمی‌شود مگر اینکه لیست ثابت و پایدار باشد.لایه سوم: تنظیم BM25 سفارشی"my_bm25_persian": { "type": "BM25", "k1": 1.2, "b": 0.3 }این بخش معمولاً نادیده گرفته می‌شود، اما در جستجوی محصول تأثیرگذار است. در فرمول BM25 پارامتر b میزان نرمال‌سازی طول سند را کنترل می‌کند و مقدار پیش‌فرض 0.75 است. در عناوین محصول که کوتاه و تقریباً هم‌طول هستند، این مقدار معمولاً ایده‌آل نیست. مقدار 0.3 باعث می‌شود اختلاف طول تأثیر کمتری روی امتیاز داشته باشد.پارامتر k1 میزان اشباع تکرار کلمه را کنترل می‌کند. مقدار 1.2 معمولاً برای عنوان محصول مناسب و پایدار است.اما در نهایت، این مقادیر را باید با داده و لاگ واقعی اعتبارسنجی کنید، نه بر اساس حدس.Analyzer نهایی"my_persian_analyzer": { "tokenizer": "standard", "char_filter": [ "arabic_char_mapper", "persian_vowel_remover", "persian_digit_mapper", "persian_zwnj_mapper", "punctuation_mapper", "persian_suffix_stripper" ], "filter": [ "lowercase", "text_digit_splitter", "persian_stopwords", "digikala_stopwords", "synonyms_filter" ] }در نهایت باید این character filter و token filterها را در یک آنالایزر کنار هم قرار بدهید و استفاده کنید. ترتیب اجرای مراحل مهم است. ابتدا نرمال‌سازی کاراکتری انجام می‌شود تا متن قبل از tokenization تمیز و یکنواخت شود.سپس token filterها روی جریان نرمال‌شده اعمال می‌شوند.فیلتر lowercase قبل از stopword اجرا می‌شود تا حذف stopwordها بدون حساسیت به حروف انجام شود.این پیکربندی چه مشکلاتی را حل می‌کند؟نرمال‌سازی کاراکتری در سطح یونیکدیکسان‌سازی اعدادحذف کاراکترهای نامرئیبهبود ranking واژگانی (lexical) برای عناوین محصول فارسیچه چیزهایی را حل نمی‌کند؟stemming واقعیدرک نیت کاربر (query intent)رتبه‌بندی معنایی (semantic ranking)جایگزینی کاملاین پیکربندی، یک پایه‌ی lexical قوی می‌سازد. اینکه روی آن چه چیزی بسازید ،‌در سرچ کلاسیک از آن استفاده کنید یا مثلا در هیبرید رنکینگ و وکتور سرچ از آن استفاده کنید، کاملاً به مقیاس، منابع و جاه‌طلبی شما بستگی دارد. تکنیکال نوتز تکنیکال نوتز Mon, 23 Feb 2026 00:25:49 +0330 https://virgool.io/posts/%D9%85%D9%88%D9%82%D8%AA-%D8%B3%D8%B1%D9%88%DB%8C%D8%B3-%D9%87%D8%A7%DB%8C-%D8%AF%D8%A7%D8%AE%D9%84%DB%8C-%D8%B1%D8%A7-%D9%85%D8%B9%D8%B1%D9%81%DB%8C-%DA%A9%D9%86%DB%8C%D8%AF-m6rkpzh2y5rw-m6rkpzh2y5rw به خاطر وضعیت اینترنت،‌ امروز برای یه تیکه سینتکس که فراموش کرده بودم کلی وقتم گرفته شد. همیشه با یه سرچ کوچیک حلش می کردم. چیزی آنقدر ساده که اگر یه cheet sheet داشتم قطعا وقتم گرفته نمی شد. کاش یک سرویس شبیه گیت هاب داشتیم برای همین جور موقع ها!من خودم به این رسیدم:۱- سرویسهای چت با ai ایرانی،‌ به باهوشی chatgpt نیستند ولی واسه چک کردن سینتکس کد خوبند حداقل!chat.boofai.com gapgpt.app۲- سرویس mirror داخلی برای نصب پکیج های pypi :https://mirror-pypi.runflare.com/simple۳- مستندات پایتون را به صورت آفلاین اینجا می تونید پیدا کنید:https://git.ir/article/python-docs/۴- این هم مستندات آفلاین که به درد devops کارها می خوره بیشتر!‌https://docs.parchlinux.com/۵- پست های دیگه ای که با همین هدف نوشته شده بود :‌https://virgool.io/@m.fatehi.p/hpiyawzkqgjr https://virgool.io/@sharifahmadi/%D9%85%D9%86%D8%A7%D8%A8%D8%B9-%D8%B6%D8%B1%D9%88%D8%B1%DB%8C-%D8%A8%D8%B1%D9%86%D8%A7%D9%85%D9%87-%D9%86%D9%88%DB%8C%D8%B3%D8%A7%D9%86-%D8%B7%D8%B1%D8%A7%D8%AD%D8%A7%D9%86-%D8%AF%D8%B1-%D9%86%D8%AA-%D9%85%D9%84%DB%8C-epl2huvyb0jg تکنیکال نوتز تکنیکال نوتز Sat, 10 Jan 2026 22:58:00 +0330 https://virgool.io/@technotesai/%D8%A7%D8%B2-api-%D8%AF%DB%8C%D8%AC%DB%8C-%DA%A9%D8%A7%D9%84%D8%A7-%D8%AA%D8%A7-%DB%8C%DA%A9-%D8%AF%DB%8C%D8%AA%D8%A7%D8%B3%D8%AA-%D9%82%D8%A7%D8%A8%D9%84-%D8%A7%D8%B3%D8%AA%D9%81%D8%A7%D8%AF%D9%87-ua7adhqjnpmt برای یکی از پروژه‌هام به دیتای کاتالوگ یک فروشگاه آنلاین نیاز داشتم و اولین چیزی که به ذهنم رسید دیجی‌کالا بود.چند تا دیتاست از دیجی‌کالا روی Kaggle هست (مثلاً: https://www.kaggle.com/search?q=digikala )ولی وقتی دقیق‌تر نگاه کردم دیدم هیچ‌کدوم فیلدهایی که من لازم داشتم رو کامل ندارن.برای همین تصمیم گرفتم خودم یه کرالر بنویسم. البته از صفر شروع نکردم و از این ریپو به‌عنوان پایه استفاده کردم:https://github.com/HB-2000/digikala_crawlerولی چون APIهای دیجی‌کالا نسبت به قبل تغییر کرده بودن، عملاً مجبور شدم بخش زیادی از کد رو دوباره بنویسم و اصلاح کنم.در نهایت کد نهایی پروژه و همین‌طور دیتایی که جمع‌آوری شده رو اینجا به اشتراک گذاشتم:کد پروژه:https://github.com/zahraEskandari/digikala_crawlerدیتای آماده (Release):یک نمونه داده با 93459 رکورد جمع آوری شده و از طریق لینک زیر قابل دانلود است:‌https://github.com/zahraEskandari/digikala_crawler/releasesاگه شما هم برای پروژه‌های دیتا، سرچ یا تحلیل به دیتای کاتالوگ دیجی‌کالا نیاز دارید، می‌تونید از این پروژه استفاده کنید یا بر اساس نیاز خودتون توسعه‌ش بدید.نمونه دیتانمونه یک رکورد از دیتا تکنیکال نوتز تکنیکال نوتز Wed, 07 Jan 2026 21:41:18 +0330 https://virgool.io/@technotesai/%D9%85%D8%A7%D8%B4%DB%8C%D9%86-%D9%84%D8%B1%D9%86%DB%8C%D9%86%DA%AF-%DA%A9%D9%84%D8%A7%D8%B3%DB%8C%DA%A9-i8uoleylytla Classic MLبا اینکه این روزها دیپ‌لرنینگ و مدل‌های زبانی بزرگ تقریباً همه‌جا موضوع بحث هستند،اما واقعیت این است که مدل‌های کلاسیک یادگیری ماشین هنوز هم در بسیاری از کاربردها نقش بسیار مهمی دارند و همچنان استفاده خواهند شد چرا که در برخی صنایع مثل فین‌تک، صرفاً دقت بالاتر معیار تصمیم‌گیری نیست. حتی اگر مدل‌های پیچیده‌تر (مثل دیپ‌لرنینگ) عملکرد عددی بهتری داشته باشند،نیازمندی‌هایی مثل:قابلیت تفسیر تصمیمات مدلشفافیت برای تیم‌های بیزینسی و رگولاتوریپایداری مدل در برابر تغییر توزیع داده‌هاریسک کمتر در استقرار و نگه‌داریباعث می‌شود مدل‌هایی مثل Logistic Regression همچنان انتخاب اول باشند.از طرف دیگر، سادگی این مدل‌ها، نیاز کمتر به منابع محاسباتی و رفتار قابل پیش‌بینی‌شان در طول زمان،دلایل مهم دیگری برای استفاده مداوم از آن‌هاست.برای خود من، بارها پیش می‌آید که لازم است این مدل‌های پایه‌ای را دوباره مرور و یادآوری کنم.به همین خاطر تصمیم گرفتم لینک ویدیوهایی را که با دیدنشان مفاهیم این مدل‌ها برایم تازه می‌شود،اینجا یکی‌یکی جمع‌آوری کنم، هم برای خودم، هم شاید برای کسانی که مسیر مشابهی دارند.در ضمن توی کانال تلگرام TechnicalNotesAI هم فایل ویدیوی دانلود شده را میگذارم برای کسانی که دسترسی راحت به یوتوب ندارند.Logistic Regression📺 ویدیو: https://www.youtube.com/watch?v=3bvM3NyMiE0این لیست به مرور کامل‌تر خواهد شد., تکنیکال نوتز تکنیکال نوتز Mon, 05 Jan 2026 09:18:27 +0330 https://virgool.io/@technotesai/%DB%8C%D8%A7%D8%AF%DA%AF%DB%8C%D8%B1%DB%8C-%D8%B9%D9%85%DB%8C%D9%82-deep-learning-%D8%AF%D8%B1-%DB%8C%DA%A9-%D8%A2%D8%AE%D8%B1%D9%87%D9%81%D8%AA%D9%87-kvnmj12o6x0n یادگیری عمیق در یک اخر هفته«دیپ‌لرنینگ» همه‌جا هست. ولی منابع یادگیریش خیلی تئوریک و دانشگاهی هستند یا فقط API کال کردن یاد می‌دن و سطحی هستند. من اخیراً به یک ویدیوی آموزشی بلند و یک‌پارچه رسیدم که به نظرم برای مهندس‌ها و دیتا ساینتیست‌ها واقعاً ارزشمنده.این دوره:با PyTorch کار می‌کنهاز مفاهیم پایه (tensors, gradients) شروع می‌کنهقدم‌به‌قدم به آموزش شبکه‌های عصبی، آموزش مدل و حلقه‌ی train می‌رسهبدون شلوغ‌کاری، بدون buzzword، با تمرکز روی «چرا و چطور»و مهم‌تر از همه:این یک ویدیوی تکه‌تکه نیست؛بلکه یک آموزش چند ساعته‌ی پیوسته‌ست که می‌تونه توی یک آخرهفته، تصویر ذهنی خیلی خوبی از Deep Learning بهتون بده.🎥 لینک دوره:https://www.youtube.com/watch?v=GIsg-ZUy0MYمن خودم برای استفاده‌ی بهتر، ویدیو رو کامل دانلود کردم و فایل‌ها و نوت‌بوک‌های تمرینیش رو آماده کردم تا بشه هم‌زمان با دیدن آموزش، کد زد و جلو رفت.اگر شما هم:دیتا ساینتیست هستینمهندس نرم‌افزار یا بک‌اندیا قبلاً ML کار کردین ولی DL براتون مبهم بودهبه نظرم این دوره یکی از بهترین نقطه‌های شروعه.📩 اگر فایل‌های دوره و نوت‌بوک‌ها رو می‌خواین، بهم ایمیل بزنید :‌ technotesai@gmail.com تکنیکال نوتز تکنیکال نوتز Mon, 29 Dec 2025 21:06:43 +0330