علیرضا مدنی·۲ سال پیشخلاصهای از توکنسازها در پردازش زبان طبیعیتقسیم متن به بخش کوچکتر در پردازش زبان طبیعی و بررسی راههای متعددی برای انجام آن. Summary of the tokenizers
