فرض کنید شما یک سایت فروش کتاب راه اندازی کردید که انواع کتاب های عمومی و رمان رو قرار در اون بفروشید؛
خب احتمالا باید بدونید که در تعداد محصولات این نوع سایت ها محدودیتی وجود نداره و همیشه محصول جدیدی برای بارگذاری در سایت وجود داره.
حالا سوال پیش میاد که چطوری میشه این تعداد مثلا 10 هزار کتاب را در کمترین زمان روی سایت بارگذاری کرد؟!
اولین چیزی که به ذهن هرکس میرسه اینه که خب یه منبع مشابه پیدا میکنم که از قبل این کتاب ها رو گذاشته بعد از روی اون دونه دونه کتاب ها رو میزارم روی سایت و تمام...
بنظرتون چقدر طول میکشه تا یه کارمند فول تایم بتونه 10 هزار کتاب رو روی سایت شما بزاره؟
اگر فرض کنیم بارگذاری هر کتاب 10 دقیقه زمان میبره، که هم عکسش درست بشه هم ویژگی ها، قیمت، عنوان و... (بدون محتوای خاص) بارگذاری بشه مجموعا 100,000 دقیقه 1,666 ساعت و 208 روز کاری (8 ساعت در روز) طول میکشه تا کل این کتاب ها تو سایت شما بارگذاری بشن اونم بدون محتوا...
خب حالا چی کار کنیم؟!
میخواهید 208 روز صبر کنید تا فروشگاهتون تعداد قابل توجه ای کتاب رو داشته باشه؟ البته که خب 10 هزار تا هم زیاده و من یکم بزرگش کردم ولی بزارید همین بزرگ بمونه تا متوجه تفاوت چیزی که میخواهم بهتون بگم بشید.
من چند سال قبل یک ربات تحت ویندوز ساخته بودم که هر کتاب رو با 80% سرعت بیشتر روی سایت مشتری بارگذاری میکرد!
یعنی هر کتاب 2 دقیقه طول میکشید تا بره رو سایت! و این نسخه نسخه بهینه ای نبود!
یکم باهاش ور رفتم و تونستم 2000 کتاب رو تو کمتر از 1 هفته روی سایت مشتری بارگذاری کنم...
حالا الان بعد از سال ها یه پلتفرم دیتا اینتری اختصاصی به اسم دیتا ویز برای خودم ساختم برای سفارشات مشابه که وصل میشه به API ووکامرس و اگر منبع هم API داشته باشه به اون هم وصل میشه و در نهایت فقط با ارتباط گرفتن بین این دو هزاران محصول در 1-2 روز روی سایت میتونه بارگذاری بشه...
این پلتفرم رو سعی کردم کاملا ساده و سریع بسازم تا کار یکی از مشتری ها رو راه بندازم اما بعد از اینکه راه افتاد متوجه شدم که "واو!" چه کارها که نمیتونم با این سیستم انجام بدم...
الان خدای سرعت در دیتا اینتری و استخراج اطلاعات (وب اسکرپینگ) شدم دیگه :دی
پس کامل ترش کردم و یه سایت تمیز هم برای معرفی خدمات زدم و اسمش رو گذاشتم دیتاویز یعنی جادوگر اطلاعات.
الان تو دیتا ویز سرعت استخراج یا بارگذاری اطلاعات به 90% بیشتر از سرعت یه کاربر معمولی رسیده.
حتی تو بحث تولید محتوا هم با کمک هوش مصنوعی الان به خوبی میتونیم خودی نشون بدیم.
تو دیتا ویز علاوه بر زمان هزینه ها رو هم تونستیم خیلی کمتر کنیم
درحال حاضر پلتفرم بصورت عمومی در دسترس نیست و فقط خودمون بهش دسترسی داریم، اما برای هر مشتری تنظیمات اختصاصی انجام میدیم.
اگر سایت مشتری API داشته باشه اول اون رو به سیستم وصل میکنیم، بعد منبع ای که اطلاعات باید ازش برداشته بشه رو بررسی میکنیم.
اگر اکسل باشه که با پایتون یا PHP یه اسکریپت اختصاصی استخراج اطلاعات و تحلیل مینویسیم که اطلاعات لازم رو در بیاره و باتوجه به جزئیات اون تو جای صحیحش بارگذاری کنه.
که این بارگذاری یا با همون API تعریف شده خواهد بود (اکثرا به همین شکل هست) یا یه ربات تحت ویندوز میسازیم که عملیات رو انجام بده.
اما اگر منبع یک سایت دیگه باشه چک میکنیم اگر API ارئه داده باشه از اون استفاده میکنیم اگر نه یه اسکریپت برای وب اسکرپینگ مینویسم که دیتا رو از روی سایت اصلی برداره و بفرسته روی سایت مقصد.
اما خوب هیچکدوم اینها بدون دردسر نیست...
بعضی وقت ها اطلاعات اشتباه برداشته میشه، بعضی وقت ها خطا تو اسکریپت داریم و یا بعضی وقت ها اصلا اطلاعات همخونی نداره مثلا در یک دسته بندی نیستن یا دسته بندی سایت منبع با مقصد فرق میکنه و باید دسته جدید ساخته بشه یا یه کد بنویسم این رو با اون جایگزین کنه.
در آخر این پست رو نوشتم که هم نظرات شما رو درمورد سناریو کار دیتا ویز بدونم هم آخرین پروژه ای که روش کار میکنم رو معرفی کنم اگر علاقه مند بودید از جزئیاتش بیشتر بنویسم و وارد مباحث تخصصی بشیم.
