https://virgool.io/feed/@sajadGheysar fa 2026-06-17 09:05:53 https://files.virgool.io/upload/users/6218/avatar/1tgKwP.jpeg?height=120&width=120 https://virgool.io/@sajadGheysar https://virgool.io/@sajadGheysar/%D8%AA%D8%A7-%DA%A9%D8%B1%D8%A7%D9%88%D9%84-%D9%85%DB%8C%D8%B4%D9%87-%DA%A9%D8%B1%D8%AF-%D9%86%DA%AF%D9%88-%D8%AF%DB%8C%D8%AA%D8%A7-%D9%86%D8%AF%D8%A7%D8%B1%DB%8C%D9%85-tnsxf7aiqozh همه ما برای هر تصمیمی داخل محصول نیاز به دیتا داریم تا بدونیم کجا باید بریم و یا جایی که داریم می‌ریم درسته یا نه. اگه دیتا از محصول خودمون داشته باشیم که مشکلی وجود نداره، از همون می فهمیم که به سمت درست بریم. اما وقتی دیتا نداریم چیکار باید بکنیم؟ باید با یک سری دیتای ضمنی و غیر مستند جلو بریم؟ قطعا نه. اینجاست که کراول(crawl) به کمک شما میاد.هزینه‌های اینکار چقدره و اعتبارش به چیه؟برای هر موضوع دقت و اعتبار این کار متفاوته. مثلا اگر می‌خواید یه محصول برای معاملات خونه (اجاره، خرید و ...) توسعه بدید و نیاز به دیتایی دارید که ندارید. وجود محصولات مشابه (مثل دیوار) در این حوزه، هم دقت کار شمارو بالا میبره هم اعتباری می‌بخشه به دیتایی که می‌خواید بدست بیارید.فرایندش چطوریه؟این کار سه مرحله داره، گرفتن اطلاعات، دسته‌بندی اونها و در آخر استفاده ازشون.پیش‌نیازهای این کار البته داشتن دانش کاربردی از یک زبان برنامه‌نویسی(مثلا python)،کمی دیتابیس(مثلا postgres) و مقداری هم از یک ابزار مصورسازی(مثلا metabase).گرفتن اطلاعاتشما میدونی اطلاعات کجا نشسته، میتونی اونارو بخونی. پس میتونی همه اطلاعاتی که نیاز داری رو بسپاری به یه ماشین تا استخراج کنه برات. تقریبا با هر زبون برنامه‌نویسی‌ای میشه ولی خب پر استفاده‌ترین زبونی که من دیدم برای اینکار پایتونه. سریع نوشته میشه و با یه سری کانفیگ به اندازه کافی سریع هم اجرا میشه.چون قصد ندارم آموزش پایتون و کراول کردن بدم میتونم مقاله مرتبط که توی ویرگول دیدم رو براتون بزارم اینجا تا خواستید برید بیآموزید. https://virgool.io/@fhot707/%D8%AF%D9%88%D8%B1%D9%87-%D9%BE%D8%B1%D9%88%DA%98%D9%87-%D9%85%D8%AD%D9%88%D8%B1-crawl-%D8%AE%D8%B2%D8%B4-%D8%AF%D8%B1-%D9%88%D8%A8-%D8%A8%D8%A7-%D9%BE%D8%A7%DB%8C%D8%AA%D9%88%D9%86-%D9%82%D8%B3%D9%85%D8%AA1-kjxppo4ylhy7 این مرحله صرفا گرفتن اطلاعاته، توی این مرحله هنوز هیچ استفاده‌ای نمیتونید بکنید از دیتاهایی که جمع کردید.نکته: حواستون باشه که دیتا رو به شکل درستی بگیرید که وقتی می‌خواید دسته‌بندیش بکنید به مشکل نخورید.فوت کوزه‌گری: یادتون بمونه کمال‌گرا نباشید :)دسته‌بندی اطلاعات حالا وقتشه اطلاعاتتون رو بریزید توی دیتابیس‌تون به همون قالب و چارچوبی که می‌خواید ازش استفاده کنید. حواستون باشه اینجا که اگه دیتارو به شکل اشتباهی وارد کنید، موقع پردازش کردنش یکم اذیت می‌شید. مثلا اگر داخل دیتاهاتون قیمت وجود داره و برای شما هم این قیمت اهمیت زیادی داره، حتما اون رو به صورت عدد بریزید داخل دیتابیس. شاید بگید این که بدیهیه، بله این بدیهی بود ولی بقیه اطلاعات اینقدر بدیهی نیست و اگر مقدار اطلاعات‌تون که گرفتید زیاد باشه، هزینه زمانی زیادی ازتون می‌گیره.من به شخصه معمولا از دیتابیس postgres خودم استفاده میکنم، اطلاعات رو توش می‌ریزم و شروع می‌کنم به کوئری زدن. اما روش روتین‌ام برای شرکت‌ها اینجوریه که یدونه ابرک از ابراروان میگیرم و یه دیتابیس سرپایی توش بالا میارم( این یکم ازتون زمان میگیره اگه بار اولتون باشه و از داکر هم استفاده نکنید) اما اگر اصلا علاقه‌ای به سروکله زدن با سرور ندارید، میتونید از سرویس‌های ابری مثل لیارا استفاده بکنید. اما در کل حواستون باشه که دارید از هر سرویسی استفاده میکنید‌ pay as you go باشه سرویس که خرج الکی براتون در نیاد(معمولا با بالاترین منابع با حداکثر 10 هزارتومن کار جمع شده اما اگه یه سرور کامل بخواید سفارش بدید با حداقل منابع اختصاصی ممکنه 160هزارتومن دربیاد) https://docs.liara.ir/databases/postgresql/install https://www.arvancloud.com/fa/products/cloud-computing اصرار من برای استفاده از سرور بخاطر این هستش که به اشتراک‌گذاری اطلاعات با ادما توی سرور خیلی راحت‌تره. مخصوصا اگر اونا باهاتون می‌جنگند و مجبورید اثبات کنید هر کلمه‌تون رو :)مصورسازی وقتی اطلاعات رو توی دیتابیس ریختید حالا موقع اینه که با دیتاها بازی کنید. من شخصا از متابیس(metabase) برای اینکار استفاده میکنم. با کوئری اطلاعاتی که میخام رو بدست میارم و با مصور کردنشون و ساختن داشبردهای مختلف، با بقیه این اطلاعات رو به اشتراک میزارم. سوالاتی که زیاد پرسیده شدهچندتا از سوالاتی که به صورت کلی توی این کار پیش میاد براتون رو می‌نویسماین دیتاها به چه دردی می‌خوره؟اینکه شما چه اطلاعاتی نیاز دارید کاملا به موضوع‌تون مرتبطه. شما یه موقع می‌خواید با این اطلاعات به حجم بازارتون برسید، یه موقع فقط دارید ابتدای مسیر خودتون رو پیدا می‌کنید. دیتا که باشه خودتون متوجه می‌شید که چه استفاده‌ای ازش بکنید. این کار خیلی زمان بره!هر کاری برای بار اول زمان‌بره. شاید بار اول یک هفته زمان ببره اما بار پنجم شیشم کمتر از یک نصف روز زمان خواهد برد. چون شما دیگه فقط دغدغه‌ات این هستش که چه اطلاعاتی جمع کنم وگرنه کراول و ریختن توی دیتابیس که چارخط کده.وظیفه من این‌کار نیست چرا باید انجامش بدم؟خیلی وقت‌ها نیاز شما قانع کردن طرف مقابل‌تونه. شاید وظیفه‌تون نباشه ولی این نیاز رو می‌بینید که دست به کارهایی بزنید که به چیزی که می‌خواید برسید. پس بهتره با دیتا دهن بگید راه درست از کدوم سمت هستش.این کارها برای یه برنامه‌نویسه نه برای من!خیلی جدی بگم، هیچ برنامه‌نویسی این کار رو وظیفه‌اش نمی‌دونه و انجام نمی‌ده تا وقتی که مشکلش چیزی باشه جز برنامه‌نویسی. شما باید بدونید چه اطلاعاتی نیاز دارید و به چی می‌خواید برسید. تایپ کردن که هنر نیست :)در آخر هم بگم، این‌کار اصلا ثابت نیست و هربار که انجام می‌دید با بار قبلی فرق داره. اگر سوالی داشتید خوش‌حال می‌شم بتونم جواب بدم =) سجاد قیصر سجاد قیصر Mon, 09 Aug 2021 23:02:52 +0430 https://virgool.io/@sajadGheysar/%DA%86%D8%B7%D9%88%D8%B1-%D9%BE%D8%A7%DB%8C%D8%AA%D9%88%D9%86-%D8%B1%D9%88-%D9%86%D8%B5%D8%A8-%DA%A9%D9%86%D9%85-%D8%A7%D9%86%D8%AF%D8%B1%D9%88%DB%8C%D8%AF-%D9%88-%D9%88%DB%8C%D9%86%D8%AF%D9%88%D8%B2-f91ns0yqkcmy پایتون یکی از زبون‌هایی هستش که هر کسی توی هر سنی میتونه یاد بگیره و ازش استفاده کنه ولی حالا چجوری از این زبان سطح بالا استفاده کنیم؟ خب با نصبش شروع میکنیم.پیش نیاز اجرای کد‌های پایتون، داشتن خود پایتون هستش. برای مثال، وقتی که میخواهیم یک زبان مثل انگلیسی رو بخونیم، باید پیش نیازش که دونستن الفبای انگلیسی و قواعد واژگان هست رو داشته باشیم. پس توی این مرحله ما به کامپیوتر یا موبایل خودمون یاد میدیم که چطوری پایتون رو بخونه.پایتون برای ویندوزوارد صفحه‌ی مخصوص ویندوز توی سایت Python.org بشید و نسخه مرتبط و دانلود کنید.در حال حاظر اخرین نسخه پایتون که انتشار یافته 3.9 هستش که روی ویندوز 7 و قدیمی تر کار نمیکنه. نسخه قبلی که 3.8.6 بوده، روی ویندوز های xp و قدیمی‌تر قابل اجرا نیست.لینک های دانلود:دانلود نسخه 3.9 (غیرقابل استفاده برای ویندوز 7 و پایین‌تر)دانلود نسخه 3.8.6 ( غیرقابل استفاده برای ویندوز xp و پایین‌تر)وقتی که دانلود کردید فایل رو اجرا کنید و دسترسی‌هایی که نیاز داره رو تایید کنید تا فایل اجرا بشه. تنها کاری که باید بکنید، وقتی صفحه ی بالا رو دیدید، تیک Add Python 3.9 to PATH روبزنید. این تیک برای این هستش که شما داخل کنسول یا ترمینال خودتون بتونید از دستوری مثل زیر استفاده کنیدpython file.pyدکمه‌‌ی Install Now رو بزنید و اجازه بدید نصب کنه، بعد از نصب هم حتما سیستم خودتونو ری‌استارت کنید. و پایتون روی ویندوز شما نصب شد.پایتون برای اندرویدمحبوب‌ترین نرم‌افزاری که این چند وقته بین دوستانم دیدم Termux بوده که یه شبیه‌ساز ترمینال اندروید هستش. راحت میتونید از گوگل پلی نصبش کنید.مراحل نصب توی ترمینال‌ها خیلی راحت‌ترن و تنها کاری که لازمه اینه دستور زیر رو بزنید.pkg install pythonو وقتی که ازتون پرسید ایا مطمئن هستید که میخواهید نصب کنید شما Y رو ارسال کنید تا ادامه بده( توجه کنید که پایتون رو دانلود و نصب میکنه، که در حال‌حاضر اخرین نسخه، تقریبا 300 مگ از فضای گوشیتونو نیاز داره برای نصب)اما اگر به این ارور زیر خوردیدE: Unable to locate package pythonبرای حل این مشکل دستورای زیر و بنویسید تا نصب بشه.apt-get update pkg install pythonو پایتون روی گوشی شما نصب شد.پی‌نوشت: این مقاله صرفا برای رفرنس دادن توی مقاله دیگه ام برای نصب پایتون هستش. سجاد قیصر سجاد قیصر Mon, 07 Dec 2020 18:50:16 +0330