خزنده وب یا کراولر

«بسم الله الرحمن الرحیم»

خزنده وب

یکی از بخش های موتورجستجو خزنده وب یا کراولر می باشد.خزنده وب یک نرم افزارکه در بستر اینترنت می .گردد و داده های صفحات وب راازدرون آن ها بیرون می کشد.داده هایی همچون عکس ،فیلم ، اسناد،متن

خزنده وب ممکن است شامل چندین ماژول یا چندین بخش باشد.

زبان های برنامه نویسی

با تمام زبان های برنامه نویسی می توان خزنده وب طراحی کرد .

زبان هایی مانند :C - C++ -C# -Python-PHP-,...

مهمترین مسائل درخزنده های وب

استفاده از خزنده های استانداردتااجازه دسترسی به داده های روی سرورراداشته باشید

HTML Formگرفتن داده از

Ajax based Web Applications گرفتن داده از

گرفتن داده به صورت موازی

تشخیص زبان

تشخیص کپی

تشخیص نسبت بروزرسانی داده ها

پشتیبانی از چندین نوع فرمت داده برای بدست آوردن ساختار لینک

تشخیص نسبت بروزرسانی سندها

اولویت گرفتن داده

یادگیری کشف آستانه برای خزنده های تک منظوره

ساختن ساختار لینک برای موتورهای جستجوی سازمانی

استفاده از برنامه نویسی چند نخی

موفق باشید

به امید خدا