این دو اصطلاح شاید در دنیای واقعی با یکدیگر خیلی متفاوت باشند اما در دنیای وب هردو درباره یک مفهوم صحبت می کنند. به طور کلی میتوان گفت عنکبوت (Spider) در وب نرم افزاری است که با تار انداختن از یک صفحه وب به صفحات دیگر می خزد(Crawler) و محتوای صفحات را برسی و ایندکس (Index) میکند.
اسپایدر بوسیله ی لینک هایی که در صفحات مختلف وب ایجاد شده است از یک صفحه به صفحه ی دیگر متصل میشود و یکی پس از دیگری از همه ی صفحات وب دیدن می کند در نهایت محتوای هر صفحه را بر اساس سیاست های خاصی جمع‌آوری کرده، به پایگاه داده خود افزوده و سپس آن را ایندکس میکند. زمانیکه کاربر کلمه یا عبارتی را در موتور جستجو سرچ کرد Spider در میان همان پایگاه داده حرکت کرده و نتایج را بازیابی میکند در انتها به هر صفحه طبق الگوریتم های موتور جست و جو رتبه ای داده می شود و نتایج به کاربر نمایش داده می شوند .
