وب اسکرپینگ ما با پایتون اومدیم ! (۲)

سلام امیرمهدی هستم

دیگه بریم سراغ بخش جذاب : (البته به همین راحتی جذاب نیست)

بگم که وب اسکرپینگ طوری هست یکسری وقت ها ما فقط داده رو از سایت استخراج و پردازش می کنیم یکسری وقت ها هم طوری هست که ما با سایت در تعاملیم مثلا بهش لاگین می کنیم و داده ها رو استخراج می کنیم یعنی ما باید با سایت یک تعاملی داشته باشیم

فعلا ما از برنامه های ساده شروع می کینم و خیلی با سایت تعامل نمی کنیم برنامه ای که می خوایم روش کار کنیم برنامه ای هست که بره و از این سایت قیمت دلار رو برای ما بگیره و بیاره و مثال هامون رو فعلا روی این برنامه پیش میریم

خب اول از همه ما برای پردازش و استخراج داده باید به سایت ریکوئست بزنیم برای این کار از لایبری requets استفاده می کنیم پس خط زیر رو به برنامتون اضافه کنید :

import requets

بعد متغییری به نام url تعریف می کنیم و url مون رو میزاریم توش :

url = "http://www.tgju.org/dollar-chart"

لایبری requests بخشی داره به نام session که برای ریکوئست زدن استفاده میشه ما با این بخش مشخص می کنیم نوع ریکوئستمون چیه پس برای راحتی بیشتر این خط زیر رو به برناممون از اضافه می کنیم تا هر دفعه هی از توی لایبری این بخش رو اضافه نکنیم و از توی این یخش هم بتونیم بخش دیگه ای رو مشخص کنیم.

session = requests.session()

حالا ما می خوایم به سایت یک ریکوئست بزنیم و محتواش رو ‌ذخیره کنیم ما چون نمی خوایم با سایت در تعامل باشیم و برای سایت دیتای خاصی بفرستیم نوع ریکوئستمون از نوع get میشه یعنی فقط دریافت می کنیم خط زیر رو به برناممون اضافه می کنیم

site = session.get(url)

خب تا اینجا یاد گرفتیم چجوری به یک سایت ریکوئست بزنیم و محتوای اون رو بگیریم

منتظر قسمت بعدی باشید . بزودی میاد :)