نوشته های Amir H. Karimi | امیر حسین کریمی

بمب گذاری نابغه که از تکنولوژی متنفر بود

Amir H. Karimi | امیر حسین کریمی — Sun, 28 Mar 2021 17:39:26 +0430

تد کزینسکی استاد دانشگاه میشیگان بود، خیلی‌ها او را یک نابغه می‌دانستند که در سن 16 سالگی وارد دانشگاه هاروارد شده بود اما هیچ کس فکرش را هم نمی‌کرد روزی به اتهام بمب‌گذاری، قتل و شهرآشوبی دست‌گیر شود.کزینسکی مظنون پرونده‌ای بود که تبدیل به طولانی‌ترین و گران‌ترین پرونده تاریخ FBI شد. نام این پرونده یونابام (UNABOM ) بود ولی خبرنگارها این نام را عوض کردند و پرونده کزینسکی را یونابامبر خطاب می‌کردند که بعدها هم به همین نام هم معروف شد. کزینسکی در سال 1969، دانشگاه و تمام زندگی خود در جامعه را رها کرد و به جنگل پناه برد، یک زندگی بدون هیچ گونه تکنولوژی. در این مدت شروع به بمب‌گذاری علیه افرادی کرد که در حال نابودی طبیعت و پیشرفت تکنولوژی بودند. او در طول 18 سال، 3 نفر را کشت و 23 نفر را مجروح کرد [1].تصویری از تد کزینسکی در زنداناما چه چیزی باعث شد یک نابغه و استاد دانشگاه، دست به چنین کاری بزند؟برخی شاید فکر کنند او عقلش را از دست داده بود، اما در طول این 18 سال، او نامه‌ها و بیانیه‌هایی به روزنامه‌ها می‌فرستاد و دلیل کارهایش را توضیح می‌داد. این نامه‌ها در یک بیانیه کلی به نام "جامعه صنعتی و آینده آن" چاپ شد که امروزه به مانیفست یونابامبر مشهور است. اگر فقط چند بخش از آن را بخوانیم می‌فهمیم که نوشته‌های یک آدم دیوانه نیستند.بخش اول این بیانیه: «انقلاب صنعتی و پیامدهای آن، یک فاجعه برای نسل بشر بوده است. امید به زندگی افراد در جوامع توسعه یافته را افزایش داده، اما به جای آن جامعه را ناپایدار ساخته است، زندگی را از حس کامیابی تهی کرده، انسان‌ها را با تحقیر روبه رو کرده، باعث رنج‌های عظیم روانی شده ‌(همچنین رنج جسمی در جهان سوم‌) و آسیب جدی به طبیعت وارد کرده است. گسترش و پیشرفت افزاینده تکنولوژی وضعیت را بد‌تر خواهد کرد» [2].تکنولوژی و طبیعت - دوست یا دشمن؟تکنولوژی و طبیعت: دوست یا دشمن؟40 سال پیش و زمانی که کزینسکی بیانیه‌اش را می‌نوشت، نه از هوش مصنوعی خبری بود، نه از بیت‌کوین و نه از فیسبوک یا گوگل. اما با این حال، نابودی طبیعت را به چشم می‌دید. چند بخش سیاه از تکنولوژی:تولید و استفاده از تکنولوژی باعث آلودی هوا و آب می‌شود و همچنین می‌تواند گرما و آلودگی صوتی درست می‌کند.هر جستجویی که در موتور گوگل می‌شود، ایمیلی که فرستاده می‌شود یا عکسی که در فیسبوک پست می‌شود، گاز سمی CO2 وارد طبیعت می‌کند. یک کارمند در طول یک سال از طریق ارسال ایمیل، حدود 135 کیلوگرم گاز CO2 وارد طبیعت می‌کند [3].در نیروگاه‌های صنعتی برای تولید برق، گاز یا فرآورده‌های نفتی سوزانده می‌شود. استخراج ارز‌های دیجیتال هم به برق نیاز دارند، مصرف برق سالانه بیت‌کوین برابر با کل مصرف برق کشور مراکش است و این مقدار به سرعت در حال افزایش است.حتی ماشین‌های الکتریکی که به ظاهر پاک هستند، نیاز به باتری لیتیومی دارند که برای تولید هر تن از لیتیوم، حدود 500 هزار گالن آب، حفر چاله‌ در زمین و چندین ماه معدن‌کاری نیاز است. نشت اسید‌های این باتری‌ها نیز باعث آلودگی آب‌ها و هوا می‌شود [4].می‌بینیم همان طور که کزینسکی هشدار می‌داد، تکنولوژی در حال بلعیدن طبیعت است.چند بخش سبز از تکنولوژی:اما تکنولوژی نقاط سبز و پاکی هم دارد و امیدهای بسیاری برای نجات طبیعت وجود دارد. برای مثال استفاده از تکنولوژی برای مطالعه، قطع درختان را کاهش می‌دهد. مانند مطالعه در همین سایت ویرگول. همچنین شرکت‌های بزرگ تکنولوژی سعی‌دارند به انرژی‌های پاک روی آورند. برای مثال گوگل وعده داده است تا سال 2030 اجرای سرویس‌هایش هیچ کربنی تولید نخواهد کرد. از طرفی پیشرفت هوش مصنوعی نیز کمک بسیاری می‌تواند کند. برای مثال شرکت دیپمایند الگوریتمی برای پیش‌بینی پیچش پروتئین‌ها اراده کرده است که می‌توانیم امیدوار باشیم روزی پلاستیک و زباله‌های تجزیه ناپذیر را تجزیه کنیم [5].حرف آخرکزینسکی دربیانه‌اش راه حلی ارائه نکرد و تنها راه نجات را زندگی بدوی در طبیعت و نابودی تکنولوژی می‌دید. اما امروز چه کسی می‌تواند تکنولوژی را رها کرده و در طبیعت زندگی کند؟حداقل از نقطه‌ی مقابل تکنولوژی که می‌توانیم مراقبت کنیماز نگاه او، تکنولوژی در نقطه‌ی مقابل طبیعت است. درست است که دیگر نمی‌شود بدون تکنولوژی زندگی کرد اما حداقل از نقطه‌ی مقابل تکنولوژی که می‌توانیم مراقبت کنیم، راحت ترین کار هم همین کاشت درخت است. با یک جستجوی ساده در اینترنت می‌شود سایت‌های درختکاری زیادی را پیدا کرد که در ازای هزینه اندکی، از طرف ما درخت می‌کارند و از آن مراقبت می‌کنند و حتی مکان دقیق درخت و عکس آن را هم برایمان می‌فرستند که هروقت خواستیم به درختمان سر بزنیم.در آخر ممنونم که برای این خواندن این مقاله وقت گذاشتید، اگر لذت برید، این پایین یک ❤ برایمان بگذارید و بیشتر درخت بکارید =)منابع[1] تد کزینسکی در ویکی پدیا انگلیسی[2] ترجمه مانیفست یونابامبر در چنل بی[3] سایت خبری BBC[4] مرکز تحقیقات انرژی[5] بلاگ شرکت دیپ‌مایند

هوش ماشین به چه معناست؟

Amir H. Karimi | امیر حسین کریمی — Fri, 04 Dec 2020 19:01:03 +0330

حتما واژه «هوش مصنوعی» را شنیدید، ولی اصلا کلمه «هوش» یا Intelligence یعنی چه؟مقدمهدر این مطلب سعی می‌کنیم با طمع هوش مصنوعی، کمی معنی کلمه "هوش" رو واضح‌تر کنیم. چه نیازی داریم معنی این کلمه را بدونیم و چرا مهمه؟اگه می‌خواهیم یک هوش مصنوعی خلق کنیم باید در آخر به شکلی بفهمیم که آیا این عاملی که طراحی کردیم اصلا هوشمند هست؟ و اینکه چطور میشه موفقیت عامل رو تعیین کرد؟ خاصیت اصلی هوش، در عمومیت و کلی بودن آن است و هیچ کس تعریف خوبی از آن ارائه نکرده مگر رابرت هاینلاین. ایشون از بزرگ‌ترین نویسنده‌های داستان علمی-تخیلی قرن بیستم بودند. به بخش معروفی از کتاب ایشون توجه کنید:A human being should be able to change a diaper, plan an invasion, butcher a hog, conn a ship, design a building, write a sonnet, balance accounts, build a wall, set a bone, comfort the dying, take orders, give orders, cooperate, act alone, solve equations, analyze a new problem, pitch manure, program a computer, cook a tasty meal, fight efficiently, die gallantly. Specialization is for insects.-Robert A. Heinlein, Time Enough for Love"یک انسان باید قادر باشد یک پوشک را عوض کند، برای یک حمله برنامه‌ریزی کند، یک گراز را قصابی کند، یک کشتی را هدایت کند، ساختمانی طراحی کند، غزل بنویسد، حساب‌ها را مدیریت کند، دیوار بسازد، یک استخوان را جا بیاندازد، مردن کسی را راحت کند، دستورات را بپذیرد، دستوراتی بدهد، همکاری کند، تنها عمل کند، معادله حل کند، مشکل جدیدی را تحلیل کند، کود کشاورزی آماده کند، یک کامپیوتر را برنامه‌ریزی کند، غذای خوشمزه درست کند، شایسته بجنگد، دلیرانه بمیرد. تخصص مخصوص حشرات است."شما کسی رو می‌شناسید که بتونه همه‌ی این کارها رو انجام بده؟ در واقع هر انسان هوشمند‌ی می‌تونه (اگه بخواد) هر کدام از این کارها رو یاد بگیرد و انجام بده. ایده کلی این جمله در توانایی به خوبی انجام دادن کارهای بسیار متفاوت در قالب هوشمندی است.در ادامه باز هم به این متن بر می‌گردیم.تعریف هوش ماشینتعاریف زیادی از "هوش" وجود داره. آقای شِین لِگ (Shane Legg) که خودشون محقق یادگیری ماشین هستن، بیش از 70 تعریف هوش رو بررسی کردن و در نهایت تعریفی از هوش ماشین ارائه دادن:Intelligence measures an agent’s ability to achieve goals in a wide range of environments.- Shane Legg"هوش توانایی یک عامل را برای دستیابی به اهداف، در طیف وسیعی از محیط‌ها اندازه گیری می‌کند."شباهت این تعریف با متن رابرت هاینلاین رو می‌بینید؟ برای خلق عامل هوشمند باید بتوان هوشمندی اون رو اندازه گرفت، در ادامه به تابعی‌ از آقای لِگ که هوش ماشین رو اندازه گیری ‌می‌کنه توجه کنید:تابعی برای تعریف هوش ماشینتوضیح کامل این تابع در مقاله‌ای لینکش رو در آخر قرار میدم هست ولی به زبان ساده، این تابع طبق یه سری سیاست و خط مشی عامل و با توجه به ساده یا پیچیده بودن محیط‌ها، امتیازی در نظر میگیره.جمع بندی و آیندههمان طور که دیدیم، از مهم‌ترین مشخصه‌های هوش انسان در کلی بودن (generality) اون بود و از همان روز‌های اول تولد هوش مصنوعی، هدف این بود که بتوان هوش مصنوعی مانند هوش انسان ساخت. هر چند که در سال‌های گذشته این امر موفق نبود اما اکنون بسیاری از محققین هوش مصنوعی بر روی توسعه‌ی هوش ماشینی کار می‌کنن که در اصل شبیه به هوش انسان باشه که به اون هوش مصنوعی قوی (strong AI) می‌گویند.شاید هم اون روز رو دیدم که ماشین‌ها ظرفیت درک و یادگیری هر کاری که انسان میتونه انجام بده رو داشته باشن، مثل هر کاری که در متن رابرت هاینلاین بود.?در آخر اگه از خوندن این متن لذت بردید، لطفا یه ❤️ زیر این مطلب بذارید. همچنین ببینید:رابرت هاینلاینشین لگمقاله تعریف هوش ماشینهوش جامع مصنوعیمنبع

کتاب‌های پرفروش اما نخوانده شده

Amir H. Karimi | امیر حسین کریمی — Wed, 13 May 2020 10:08:45 +0430

تا حالا شده کتابی بخرید ولی تا آخر نخونید؟ به نظرتون چقدر از مردم این کار رو میکنن؟ چقدر از کتاب ها تا آخر خونده میشن؟این مقاله می‌خواد بررسی کنه که چقدر از کتاب‌ها تا آخر خونده میشن. برای این کار از داده‌های در دسترس که در سایت طاقچه بود استفاده شده. طاقچه یه پلتفرم خرید کتاب الکترونیکی هستش. خیلی خوب می‌شد اگه بفهمیم هر کی آخرین بوکمارکش در کتاب کجا بوده، اون وقت به راحتی می‌شد بررسی کرد که چقدر از کتاب ها خونده میشن. ولی متاسفانه این داده محرمانه است و باید جور دیگری این رو حدس زد.تصویری از سایت طاقچهبریده‌هابخشی در این سایت هست به نام «بریده‌ها» که افراد می‌تونند قسمتی از کتاب که براشون جالب بوده رو به اشتراک بذارن. مثلا جمله‌ای از کتاب که خوششون اومده رو انتخاب میکنن و درباره‌اش حرف میزنن و افراد دیگه میتونن اون رو لایک کنن یا کامنت بذارن. (به عبارت دیگه، توئیتر رو در نظر بگیرید که میشه هر قسمت از کتاب رو کوت کرد تا بقیه هم ببیند.) مثلا در تصویر زیر، یه بریده از کتاب «فارسی شکر است» رو می‌بینید.اشتراگ گذاری بریده‌ای از کتاب فارسی شکر استخوب چون این بخش برای نویسنده این مطلب جذاب بوده به اشتراک گذاشته و مهم‌تر این که این بخش از اول کتاب برداشته شده (البته کل کتاب همش چند صفحه است!).این خیلی مهمه که این بریده‌ها از کدوم بخش کتاب انتخاب و به اشتراک گذاشته میشن.جمع‌آوری داده‌ها در این مقاله لیست کتاب‌های پرفروش چند سال گذشته در طاقچه استخراج شد و برای هر کتاب، بریده‌های اون‌ها هم جمع‌آوری شد تا به این سوال برسیم که چقدر از کتاب‌های پرفروش خوانده شده. بخشی از کتاب‌ها در تصویر زیر هست. همچنین میتونین این لیست رو به همراه کدی که بریده کتاب‌ها رو استخراج میکنه از گیت‌هاب دانلود کنید.قسمتی از کتاب‌های پرفروش طاقچهفرض مهم در این مقالهاین مقاله برای ادامه یه فرضیه در نظر می‌گیره: فرض کنیم که قلم هر نویسنده‌ای تا آخر کتابش عوض نمی‌شه و تمام کتاب رو با یک جذابیت می‌نویسه. پس اگر فردی، بخشی از اول کتاب براش جذاب بوده و به اشتراک گذاشته، تا آخر کتاب هم احتمالا بخش‌هایی رو دوست خواهد داشت و به اشتراک خواهد گذاشت مگر اینکه کتاب رو تا آخر نخونده باشه.مثال مهم از فرضه بالا: چون فرض می‌کنیم که تمام کتاب با یک گیرایی و جذابیت نوشته شده باشه و اگر تا آخر کتاب رو بخونم، به احتمال زیاد از هر بخش‌ کتاب، بریده‌ای به اشتراک می‌گذارم. اگه از اول کتاب، جمله‌ای به اشتراک گذاشتم ولی از آخر کتاب چیزی به اشتراک نذاشتم، احتمالا آخر کتاب رو نخوندم. پراکندگی داده‌هاچند نمودار زیر، پراکندگی بریده‌ی کتاب‌ها رو نشون میده که بیشتر از کدوم بخش کتاب به اشتراک گذاشته شدند. تصویر زیر بریده‌های کتاب «کمونیسم رفت، ما ماندیم و خندیدیم» رو نشون میده، می‌بینید که ابتدا اشتراک گذاری کتاب رو افزایش بوده و سپش کاهش و سپس افزایش که به بالاترین حد خودش رسیده. (میشه حدس زد که افراد، کدوم بخش‌های کتاب رو بیشتر دوست داشتند.)پراکندگی بریده‌های به اشتراگ گذاشته شده برای کتاب کمونیسم رفت، ما ماندیم و خندیدیمدر سایت طاقچه، بریده‌ها با متغیری به نام Chapter نشانه گذاری شده اند و با شماره صفحات کتاب، شماره گذاری نمی‌شوند.اما کتاب زیر پراکندگی بریده‌های کتاب صفر به یک رو نشون میده. (کتابی معرکه درباره‌ی تبدیل ایده به یک استارتاپ موفق و پایدار از پیتر تیل، هم بنیانگذار پی‌پال). این کتاب از پرفروش‌های طاقچه بوده ولی نگاهی به نمودار زیر بندازید. این نمودار نشون میده که بخش خیلی زیادی از بریده‌ها، از ابتدایی‌ترین صفحات کتاب بوده و میشه حدس زد که بیشتر افراد کتاب رو ناتموم رها کردند و اواخر کتاب رو دوست نداشتند.پراکندگی بریده‌های به اشتراگ گذاشته شده برای کتاب صفر به یکلیست کتاب‌های خوانده شده و نخوانده شدهبا توجه به فرضیه این مقاله، لیست زیر از بین پرفروش‌ترین کتاب‌های طاقچه ساخته شده که بیشترین و کمترین کتاب‌های خونده شده رو نشون میده.کتاب‌های پرفروش که تا آخر خوانده شده‌اندکتاب‌های پرفروش و کمتر خوانده شدهاین لیست‌ها بر اساس داده‌های قابل دسترس در سایت طاقچه و همچنین فرضیات این مقاله ساخته شده و برای ساخت لیست کاملا دقیق به بوکمارک‌های کاربران طاقچه نیاز است که این داده‌ها محرمانه و غیرقابل دسترس هستند.حرف آخربا داده‌های جمع‌آوری شده از سایت میشه کارهای خیلی بیشتری کرد که در مقاله‌ی آینده بررسی میکنیم. اگه این مطلب رو دوست داشتید یه ❤️️ برامون بذارید و نظراتتون رو بنویسید.همچنین برای نحوه‌ی جمع‌آوری داده‌های سایت‌ها این مطلب رو ببینید.

خودتان را بر روی اینترنت آپلود کنید.

Amir H. Karimi | امیر حسین کریمی — Fri, 27 Mar 2020 21:36:37 +0430

"کلید جاودانگی این است که ابتدا طوری زندگی کنیم که ارزش به یاد آوردن داشته باشد." در فیلم برتری (Transcendence) با بازی جانی دپ، شخصیت اصلی داستان قبل از مرگ خود، خود را بر روی اینترنت آپلود می‌کند و با آواتار مجازی خود با افراد صحبت می‌کند (داستان فیلم چیزی دیگری است، نگران اسپویل شدن آن نباشید). چهره، صدا و شخصیت آن آواتار دقیقا مانند شخصیت اصلی داستان است. ایده این فیلم شاید کمی تخیلی به نظر برسد ولی این کار همین امروز در حال انجام است!صحنه‌ای از فیلم برتریکمی عقب ترحتما ماجرای Deepfake یادتان هست، فیلم‌هایی از شخصیت‌هایی معروف مانند باراک اوباما که همگی ساختگی و فیک بودند. اما گذشته از تقلبی بودن آن‌ها، دیپ‌فیک به بسیاری از مردم قدرت هوش‌ مصنوعی را نشان داد و اینکه چگونه می‌توان فیلمی از صحبت کردن یک فرد را ساخت بدون اینکه هرگز آن حرف‌ها را زده باشد. نمونه های دیگری نیز مانند ساخت مجری تلویزیون به شکل مجازی نیز بودند. آواتاری از مجری واقعی که همیشه و هر ساعتی ‌می‌تواند بی وقفه اخبار بگوید. [فیلم این مجری در اینجا]تغییر چهره امی آدامز به نیکلاس کیجاما این آواتارها فقط کارهایی که به آن‌ها گفته شده انجام می‌دهند و خیلی با ایده فیلم برتری فاصله دارند. برای اینکه آواتاری واقعی از خود داشته باشیم به چه نیاز داریم؟آواتار واقعیاتفاقی که در فیلم برتری افتاد متفاوت از انجام آن در دنیای واقعی است. در دنیای واقعی آواتار ما در کل باید بتواند محیطش را ببیند و صدای اطراف را بشنود. افراد را از یکدیگر تشخیص دهد و معنی حرف‌های آن‌ها را بفهمد. توانایی یادگیری‌، به خاطر سپردن و تحلیل داشته باشد و در نهایت با صدا و تصویر ما و براساس شخصیت ما با دیگران صحبت کند.برآورده کردن هر کدام از این بخش‌ها توسط زیرشاخه ای از هوش مصنوعی انجام می‌گیرد برای مثال بینایی ماشینی، زیرشاخه‌ای از رشته هوش مصنوعی است که محققان بر روی تحلیل و تفسیر تصاویر کار می‌کنند. آواتاری که از ما ساخته خواهد شد باید محیط اطرافش را بفهمد. نمونه‌های اولیه که امروزه داریم توانایی تشخیص چهره را دارند و یا اینکه میتوانند تصویری دریافت کنند و اشیا درون تصویر را تشخیص دهند. تشخیص اشیا درون تصویرپردازش متن نیز زیرشاخه‌ای دیگر از هوش مصنوعی است. آواتار زمانی که صدایی دریافت می‌کند باید بتواند آن را به متن تبدیل کند سپس توانایی تفسیر و فهم آن متن را داشته باشد. برای ساخت آواتار نیازمند پیشرفت در هر کدام از این زمینه‌ها هستیم. موضوع دیگر این است که چطور آواتار دقیقا شبیه ما رفتار کند؟آپلود کردن خود بر روی اینترنتقسمت مهمی از این فرآیند، فراهم کردن داده‌های مورد نیاز است. چطور شخصیت خودمان را تبدیل به صفر و یک کنیم و آواتار خود را براساس آن بسازیم؟ درواقع ما داریم از قبل این کار را انجام می‌دهیم. هر جستجویی که در گوگل انجام می‌دهیم، هر پستی که در اینستاگرام یا فیس‌بوک لایک می‌کنیم، پیام‌هایی که به دوستانمان می‌فرستیم، توییت هایی که در توییتر می‌کنیم، مکان هایی که در ویز و گوگل ثبت می‌کنیم. تمام این لحظه‌ها مانند این است که ذره ذره خودمان را بر روی اینترنت آپلود می‌کنیم. چالش اصلی جمع‌‌آوری آن‌ها در یک جا است اما می‌دانیم که داده‌ها در حال تولید هستند.آواتار امروزیو بالاخره سراغ آواتارهایی برویم که امروز ساخته می‌شوند. از شرکت‌های پیشرو در این زمینه، شرکت Soul Machines است. این شرکت آواتار‌هایی مبتنی بر هوش مصنوعی می‌سازد و همان مسیری را طی می‌کند که ما از آن صحبت می‌کنیم. در تصویر زیر مدیرعامل این شرکت، مارک ساگار، در حال نشان دادن یک عنکبوت به آواتار یک کودک است. کودک، مارک و عنکبوت را می‌بیند و تشخیص می‌دهد.آواتار یک کودک و مارک ساگارکودک گزینه خوبی برای شروع است، زیرا از کودک انتظار یادگیری و صحبت زیادی نداریم. این آواتار نیز تنها در حد چند کلمه می‌تواند صحبت کند. مارک،عنکبوت را به کودک نشان می‌دهد و تکرار می‌کند «عنکبوت» و چند بار دیگر تکرار می‌کند، آواتار می‌فهمد که چیزی که در دست مارک است یک عنکبوت است و او هم نام آن را تکرار می‌کند.همین شرکت، در بخش دیگری با رپر آمریکایی، Will.i.am، همکاری می‌کند تا آواتار او را بسازد. برای اینکار ابتدا تصاویری از چهره او می‌گیرند و صدای او را در حالت‌های مختلف ضبط می‌کنند. در تصویر زیر، خود ویل‌آی‌ام را می‌بینید که با آواتار خود صحبت می‌کند.صحبت با آواتار خودآواتار بعد از مرگآن روز دور نیست که هر کدام از ما، آواتار دیجیتالی خود را داریم که به تماس‌هایمان پاسخ می‌دهد، گاهی به جای ما توییت می‌کند و با بقیه ارتباط برقرار می‌کند. بعد از مرگ هر شخصی نیز (دور از جان ما!) هنوز آواتار او را داریم و می‌توانیم با او گپ بزنیم و از خاطرات گذشته صحبت کنیم. ?امیدوارم از این داستان لذت برده باشید، اگر چنین بود، لطفا زیر این پست یک ❤️ بگذارید. همچنین علاوه بر فیلم Transcendence که از آن صحبت کردیم، فیلم‌های زیر از سریال Black mirror را هم خالی از لطف نیست که ببینید:San Junipero (S03 E04)Be right back (S02 E01)Hang the DJ (S04 E04)

استخراج داده های فروش فیلم ها با زبان R

Amir H. Karimi | امیر حسین کریمی — Wed, 07 Aug 2019 09:50:08 +0430

"در جایی که دودی از داده باشد، در آنجا آتش کسب و کار وجود دارد." توماس ردمندر این مقاله قصد داریم داده های فروش هفتگی یا همون Box Office رو از سایت سینما تیکت استخراج کنیم یا به طور دقیق تر Scrape کنیم. برای این کار از زبان برنامه نویسی R کمک می گیریم.قصد داریم داده های Box Office سایت سینما تیکت رو Scrape کنیمزبان برنامه نویسی R و پکیج rvestهمان طور که می دونید، R یک زبان برنامه نویسی است که در بسیاری از کار های آماری و داده کاوی استفاده میشه. در عین قدرتمند بودن، زبان خیلی ساده ای هستش و منطق ساده ای داره. به خاطر تابع های بسیار زیاد و کاربردی و کتاب خانه های کامل که برای زمینه هایی مثل آمار، داده کاوی و آنالیز داده ها داره، خیلی مورد استفاده متخصصان این حوزه های قرار گرفته.دراین جا هم قراره از پکیج rvest استفاده کنیم.البته پکیج های دیگه ای هم مثل RSelenium و rcrawler هم وجود دارند اما این جا کار ساده ای در پیش داریم و همین rvest همه ی نیاز های ما رو برآورده می کنه.نگاهی به داده هاسایت سینماتیکت هر هفته میزان فروش فیلم های سینمای داخل ایران رو در قالب یه جدول منتشر میکنه. اگه بخواییم این داده ها رو داشته باشیم باید چی کار کرد؟ قسمتی از جدول فروش فیلم ها در سینماتیکت (این داده ها مربوط به زمان انتشار این مطلب است) یک روش اینه بریم داده ها رو بخونیم و به شکل دستی توی برنامه ای مثل اکسل وارد کنیم که روش مناسبی نیست. میشه با چند خط کد در زبان R به راحتی این جدول رو بدست آورد و هرهفته با یک کلیک، جدول رو داشت.نوشتن تابع در Rیک تابع می نویسیم تا صفحه ی فروش (که فایل HTML هستش) رو از سینماتیکت دریافت کنه و تابع دیگری برای استخراج جدول از اون صفحه. تابع اول به اسم GetBoxOffice است:GetBoxOffice <- function() { url <- "https://cinematicket.org/?p=boxoffice" response <- GET(url = url) html <- read_html(response) return(GetTable(html))}این تابع ورودی نداره، آدرس صفحه رو در داخل url ذخیره می کنیم. با تابع GET اون صفحه رو دانلود می کنیم و با تابع read_html فایل HTML رو در html ذخیره میکنیم. به جای چاپ متغیر html، با دستور زیر میشه اون رو توی یه فایل نوشت و برسیش کرد:write_xml(html , file="boxoffice_page.html")در نهایت html رو به تابع دوم میدیم که قراره جدول فروش رو برگردونه.برسی ساختار صفحه وب سایت مورد نظرقبل از برسی تابع دوم، اجازه بدید یه مسئله مهم در Web scraping رو برسی کنیم. برای اینکه قسمت های مختلفی از یه سایت رو بخوایم داشته باشیم، مثلا عنوان ها، عدد ها و یا جدول ها، باید ساختار HTML اون ها رو توی سایت مقصد بدنیم. برای این کار در سایت سینماتیکت روی جدول فروش کلیک راست کنید و گزینه Inspect رو انتخاب کنید. نمایش ساختار صفحه با انتخاب گزینه Inspect در کل هر وقت نیاز داشتیم ساختار HTML قسمتی از سایت رو بدونیم از این روش استفاده می کنیم. با این کار پنجره Developer tools در زیر مرورگر (بعضی وقت ها کنارش) باز میشه که کد های HTML سایت رو نشون میده. ما نیاز داریم ساختار جدول رو بدونیم، همون طور که در شکل زیر معلومه، در این سایت برای جدول از تگ table استفاده شده:کمی در صفحه موس رو تکون بدید تا تگ table رو پیدا کنیدحالا می دونیم که در جدول مورد نظر ما، از تگ table استفاده شده. گاهی نیاز هست که class مورد استفاده در قسمتی از سایت رو بدونیم یا مثل اینجا، تگ مورد استفاده. دقت کنید که همه ی این موارد در سایت های مختلف متغیره.نوشتن تابع دوم و نهایی تابع دوم GetTable هستش که به html صفحه نیاز داره تا از اون جدول رو بیرون بکشه:GetTable <- function(html) { weekly.boxoffice <- html %>% html_nodes("table") %>% extract2(1) %>% html_table()}متغیر جدیدی می سازیم به نام weekly.boxoffice که جدول نهایی در اون ذخیره میشه و در نهایت برگشت داده میشه. تابع html_nodes تمام قسمت هایی از فایل html که تگ table دارند رو جدا میکنه و مقدارش رو به extract2 میده.اگر فقط کد زیر رو اجرا کنید، می بینید که فقط یک جدول پیدا شده و ما به اون نیاز داریم. با تابع extract2 اون رو جدا می کنیم و به تابع html_table میدیم تا نتیجه رو در قالب جدول ذخیره کنه.weekly.boxoffice <- html %>% html_nodes("table")نتیجه اجرای کد بالادرنهایت با اجرای تابع GetBoxOffice، جدول فروش رو بدست می آریم.جدول فروشحرف آخرکاری که اینجا کردیم نمونه ی ساده ای از Web Scraping بود. امیدوارم مفید بوده باشه، در این صورت می تونید روی قلب ? زیر این مطلب کلیک کنید :))) خوش حال میشم تجربه های خودتون رو این جا به اشتراک بذارید.در مطلب بعدی آماده سازی این داده ها برای آنالیز همچنین کشیدن نمودار در R رو بررسی می کنیم. کد های کامل این مطلب رو می تونید به صورت کامل از گیت هاب دانلود کنید.