https://virgool.io/feed/@anvaari اول راه یادگیری ماشین و علاقمند به دیتا :) fa 2026-06-10 12:49:40 https://files.virgool.io/upload/users/773/avatar/iNzo6r.png?height=120&width=120 https://virgool.io/@anvaari https://virgool.io/@anvaari/%D8%A2%D9%85%D8%A7%D8%B1-%D8%A8%D8%A7%D8%B2%D8%AF%DB%8C%D8%AF-%D9%BE%D8%B3%D8%AA-%D9%87%D8%A7%DB%8C-%D9%85%D9%86-%D8%AF%D8%B1-%D8%B3%D8%A7%D9%84-%DB%B9%DB%B9-tsjlpnd4ciyx در طول تاریخ از اعداد استفاده کردیم تا اغلب داد و ستد کنیم و آن‌چیزی که شمردنی است را بشماریم. برای هر عدد واحد درست کردیم تا عددهای زندگی قاطی نشوند و از اعداد، شفاف‌تر استفاده کنیم؛ مثلا وقتی می‌گوییم ده هزار تومان به پول اشاره داریم و وقتی می‌گوییم ده هزار بلیط به بلیط!روز به روز که در زندگی جلو‌تر رفتیم عددها فرقی نکردند ولی این واحدها بودند که زیاد شدند. واحد کریپتو، واحد اصله درخت، واحد فاصله و …«واحد» یک توافق عمومی است برای شمردن؛ تا همانطور که گفتم شمردن‌ها قاطی نشود. مشاهده افراد دارای ثروت (اجتماعی یا مالی) به من ثابت کرده اینکه چه چیزی را بشماریم از اینکه چطور بشماریم مهم‌تر است. هرکس با واحد خاصی مسائل زندگی را می‌شمارد. اینطور به نظرم آمده که مشخص کردن واحد یعنی مشخص کردن اینکه من در زندگی برای چه چیزهایی ارزش قائلم و می‌خواهم چه چیزهایی را در زندگی بشمارم. https://cdn.virgool.io/annual-report/1399/qrlbqhlcjowp-i18NS.mp4 اعدادی که بدون واحد ثبت کردمبه ویدیویی که ویرگول برایم ساخته که نگاه می‌کنم میبینم که در سال ۹۹، من در مجموع ۱,۹۷۹ کلمه در ویرگول نوشتم و منتشر کردم و مخاطبین، پست‌های من را ۷ مرتبه پسندیدند و ۰ بار هم نظر خود را روی پست‌های من به اشتراک گذاشتند. در سال ۹۹، ۳ نفر در ویرگول من را دنبال کردند تا پست‌های بعدیم را بخوانند. این اعداد نشان میدهند من کاری کرده‌ام. هرکدام به واحدی وصل هستند. از خودم می‌پرسم من کدام واحد را شمارش کرده‌ام؟ کدامیک از واحدهای بالا از همه برای من مهم‌تر است؟ ادامه ویدیو را می‌بینم.آمار از اثر بیرونی می‌گویندطبق آمار پست‌های من ۱۲۷ بار خوانده شدند و ۱۰,۱۴۶ ثانیه صرف مطالعه آنها شده است، که با توجه به جمعیتی که در ایران به اینترنت دسترسی دارند، ویرگول به من می‌گوید که توانستم ۰/۰۰۰۱۳۹۱۰۱ ثانیه، سرانه مطالعه دیجیتال کشور را بالا ببرم.از طرف دیگر ویرگول به من می‌گوید که اگر قرار بود پست‌هایم را چاپ و به دست تک تک خوانندگان برسانم باید ۶۵۴ کاغذ مصرف می‌کردم.آن عددهای کوچک ابتدای ویدیو حالا تبدیل شده‌اند به عددهای بزرگ به اینکه من جلوی مصرف این تعداد کاغذ را گرفتم یا به اینکه من ۰/۰۰۰۱۳۹۱۰۱ ثانیه، سرانه مطالعه دیجیتال کشور را جابه جا کرده‌ام. واحد این عددها برای من ملموس‌تر است.واحد نوشتن چیست؟همه عددهای بالا و همینطور اثر بیرونی که روی خوانندگان و همینطور در مقیاس بزرگتر طبیعت و جامعه اطرافم گذاشتم اعدادی هستند که من دوستشان دارم و به آنها افتخار می‌کنم. اگر چنین ویدیویی دست شما نیز رسید به شما بابت تک تک اعداد تبریک می‌گویم.اثر هر نوشته تا حدودی معلوم است، اگر بنویسید جلوی قطع درخت را می‌گیرید، به سرانه مطالعه کشور اضافه می‌کنید و خوانندگانی جذب می‌کنید که شما را از طریق نوشته‌هایتان می‌شناسند و …به نظرم می‌رسد که نوشته‌های من و شما واحد ندارند ولی اثر بیرونی دارند. محمد عرب انواری محمد عرب انواری Mon, 22 Mar 2021 12:00:47 +0430 https://virgool.io/@anvaari/%DA%86%D8%B7%D9%88%D8%B1%DB%8C-%D8%A7%D8%B7%D9%84%D8%A7%D8%B9%D8%A7%D8%AA-insight-%D8%A7%DB%8C%D9%86%D8%B3%D8%AA%D8%A7%DA%AF%D8%B1%D8%A7%D9%85%D9%85-%D8%B1%D9%88-%D8%B1%D9%88%DB%8C-%D8%A7%DA%A9%D8%B3%D9%84-%D8%AF%D8%A7%D8%B4%D8%AA%D9%87-%D8%A8%D8%A7%D8%B4%D9%85-%D8%A8%D8%AE%D8%B4-%D8%AF%D9%88%D9%85-%D9%BE%D8%A7%DB%8C%D8%AA%D9%88%D9%86-rszgw4mhwo92 خب، توی پست قبلی، فهمیدیم چطوری میشه به اطلاعات insight اکانتمون دست پیدا کنیم. توی این پست کد پایتونی که برای جمع آوری و مرتب کردن این دیتا ها نوشتم رو توضیح میدم. اول از همه بگم کد رو از اینجا میتونین بهش دسترسی داشته باشین.خب، حالا شروع میکنیم. اول از همه import کردن کتاب خونه های مورد نیازpandas : برای ساختن یک دیتا فریم از داده هاstrftime: برای کار با زمان json : برای خوندن فایل جیسونی که خود اینستاگرام در اختیارمون قرار میده urllib.request : برای اتصال به صفحه‌ی دیتاimport pandas as pd from time import strftime import urllib.request , jsonبعدش یه تابع داریم برای شمارش لغات و جمله ها در یک متن (این یه قابلیتیه که خودم اضافه کردم، برای یک تست ساده که ببینم ایا بلندی و کوتاهی کپشن با لایک ارتباطی داره) :def w_s_count(string): word=1 senteces=0 for i in string: if i==' ': word+=1 if i=='.': senteces+=1 return [word,senteces]حالا نوبت میرسه به وارد کردن اطلاعات اکانت و Access token داخل کد:#Acess Token given from facebook app access_token=' ' account_id=' ' #given from last tutorial account=' ' #account id from instagramتوی مرحله‌ی بعد اطلاعات رو به وسیله‌ی urllib.request دریافت می‌کنیم ( فقط باید فیلتر شکنتون روشن باشه)باید بگم این لینک ها از پست قبلی (قسمت اول این آموزش) برداشته شده.من اطلاعات رو به چهار دسته تقسیم کردم و توی چهار بخش دریافتشون کردم: general information :‌اطلاعات عمومی اکانت،‌ مثل تعداد فالور، پست و ..account insight : مثل تعداد reach، impression و ... post info : اطلاعات عمومی پست ها شامل تعداد لایک و کامتpost insight: اطلاعاتی مثل، تعداد Save، reach و ... پست ها #give json files #general information with urllib.request.urlopen('https://graph.facebook.com/v6.0/{}/?fields=followers_count%2Cfollows_count%2Cmedia_count%2Cstories&access_token={}'.format(account_id,access_token)) as url: general_info=json.loads(url.read().decode()) pass#account insight with urllib.request.urlopen('https://graph.facebook.com/v6.0/{}/insights?metric=impressions%2Creach%2Cprofile_views%2Cwebsite_clicks%2Cemail_contacts&period=day&access_token={}'.format(account_id,access_token)) as url: account_insight=json.loads(url.read().decode()) pass account_insight=account_insight['data']#posts id posts_id_list=[] with urllib.request.urlopen('https://graph.facebook.com/v6.0/{}/media?access_token={}'.format(account_id,access_token)) as url: posts_id=json.loads(url.read().decode()) pass for id in posts_id['data']: posts_id_list.append(id['id'])#posts with urllib.request.urlopen('https://graph.facebook.com/v6.0/{}/media?fields=like_count%2Ccomments_count%2Cmedia_type%2Cid%2Ctimestamp%2Ccaption&access_token={}'.format(account_id,access_token)) as url: posts_info=json.loads(url.read().decode()) pass posts_info=posts_info['data']#Posts_insight posts_insight_list=[] for id in posts_id_list: with urllib.request.urlopen(&quothttps://graph.facebook.com/v6.0/{}/insights?metric=engagement%2Cimpressions%2Creach%2Csaved&access_token={}&quot.format(id,access_token)) as url: post_inight=json.loads(url.read().decode()) posts_insight_list.append(post_inight['data']) passو توی مرحله‌ی بعد اطلاعات رو از فایل های جیسون به دیکشنری های پایتون منتقل میکنیم. در واقع توی این مرحله یجوری اطلاعات رو با لیبل های مشخص داخل از فایل های جیسون استخراج میکنیم.#extract data general_info_dict={'Number of Followers':general_info['followers_count'], 'Number of Following':general_info['follows_count'], 'Number of Media':general_info['media_count'], 'Number of Posts':len(posts_id_list)} if 'stories' in list(general_info.keys()): general_info_dict['Number of Stories']=len(general_info['stories']['data']) else: general_info_dict['Number of Stories']=0 account_insight_dict={'impressions':account_insight[0]['values'][1]['value'], 'Reach':account_insight[1]['values'][1]['value'], 'Profile Views':account_insight[2]['values'][1]['value'], 'Website click':account_insight[3]['values'][1]['value'], 'Email click':account_insight[4]['values'][1]['value']} posts_dict={'Post Number':[i for i in range(len(posts_id_list),0,-1)], 'Time of creation':[posts_info[i]['timestamp'][:10] for i in range(len(posts_id_list))], 'Title':[posts_info[i]['caption'][:50] for i in range(len(posts_id_list))], 'Number of words':[w_s_count(posts_info[i]['caption'])[0] for i in range(len(posts_id_list))], 'Number of senteces':[w_s_count(posts_info[i]['caption'])[1] for i in range(len(posts_id_list))], 'Likes':[posts_info[i]['like_count'] for i in range(len(posts_id_list))], 'Comments':[posts_info[i]['comments_count'] for i in range(len(posts_id_list))], 'Engagement':[posts_insight_list[i][0]['values'][0]['value'] for i in range(len(posts_id_list))], 'Impressions':[posts_insight_list[i][1]['values'][0]['value'] for i in range(len(posts_id_list))], 'Reach':[posts_insight_list[i][2]['values'][0]['value'] for i in range(len(posts_id_list))], 'Saved':[posts_insight_list[i][3]['values'][0]['value'] for i in range(len(posts_id_list))]} posts_dict['Person/Seen']=[posts_dict['Impressions'][i]/posts_dict['Reach'][i] for i in range(len(posts_id_list))]و در آخر هم از دیکشنری ها دیتافریم میسازیم و خروجی اکسل میگیریم.#creat DataFrame general_info_Dframe=pd.DataFrame(general_info_dict,index=[strftime(&quot%y/%m/%d&quot)]) account_insight_Dframe=pd.DataFrame(account_insight_dict,index=[strftime(&quot%y/%m/%d&quot)]) posts_Dframe=pd.DataFrame(posts_dict,index=[strftime(&quot%y/%m/%d&quot) for i in range(len(posts_id_list))])#creat csvs general_info_Dframe.to_excel('General Information of {}_{}.xlsx'.format(account,strftime('%y-%m-%d'))) account_insight_Dframe.to_excel('Insight of {}_{}.xlsx'.format(account,strftime('%y-%m-%d'))) posts_Dframe.to_excel('Posts Insights of {}_{}.xlsx'.format(account,strftime('%y-%m-%d')),encoding = 'utf-8-sig') و تمام! سعی کردم کلیت کار رو توضیح بدم ولی بازم اگه سوال یا پیشنهادی بود حتما بگین. و یه سوال از اهل فن، به نظرتون این دیتا ها پتانسیل اجرای یک مدل یادگیری ماشین رو داره ؟ محمد عرب انواری محمد عرب انواری Tue, 22 Sep 2020 17:17:11 +0330 https://virgool.io/@anvaari/%DA%86%D8%B7%D9%88%D8%B1%DB%8C-%D8%A7%D8%B7%D9%84%D8%A7%D8%B9%D8%A7%D8%AA-insight-%D8%A7%DB%8C%D9%86%D8%B3%D8%AA%D8%A7%DA%AF%D8%B1%D8%A7%D9%85%D9%85-%D8%B1%D9%88-%D8%B1%D9%88%DB%8C-%D8%A7%DA%A9%D8%B3%D9%84-%D8%AF%D8%A7%D8%B4%D8%AA%D9%87-%D8%A8%D8%A7%D8%B4%D9%85-%D8%A8%D8%AE%D8%B4-%D8%A7%D9%88%D9%84-facebook-graph-api-mokpmn5tsykt سلام :)جواب این سوال، یه پروژه شخصی شد که انجامش تجربه‌‌ی خوبی برام بود و تصمیم گرفتم اینجا، توی ویرگول، منتشرش کنم. توی این مطلب قراره اول یه مقدمه درباره اهمیت و جذابیت این پروژه بگم، بعدش بگم چطوری با api فیسبوک میشه به داده‌های اینستاگرام خودم دسترسی پیدا کنم و بعد هم کد پایتونی که با استفاده از این api این اطلاعات رو استخراج میکنه قرار میدم. احتمال زیاد این مطالب رو توی دو تا پست منتشر میکنمخب به عنوان مقدمه اول میخوام بگم انگیزم چی بود و چطوری به سمت جواب این سوال حرکت کردم. انگیزه اصلی من دیتا بود، یعنی میخواستم دیتا جمع‌آوری کنم و یه مدل یادگیری ماشین باهاش آموزش بدم. اما باید بگم که این پروژه فقط به همون قسمت جمع آوری دیتا ختم شد. اما پتانسیل همچین کاری رو هم داره. اما حل این مسئله اولین کاری که به ذهنم رسید، scrap کردن این دیتاها از Facebook Creator Studio بود (که اگه براتون سواله چیه، حتما توی کامنت بپرسین ازم) اما به دلایل فنی نشد و یا بهتره بگم من راهی پیدا نکردم. و بعد از یکمی سرچ فهمیدم که فیسبوک یه api در اختیار Developer ها میزاره که میتونن با اون به یک سری از دیتا های دسترسی پیدا کنن و این شد شروع کار. اما چالش اصلی که خیلی از من وقت گرفت نحوه استفاده از این api بود که بعد از کلی سرچ توی داک های فیسبوک و Stack Overflow تونستم راهشو پیدا کنم و توی این بخش میخوام این کارو توضیح بدم. 0: در مرحله صفر باید با یکی از ابزارهای تغییر آی پی، آی پی رو تغییر داد!1: اول از همه باید یه اکانت فیسبوک داشت و وارد Facebook For Developers شد. بعد از اینکه لاگین کردیم، توی صفحه‌ای که میاره Get Started رو میزنیم و بعد از چند تا Next ازمون میخواد اسم اولین برنامه‌ای که میخوایم بسازیم رو بنویسیم و فرقی نداره که چی باشه. خلاصه‌ای از مراحل گام اولحالا یه App ساختیم و میتونیم از قابلیت هایی که فیسبوک در اختیارمون میذاره استفاده کنیم. واقعیتش اینه که از این قابلیت ها میشه برای نوشتن یه محصول درست و حسابی استفاده کرد ولی من فقط در حد انجام همین پروژه ازش استفاده کردم و چیزایی هم که ازش یاد گرفتم اینجا مینویسم. 2: حالا باید اینستاگرام رو با فیسبوک لینک کنیم. برای این کار توی اپ اینستاگرام و از بخش Edit Profile، به قسمت Pages میریم و با گزینه‌ی Create Facebook Page یک پیج به اسم صفحه‌ی خودمون روی اکانت فیسبوک میسازیم. بعد از اینکه مراحلش کامل شد، باید توی مرحله دومِ عکسی که این پایین آوردم، اسم اکانت اینستاگرامتون (که در واقع اسم پیج فیسبوکی هست که ساختین) رو جلوی Page به جای Connect or Create نوشته باشه.مراحل اتصال اکانت اینستاگرام به فیسبوک3: دوباره برمیگردیم سراغ Facebook For Developers و با کلیک روی My Apps (بالا سمت راست صفحه) وارد برنامه ای که توی مرحله 1 ساختیم میشیم. و با همچین صفحه‌ای باید روبرو بشیم. من اسم برنامه رو Insight_Bot گذاشتم و فرقی نمیکنه که چه اسمی باشه.این جا همون محیطیه که فیسبوک محیا کرده تا بشه برای فیسبوک و اینستاگرام اپ های مختلف نوشت ولی استفاده ما ازش در حد اینه که اطلاعات اکانت خودمون رو دریافت کنیم.نمایی از صفحه‌ی برنامه‌ای که ساخته شده.4: (نمیدونم چقدر انجام این مرحله ضروریه ولی بهتره انجام بدیم) صفحه رو اسکرول میکنیم و پایین صفحه بین باکس های مختلف یکی هست با این عنوان Instagram Graph API و روی Set Up کلیک می‌کنیم (که در واقع همون API هست که فیسبوک در اختیار ما قرار میده برای کار با اینستاگرام). 5: الان از نوار بالای صفحه از گزینه‌ی Tools وارد Graph API Explorer میشیم. اینجا همون محیطی هست که درخواست اطلاعات مختلف رو میکنیم. (Documentation کامل این قسمت رو برای اینستاگرام میتونین از اینجا ببینین)نمایی از محیط Graph API Explorer6: الان توی همین صفحه زیرِ گزینه‌ی User or Page روی نوار می‌زنیم و از اونجا Page Access Token رو انتخاب می‌کنیم. بعد مراحل زیر رو جلو میریم.7: الان توی قسمت Permissions این سه تا Permissions رو با تایپ کردن قسمتی ازشون، پیدا میکنیم و اضافشون می‌کنیم:pages_show_list, instagram_basic, instagram_manage_insightsبعد از اینکه این سه تا رو اضافه کردیم، اون بالا روی Generate Access Token میزنیم و مراحل زیر رو جلو میریم. Access Token در واقع یه کد اختصاصی برای شماست که به وسیله‌ی اون میتونین به اطلاعات درخواستیتون دسترسی پیدا کنین. پس خیلی خوب ازش مراقبت کنین و به هیچ وجه در اختیار کسی قرارش ندین. 8: الان باید ID پیج اینستاگرام خودمون رو بدست بیاریم. برای این کار مراحل 4 و 5 این آموزش رو جلو میریم. خروجی این مرحله Instagram User ID هست که در آینده به کارمون میاد،‌ پس یادداشتش کنین.در ضمن کدها رو توی قسمتی که مشخص کردم وارد کنین و برای دریافت جواب Enter رو بزنین. محل نوشتن کد ها در محیط Graph API Explorer9: برای بدست آوردن اطلاعات پایه اکانت ( تعداد فالوور، تعداد فالووینگ، تعداد پست‌ها و تعداد استوری های همون روز) کد زیر رو وارد میکنیم.{Instagram User ID}?fields=followers_count,follows_count,media_count,stories برای اینکه یک لینک داشته باشیم که با هر بار Request دادن بهش این اطلاعات رو بروز بهمون بده از اون قسمت پایین Get Code رو میزنیم و توی پنجره‌ی باز شده از تب cURL لینک رو برمیداریم. 10: برای بدست آوردن اطلاعات Insight اکانت (Reach,Impression, Profile Visit, Website Clicks Email Click) کد زیر رو وارد میکنیم. البته خیلی اطلاعات بیشتری رو میشه بدست آورد (مثل رنج سنی و مکانی مخاطبان و ...) که لیست کاملشون اینجا هست و با اضافه کردن اون ها به این پارامتر ها ( بعد از metric= اضافه کنین) میشه اون اطلاعات هم دریافت کرد.{Instagram User ID}/insights?metric=impressions,reach,profile_views,website_clicks, email_contacts&period=day11: برای رسیدن به اطلاعات معمولی یک پست (تعداد لایک، کامنت، زمان، متن و ID) کد زیر رو وارد می‌کنیم.{Instagram User ID}/media?fields=like_count,comments_count,media_type,id,timestamp ,caption12: برای اطلاعات Insight یک پست باید ID اون پست را داشته باشیم. ولی برای بدست آوردن Insight همه‌ی پست ها لازم نیست تک به تک براشون کد وارد کنیم و با پایتون توی قسمت دوم خیلی راحت این کار رو مدیریت میکنیم. اما برای بدست آوردن Insight یک پست (Engagement ,Impressions ,Reach ,Saved) کد زیر رو وارد میکنیم. لیست کامل اطلاعاتی که میشه از پست دریافت کرد اینجا هست.{Media ID}/insights?metric=engagement,impressions,reach,saved13: حالا کارمون با دریافت اطلاعات تموم شد و برای دریافت هر اطلاعاتی که بخوایم یک لینک در اختیار داریم و میتونیم بریم سراغ پایتون. اما یه مشکلی وجود داره اونم اینکه Access Token بعد از حدود نیم ساعت غیر فعال میشه. حالا مراحل زیر رو طی میکنیم و این مدت زمان رو به 3 ماه افزایش میدیم. 1- Access Token که الان داریم رو کپی میکنیم. (سمت راست صفحه هستش). 2- از نوار بالای صفحه از بخش Tools وارد بخش Access Token Debugger میشیم. 3- Access Token رو اونجا Paste میکنیم و گزینه‌ی Debug رو میزنیم. 4- وقتی که صفحه لود شد، از اخر صفحه گزینه Extend Access Token رو میزنیم و بعد از وارد کردن پسورد اکانت فیسبوک برامون مینویشه Access Token شما تا تاریخ فلان قابل استفاده است.تا اینجا کارمون با نحوه‌ی دریافت اطلاعات تموم شد و توی بخش بعدی میریم سراغ پایتون و پاندا برای دسته بندی و مرتب کردن اطلاعات. هر سوالی بود و اگه جایی رو گنگ توضیح داده بودم حتما بپرسید و اگه پیشنهادی هم برای بهتر شدن پروژه داشتین حتما بگین. در ضمن اگه دوست دارین کد پایتون رو زودتر از بقیه ببینین. میتونین به گیت هاب من مراجعه کنین و اینجا کد رو ببینین اما توی قسمت بعدی کامل توضیحش میدم. ممنون که همراهم بودین توی این پست :)‌قسمت دوم این پست با عنوان چطوری اطلاعات Insight اینستاگرامم رو روی اکسل داشته باشم؟ (بخش دوم: پایتون) رو میتونین اینجا بخونین. محمد عرب انواری محمد عرب انواری Fri, 31 Jul 2020 17:40:02 +0430