نحوه نصب Jupyter notebook در محیط (Conda) : تست پروژه های کولب در رایانه شخصی

با درود و سپاس

هنگام کار با پایتون، هر برنامه نویسی با Jupyter Notebook آشناست. این نوت بوک یک وب اپلیکیشن open-source است که به برنامه نویسان امکان نوشتن کدهای رسا را می دهد. Jupyter Notebook یک ابزار مفید و قابل استفاده برای علوم داده و ML است. Notebook شما را قادر می سازد تا یافته های خود را نشان دهید و نتایج (visualizations) را در همان سندی که کد شماست، جایگذاری می کند.

در میان خدمات بی شماری که حول Jupyter Notebook تکامل می یابند، Google Colaboratory است که به شما مزیت پردازش و محاسبات cloud را به همراه دسترسی به GPU هایی با عملکرد بالا برای اجرای Jypyter Notebook، می دهد. از آنجاییکه Google Colab مستقیماً با اپلیکیشن های Google Drive همگام سازی شده است، شما می توانید داده ها و یادداشت های خود را بر روی Google Drive خود ذخیره کنید. (مزایای استفاده از پایتون برای داده)

با توجه به توضیحات بالا و فواید استفاده از ابزار Jupyter Notebook و Google Colaboratory، گاهی وقتها به دلایلی مانند کمبود RAM، نیاز به CPU بالا، طولانی بودن زمان محاسبات (نیاز فراتر از زمان رایگان صفحات گوگل کولب، یعنی۱۲ ساعت) برای اجرا یا تست برخی از پروژه های موجود در محیط Google Colaboratory ، نیاز به اجرای کدها به صورت Local، در رایانه ی خود خواهید داشت. برای نمونه، من در پروژه ی زیر به مشکل کمبود RAM برخورده ام:

اطلاعات انجام این کار را میتوانید در ویدیوی زیر مشاهده کنید:

برخی از توضیحات ویدیوی بالا، در ادامه قرار داده شده است. شما برای اجرای صفحات google Colab در روی رایانه شخصی خود، میتوانید از روش هایی مانند:

۱- دانلود فایل py، پروژه ی صفحه گوگل کولب و اجرای آن در محیط نرم افزارهای نصب شده (داخل رایانه محلی‌ خود)، مانند Pycharm و ... :

۲- نصب Jupyter NoteBook در رایانه ی خود، از روش هایی مانند :

۲-۱- نصب از طریق دستور pip بر روی نرم افزار python نصب شده،‌ که به دلیل پیچیدگی بالای عملیات نصب ورژن های مختلف ماژول های پایتون و نیاز به نصب ورژن های مختلف از یک ماژول برای پروژه های متفاوت، چندان توصیه می شود (۱)

۲-۲- استفاده از محیط ورژن مجازی پایتون با دستور pipenv که به دلیل وجود عدم وجود ویرایشگر گرافیکی و ...، چندان با روش بعدی، یعنی نصب از طریق Conda قابل مقایسه نمی باشد.(۱)

از طریق محیط حرفه ای کار با ماژول های پایتون به نام Conda، به صورت خلاصه Conda را می توان محیط
حرفه ای کار با ماژول های مختلف پایتون برای پروژه های هوش مصنوعی و ... دانست (توضیحات بیشتر مورد
conda را می توانید از اینجا مطالعه نمایید.)

۳-۲- استفاده از محیط Conda برای تست پروژه: در ابتدا در صورت عدم نصب آناکوندا در سیستم عامل خود، نیاز به نصب این نرم افزار، از طریق:

• دانلود فایل ورژن نهایی این نرم‌افزار‌ از اینجا (مشابه زیر):

• و اجرای دستور زیر (در فولدر حاوی فایل دانلود شده):

sudo bash  Anaconda3-2020.11-Linux-x86_64.sh

خواهید داشت. شما می توانید اطلاعات بیشتر در مورد، نصب Anaconda در محیط لینوکس (توزیع اوبونتو) را از اینجا مشاهده نمایید:

۱-۳-۲- تنظیم محیط های آناکوندا با دستور :

با دستور conda create می توانید محیط های آناکوندا ایجاد کنید. به عنوان مثال ، یک محیط پایتون 3 با نام firstEnv می تواند ایجاد شود (مرجع ):

conda create --name DeepLearning

۲-۳-۲- نصب ماژول Tensorflow و jupyterlab در محیط Anaconda با اجرای دستورهای زیر در محیط ترمینال لینوکس (۱ و ۲):

 conda install -c conda-forge jupyterlab
conda install -c conda-forge tensorflow 

خروجی به صورت زیر میباشد:

۳-۳-۲- نصب ماژول ipykernelبا اجرای دستور زیر :

conda install -c anaconda ipykernel

۴-۳-۲- اجرای ابزار Jupyter Notebook در محیط Conda با دستور :

conda run jupyter notebook   --NotebookApp.allow_origin='https://colab.research.google.com'   --port=8893   --NotebookApp.port_retries=0

۵-۳-۲- اجرای محیط ادیتور Jupiter در محیط گرافیکی Anaconda :

anaconda-navigator

-------------------------*********************--------------------------

نکته:

• با توجه به نوع نامگذاری فولدر محتوای فایل های دانلود شده در محیط صفحات گوگل کولب، کلیه فایل های شما در مسیر فولدر /content/، در رایانه شما قرار خواهد گرفت، برای مثال در سیستم عامل لینوکس من، در مسیر زیر قابل مشاهده می باشند:

• شما با دستور زیر، میتوانید Jupyter Notebook را در محیط Conda، در مسیر همین فولدر ( /content/) نصب نمایید:

cd / && sudo mkdir /content/
sudo chown -R $USER: /content
conda run jupyter notebook   --NotebookApp.allow_origin='https://colab.research.google.com'   --port=8893   --NotebookApp.port_retries=0  --notebook-dir &quot/content/&quot

------------------------^^^^^^^^^^^^^^^^^^^^^^^^--------------------------

و با اجرای دستور زیر، آدرس فضای مجازی ساخته شده (Token)، را بدست خواهید آورد:

 conda run jupyter notebook list

و در نهایت با وارد کردن این آدرس در بخش Connect صفحه Google Colab پروژه مورد نظر کدهای یک صفحه Google Colab را به صورت Local، اجرا خواهید نمود:

در صورت نیاز به نصب ماژول خاصی در محیط ادیتور Jupiter با دستور :

conda install <** Required python Module for Your colab page **>

ماژول های مورد نیاز برای کار خود را نصب نمایید. البته این کار را از طریق محیط گرافیکی Anaconda،‌ مشابه روش زیر میتوانید این کار را انجام دهید:

در پایان در صورت وجود مشکل در عملیات نصب می توایند از انجمن قوی Stackoverflow برای خطایابی استفاده نمایید، برای مثال سوال زیر یکی از سوالاتی بوده که من در مسیر نصب دوباره آناکوندا در اینجا پرسیده ام. (با دقت به زمان پرسش و جواب ها، سرعت عمل بالای این مکانیزم قابل مشاهده می باشد.):

بروزرسانی:

برای حذف CONA از روی سیستم عامل لینوکس ای حود میتوانید از دستورات زیر استفاده کنید (لینک مرجع):

conda install anaconda-clean # install the package anaconda clean
anaconda-clean --yes # clean all anaconda related files and directories
rm -rf ~/anaconda3 # removes the entire anaconda directory

rm -rf ~/.anaconda_backup

با تشکر و آروزی سلامتی و شادی