محمدحسین گیوکاشی
محمدحسین گیوکاشی
خواندن ۲ دقیقه·۳ سال پیش

دانلود مستقیم از گوگل درایو در نوت بوک kaggle

بعضی از مواقع دیتاست و داده های مورد نیاز برای اموزش شبکه در گوگل درایو قرار دارد و بخاطر مشکلات تحریم در کگل سرعت اپلود حجم بالای داده ها خیلی پایین هست این راهکار با سرعت بالایی دانلود داده ها را توسط خود کگل انجام داده و می توان از انها استفاده کرد همچنین بخاطر سرعت خوب کگل برای اموزش شبکه و دسترسی به جی پی یو می توان شبکه ها را به جای ترین در گوگل کولب در کگل اموزش داد .

فایل دیتاست را در ابتدا از طریق گوگل درایو به اشتراک گذاشته و لینک را دریافت می کنیم به عنوان نمونه این لینک را در نظر بگیرد

https://drive.google.com/file/d/12K6R3Ja1oqpt4naOPyPToJQtGsIcv/view?usp=sharing

سپس با استفاده از دستور زیر کتابخانه ی مورد نیاز برای دانلود داده از گوگل درایو را در نوت بوک کگل نصب می کنیم

! conda install -y gdown

بعد از نصب کتابخانه به کمک دستور زیر قسمت ایدی در لینک بالا یعنی بعد از /d و قبل از view/ را کپی کرده و در قسمت روبروی ایدی جایگزین می کنیم

!gdown --id 12K6R3Ja1oqpt4naOPyPToJQtGsIcv

با اجرای این دستور در نوب بوک کگل داده ی مورد نظر دانلود شده و در قسمت output قابل دسترس هست

برای ذخیره ی داده های دانلود شده به فرمت zip کد زیر را اجرا کرده و داده ها را به فرمت zip در خروجی می توانیم ذخیره کنیم و از داده های ذخیره شده دیتاستی در کگل ایجاد کنیم

import os

import zipfile

def zipdir(path, ziph):

# ziph is zipfile handle

for root, dirs, files in os.walk(path):

for file in files:

ziph.write(os.path.join(root, file),

os.path.relpath(os.path.join(root, file),

os.path.join(path, '..')))

zipf = zipfile.ZipFile('./dataset.zip', 'w', zipfile.ZIP_DEFLATED)

zipdir('./', zipf)

zipf.close()

کگلgoogle drivekaggledatasetdeep learning
شاید از این پست‌ها خوشتان بیاید