برای نصب اسپارک در اوبونتو 18.04 نخست نیازبه نصب جاوا دارید.
آپدیت کردن پکیجها
sudo apt update
نصب جاوا
برای نصب جاوا 8 بر روی اوبونتو 18.04
sudo apt install default-jdk
sudo apt update
sudo add-apt-repository ppa:webupd8team/java
sudo apt update
sudo apt install oracle-java8-installer
دانلود آخرین نسخه آپاچی اسپارک :
https://spark.apache.org/downloads.html
با دستور tar xvf فایل رو اکسترکت کنید
tar xvf spark-2.4.2-bin-hadoop2.7.tgz
پوشه اسپارک ساخته شده را منتقل کنید:
sudo mv spark-2.4.2-bin-hadoop2.7/ /opt/spark
تنظیم محیط اسپارک:
Nano ~/.bashrc
دستورات زیر را در فایل اضافه کنید:
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
تغییرات را فعال کتید:
source ~/.bashrc
راه اندازی یک سرور standalone:
start-master.sh
آدرس webUI:
Localhost:8080
راه اندازی Spark Worker Process
$ start-slave.sh spark://ubuntu:7077
استفاده از Pyspark:
/opt/spark/bin/pyspark
