4.Spark-3.1.2搭建

唐-import-某人 2022-01-07 22:06:04 阅读数:692

4.spark-3.1.2 spark 3.1.2 搭建

一.下載或放置壓縮文件

二.解壓文件

tar -zxf 被解壓文件路徑 -C 解壓文件放置路徑

三.配置文件

1.profile

vim /etc/profile
  • 末尾添加
export SPARK_HOME=/opt/apps/spark-3.1.2-bin-hadoop2.7
export PATH=$PATH:${SPARK_HOME}/bin
  • 按ESC鍵輸入:wq保存退出

  • 更新profile

source /etc/profile

2.spark-env.sh配置

  • 進入目錄spark/conf
cd /opt/apps/spark-3.1.2-bin-hadoop2.7/conf
  • 複制spark-env.sh.template 名命為spark-env.sh進行配置
cp -i spark-env.sh.template spark-env.sh
  • 進入spark-env.sh
vim spark-env.sh
  • 末尾添加代碼
export JAVA_HOME=/opt/apps/jdk1.8.0_221
export HADOOP_CONF_DIR=/opt/apps/hadoop-2.7.7
export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=512m
export SPARK_WORKER_CORES=1
export SPARK_EXECUTOR_MEMORY=512m
export SPARK_EXECUTOR_CORES=1
export SPARK_WORKER_TNSTANCES=1

  • 按ESC鍵輸入:wq保存退出

(2)函數解析

函數 = 對應參數
export JAVA_HOME = jdk目錄
export HADOOP_CONF_DIR = Hadoop目錄
export SPARK_MASTER_IP = 主節點名
export SPARK _MASTER_PORT = 主節點端口號
export SPARK_WORKER_MEMORY = 工作節點給Executors的內存
export SPARK_WORKER_CORES = 節點核數
export SPARK_EXECUTOR_MEMORY = 每個Executor的內存
export SPARK_EXECUTOR_CORES = Execytor的核數
export SPARK_WORKER_TNSTANCES = 節點的工作進程數

3.配置slave

  • vim 創建slaves在本目錄下
vim slaves
  • 末尾添加內容
hadoop1
hadoop2
Hadoop3

按ESC鍵輸入:wq保存退出

代碼解析

代碼 意義
hadoop1 主節點名(可用主節點IP)
hadoop2 從節點名(可用從節點IP)
Hadoop3 從節點名(可用從節點IP)

4.配置spark-defaults.conf

  • 複制spark-defaults.conf.template名為spark-defaults.conf保存到當前目錄
cp -i spark-defaults.conf.template spark-defaults.conf
  • 進入spark-defaults.conf
vim spark-defaults.conf
  • 在 #Example:下面覆蓋為以下內容
spark.master spark://hadoop1:7077
spark.eventLog.enabled true
spark.eventLog.dir dfs://hadoop1:8020/spark-logs
spark.history.fs.loDirectory hdfs://hadoop1:8020/spark-logs
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 5g
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

注:#是要保留的

  • 按ESC鍵輸入:wq保存退出

參數解析

參數 解釋 默認
spark.master 主節點所在機器端口 spark://
spark.eventLog.enabled 是否打開日志文件 flase (不打開)
spark.eventLog.dir 任務日志存放比特置,(配置HDFS路徑)
spark.history.fs.logDirectory 存放曆史應用日志文件的目錄

拷貝spark

scp -r /opt/apps/spark-3.1.2-bin-hadoop2.7/ hadoop2:/opt/apps
scp -r /opt/apps/spark-3.1.2-bin-hadoop2.7/ hadoop3:/opt/apps

啟動集群

  • 先啟動Hadoop
  • 進入spark的sbin目錄
cd /opt/apps/spark-2.4.7-bin-hadoop2.7/sbin
  • 輸入
./start-all.sh

驗證

啟動Spark

spark-shell

  • 輸入:quit退出

集群啟動

1.啟動Hadoop集群

start-all.sh

2.啟動Spark集群

cd /opt/apps/spark-3.1.2-bin-hadoop2.7/sbin
./start-all.sh

網頁輸入

  • url
http://hadoop1:8080/

版权声明:本文为[唐-import-某人]所创,转载请带上原文链接,感谢。 https://gsmany.com/2022/01/202201072206036615.html