思享工具箱

VMware虚拟机搭建Spark集群

摘要：
目录1.构建方法2.准备3.系统环境配置4.软件安装和配置a.软件下载和安装b.Hadoop配置c.Spark配置5.虚拟机克隆6.启动群集7.逐步体验1.在虚拟机上构建群集通常有两种方法。1.与真实机器上的部署类似，首先您需要授权密钥，以便每台机器可以在没有密码的情况下相互访问。然后，您可以在主节点上配置每个软件，并将其分发到每个从属节点。
目录

一、搭建方法

在虚拟机上搭建集群的方法通常有两种
1.类似于真实的机器上部署，首先要进行密钥授权使各台机器之间能够免密码相互访问，然后在主节点上将各个软件配置好，分发各个从节点。
2.采用虚拟机克隆的方式，先进行软件的配置，然后将master的公钥授权自己，这样克隆出来的多个虚拟机之间都能够免密码登录
本文采用虚拟机克隆的方式创建Spark集群，其他的方式也是与这种方式类似

二、准备

物理机是win10操作系统，首先需要VMware软件，拟搭建具有三个节点的Spark集群，三台主机名名别是master, slave1, slave2
所需要使用的软件及版本

  • Ubuntu 14.04
  • jdk-8u221 (强烈建议不要使用最新版jdk, 使用jdk8)
  • Scala 2.13.1
  • Hadoop 3.2.1
  • spark-2.4.4-bin-hadoop2.7.tgz

三、系统环境配置

这部分也是准备工作，包括
1.新建名为hadoop的用户，并创建密码，添加管理员权限
2.密钥授权，可以让集群的所有节点相互免密访问
3.修改主机名
4.主机名映射为IP，因为在软件的配置过程当中，通常会使用主机名，而不是直接使用IP，所以采用主机名和IP绑定的方式能够更方便的进行修改以适应各种环境。

操作步骤
1.新建用户，命令如下：

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

完成之后，需要注销当前用户，使用hadoop用户登录
2.密钥授权，首先要安装openssh-server，然后生成公钥，将公钥添加进授权认证文件

sudo apt-get install openssh-server
cd ~/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys

3.修改主机名

sudo vim /etc/hostname

将主机名修改为master，之后克隆的主机名分别改为slave1，slave2
4.主机名与ip绑定，当然这一步在最后做，因为现在还没有克隆虚拟机，只有一台master机器。
首先通过ifconfig命令查看当前IP，然后编辑hosts文件

sudo vim /etc/hosts

我添加的内容如下

# Spark group
192.168.40.128 master
192.168.40.129 slave1
192.168.40.130 slave2

四、软件安装与配置

a. 软件下载安装

Java下载安装
在 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 中下载JDK8，下载完解压到/home/hadoop/Spark目录下并重命名，这个目录就作为整个Spark集群的工作空间
命令如下：

tar -zxf ~/Downloads/jdk-8u221-linux-x64.tar.gz -C ~/Spark
cd ~/Spark
mv jdk1.8.0_221 JDK

然后配置环境变量，命令为sudo vim /etc/profile，添加内容如下

export WORK_SPACE=/home/hadoop/Spark/
export JAVA_HOME=$WORK_SPACE/JDK/
export JRE_HOME=$WORK_SPACE/JDK/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

Scala, Hadoop, Spark下载安装的方式相同，完成之后结果如下

hadoop@master:~/Downloads$ ls ~/Spark
hadoop  JDK  scala  spark

/etc/profile的内容如下

export WORK_SPACE=/home/hadoop/Spark/
export JAVA_HOME=$WORK_SPACE/JDK/
export JRE_HOME=$WORK_SPACE/JDK/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export SCALA_HOME=$WORK_SPACE/scala
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/home/hadoop/Spark/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

配置完之后可以通过java -version命令和 scala -version命令验证是否配置正确。

b. Hadoop配置

这部分配置需要配置7个文件，在 home/hadoop/Spark/hadoop/etc/hadoop/ 目录下，分别是
hadoop-env.sh //BASH脚本，配置需要的环境变量，以运行Hadoop，这里配置Java路径
yarn-env.sh //BASH脚本，配置需要的环境变量，以运行YARN，这里配置Java路径
workers //配置从节点 可以是主机名或者IP地址 这个文件在Hadoop旧版本文件名可能为slaves，新版本改为了workers
core-site.xml //Hadoop Core的配置项，例如HDFS、MapReduce和YARN常用的I/O设置等
hdfs-site.xml //Hadoop守护进程的配置项，包括namenode、辅助namenode和datanode等
maprd-site.xml //MapReduce守护进程的配置项，包括作业历史服务器
yarn-site.xml //YARN守护进程的配置项，包括资源管理器、web应用代理服务器和节点管理器

详细配置如下
1.hadoop-env.sh

export JAVA_HOME=/home/hadoop/Spark/JDK

2.yatn-env.sh

export JAVA_HOME=/home/hadoop/Spark/JDK

3.workers

master
slave1
slave2

4.core-site.xml

<configuration>
	<property>
        <name>fs.defaultFS</name>
        <!-- HDFS的名称节点的地址 主机是NameNode的主机名称或IP地址，端口是NameNode监听RPC的端口，如果没有指定，默认是8020 -->
        <value>hdfs://master:9000/</value>
    </property>
    <property>
		<name>hadoop.tmp.dir</name>
        <!-- 临时目录 -->
		<value>file:/home/hadoop/Spark/hadoop/tmp</value>
    </property>
</configuration>

5.hdfs-site.xml
首先要新建name和data目录，命令为

$cd ~/Spark/hadoop
$mkdir dfs
$mkdir dfs/name
$mkdir dfs/data

然后配置xml文件

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <!-- 第二名称节点地址 -->
        <value>master:9001</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <!-- NameNode存储永久性的元数据的目录列表 -->
        <value>file:/home/hadoop/Spark/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <!-- data存储永久性的元数据block块的目录列表 -->
        <value>file:/home/hadoop/Spark/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <!-- 总结点数量 -->
        <value>3</value>
    </property>
    <property>
		<name>dfs.webhdfs.enabled</name>
		<!-- 开启hdfs的web访问接口。默认端口是50070-->
		<value>true</value>
	</property>
</configuration>

6.maprd-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <!-- 支持MapReduce运行的框架的名称 -->
        <value>yarn</value>
    </property>
</configuration>

7.yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <!-- 节点管理器运行的附加服务列表 默认情况下，不指定附加服务-->默认情况下，不指定附加服务
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <!-- 运行资源管理器的PRC服务器的主机名和端口。-->
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
		<!--yarn总管理器调度程序的IPC通讯地址-->
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <!--yarn总管理器的IPC通讯地址-->
        <value>master:8035</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <!--yarn总管理器的IPC管理地址-->
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <!--yarn总管理器的web http通讯地址-->
        <value>master:8088</value>
    </property>
</configuration>

c. Spark配置

Spark只需要配置两个文件分别是spark-env.sh和slaves，配置目录在安装目录的conf文件夹内，为~/Spark/spark/conf
1.spark-env.sh

export JAVA_HOME=/home/hadoop/Spark/JDK
export SCALA_HOME=/home/hadoop/Spark/scala
export HADOOP_HOME=/home/hadoop/Spark/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/home/hadoop/Spark/spark
HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#SPARK_LOCAL_IP为当前节点的IP，当克隆完虚拟机后需要在其他机器上做修改
SPARK_LOCAL_IP=master
YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_DRIVER_MEMORY=512M
SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=512M
SPARK_WORKER_PORT=7077

2.slaves

slave1
slave2

完成以上配置后，大部分工作已经完成，接下来只需要配置完Spark之后，就可以将这台虚拟机克隆出两个从节点，配置hosts文件，就可以启动了。

五、虚拟机克隆

将虚拟机克隆之后，还需要做件事
1.修改克隆出的节点的主机名分别为slave1，slave2，命令为sudo vim /etc/hostname
2.通过ifconfig查看每台机器的IP，将主机名和IP绑定，命令为sudo vim /etc/hosts
3.修改Spark配置文件spark-env.sh的SPARK_LOCAL_IP为当前机器的主机名

六、启动集群

以上步骤全部完成之后就可以启动集群了，依次启动HDFS，YARN，Spark
1.启动HDFS, 首先要格式化名称节点，命令为sbin/hdfs namenode -format,然后启动hdfs，启动命令为 ~/Spark/hadoop/sbin/start-dfs.sh，启动完成后，使用jps查看启动的进程
在master上应该看到4个进程, 过程如下

hadoop@master:~$ ~/Spark/hadoop/sbin/start-dfs.sh
Starting namenodes on [master]
Starting datanodes
Starting secondary namenodes [master]
hadoop@master:~$ jps
3858 SecondaryNameNode
3638 DataNode
4008 Jps
3484 NameNode

在从节点上

hadoop@slave1:~$ jps
3099 Jps
2991 DataNode

2.启动YARN框架，启动命令为~/Spark/hadoop/sbin/start-yarn.sh
在master上应该看到6个进程，过程如下

hadoop@master:~$ ~/Spark/hadoop/sbin/start-yarn.sh
Starting resourcemanager
Starting nodemanagers
hadoop@master:~$ jps
4145 ResourceManager
3858 SecondaryNameNode
4308 NodeManager
3638 DataNode
4651 Jps
3484 NameNode

在从节点上

hadoop@slave1:~$ jps
3191 NodeManager
3304 Jps
2991 DataNode

3.启动Spark集群，启动命令为~/Spark/spark/sbin/start-all.sh
在master上过程如下

hadoop@master:~$ ~/Spark/spark/sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/hadoop/Spark/spark/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-master.out
slave1: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/Spark/spark/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-slave1.out
slave2: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/Spark/spark/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-slave2.out
hadoop@master:~$ jps
4145 ResourceManager
3858 SecondaryNameNode
4308 NodeManager
3638 DataNode
3484 NameNode
4749 Jps
4685 Master

从节点进程如下

hadoop@slave1:~$ jps
3191 NodeManager
3417 Jps
3371 Worker
2991 DataNode

至此，Spark集群已经搭建完成。

七、踩坑经历

1.先说最大的坑，JDK版本问题
我最初是从oracle官网下载的最新的JDK，也是就JDK13，启动HDFS没有问题，但是在启动YARN时却发生了问题，如下图所示，启动脚本没有报错，但是resourcemanager和nodemanager并没有被启动。
在这里插入图片描述
最开始没有报错，于是我期初把这个问题忽视了，继续启动Spark，当然是怎么也启动不了，发生如下错误
在这里插入图片描述
于是百度查找各种解决办法无果。因为YARN没有启动，而Spark是运行在YARN之上的，所以当然无法启动了
后来才想通是YARN的问题，于是查看了logs下的日志，发现了如下图的问题
在这里插入图片描述
无法调用javax.activation.DataSource, 然后继续百度，据说了JDK9及以上的版本禁用了javax，解决办法是卸载新版JDK，重新安装JDK8，之后，终于顺利启动了，所以，一定要使用JDK8。

2.启动DFS后，没有datanode
这个问题是由于在第一次格式化之后，启动并使用了hadoop，后来又重新执行了格式化命令，这时namenode的clusterID会重新生成，而datanode的clusterID 保持不变，所以会导致datanode和namenode的clusterID不一致的问题，解决问题的办法之一是更改dfs/data/current/VERSION中的ID与dfs/name/current/VERSION中的ID保持一致，当然还有一种解决办法是删除tmp、dfs/name、dfs/data三个目录，然后重新建这三个目录，然后格式化HDFS，再重新启动。(当然使用这种方法一定要确认数据是否备份，否则自己手贱删数据最后想剁手)

坑就写这些吧，还有一些小坑简单说一下，在配置xml文件时，标签内容的错误并不会报错，所以一旦你自己手敲的过程，敲错了一个字母，那么很难检查出来，所以建议，在有别人已经写好的优秀的博客的情况下不要自己手敲，能复制粘贴就复制粘贴。
另外一个经验，出现错误不要第一时间百度，首先看日志文件，分析出错的具体原因，因为不同的原因可能导致同一个错误，所以百度出来的解决办法可能只适用别人，并不适合你遇到的问题。

标签：#虚拟机#spark#hadoop#hadoop集群搭建 | 浏览：204 | 发布日期：

免责声明：文章转载自《VMware虚拟机搭建Spark集群》仅用于学习参考。如对内容有疑问，请及时联系本站处理。

上篇Kafka集群搭建及安全机制手册达梦管理分区表和分区索引下篇

宿迁高防，2C2G15M，22元/月；香港BGP，2C5G5M，25元/月 雨云优惠码：MjYwNzM=

相关文章

VMware VCSA 6.7基本功能

一、VMware Tools基本特性 二、快照功能 三、Template技术介绍 1、用Template技术批量部署虚拟机，先创建自定义规范 2、部署虚拟机 四、创建虚拟机参数说明 五、虚拟机内存技术 博客地址：https://blog.51cto.com/delxu/288682 六、关于虚拟机CPU 七、vCenter的用户角色 八...

Hadoop的管理目录

HDFS文件结构 1、NameNode的文件结构,NameNode会创建VERSION、edits、fsimage、fstime文件目录。其中dfs.name.dir属性是一个目录列表，是每个目录的镜像文件。VERSION文件是JAVA属性文件，其中包含运行HDFS的版本信息。包含内容: 　　其中,namespaceID是文件系统的唯一标识符，当文件系统...

在Windows中玩转Docker Toolbox(镜像加速)

http://www.cnblogs.com/studyzy/p/6113221.html 最近在研究虚拟化，容器和大数据，所以从Docker入手，下面介绍一下在Windows下怎么玩转Docker。 Docker本身在Windows下有两个软件，一个就是Docker，另一个是Docker Toolbox。这里我选择的是Docker Toolbox，为什...

CentOS 6.9下KVM虚拟机网络Bridge（网桥）方式与NAT方式详解（转）

摘要：KVM虚拟机网络配置的两种方式：NAT方式和Bridge方式。Bridge方式的配置原理和步骤。Bridge方式适用于服务器主机的虚拟化。NAT方式适用于桌面主机的虚拟化。 NAT的网络结构图： Bridge的网络结构见图： 一、Bridge方式 问题 客户机安装完成后，需要为其设置网络接口，以便和主机网络，客户机之间的网络通信。事实上，如果要在安...

Ubuntu 虚拟机安装qemu

Ubuntu 虚拟机安装qemu 最近几天一直开会有点小累 松懈了一下 首先最开始利用 wget https://download.qemu.org/qemu-6.2.0.tar.xz tar xvJf qemu-6.2.0.tar.xz cd qemu-6.2.0 ./configure make 这种方法去装遇到了问题 在make的时候提示缺少对应模...

Spark官方文档翻译（一）~Overview

Spark官方文档翻译，有问题请及时指正，谢谢。 Overview页 http://spark.apache.org/docs/latest/index.html Spark概述 Apache Spark 是一个快速的，分布式集群计算系统.它提供了高等级的针对 Java, Scala, Python and R的API接口, 他还是一个优秀的图处理引...

最新文章

随机推荐

思享工具箱导航