摘要：
--指定hadoop运行时--˃hadoop生成的文件的存储路径。tmp。dir/opt/software/hadop/tmp/hadop--${user.name}4.3修改hdfs站点。xmldfs。name dir/opt/software/hadop/hdfs/namedfs上数据块的物理存储位置。数据dir/opt/software/hadop/hdfs/data˂！
1. 安装 JDK
tar -zvxf jdk-8u201-linux-x64.tar.gz -C /opt/software
cd /opt/software
mv jdk1.8.0_201 jdk
vim /etc/profile
export JAVA_HOME=/opt/software/jdk
export PATH=$JAVA_HOME/bin:$PATH
# 退出
source /etc/profile
java -version
2. 配置本地免登录
ssh-keygen -t rsa
# 一路回车
ssh-copy-id localhost
# 将密钥复制到目标主机
3. 关闭防火墙
systemctl stop firewalld.service # 临时关闭
systemctl disable firewalld.service # 开机不启动
4. 解压 hadoop
4.1 修改 hadoop-env.sh
export JAVA_HOME=/opt/software/jdk
4.2 修改 core-site.xml
<configuration>
<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.183.128:8082</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/software/hadoop/tmp/hadoop-${user.name}</value>
</property>
</configuration>
4.3 修改 hdfs-site.xml
<configuration>
<!-- namenode上存储hdfs名字空间元数据 -->
<property>
<name>dfs.name.dir</name>
<value>/opt/software/hadoop/hdfs/name</value>
</property>
<!-- datanode上数据块的物理存储位置 -->
<property>
<name>dfs.data.dir</name>
<value>/opt/software/hadoop/hdfs/data</value>
</property>
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.4 修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.200.128:8021</value>
</property>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.5 修改 yarn-site.xml
<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5. 启动
移动到 /opt/software/hadoop
5.1 格式化文件系统
./bin/hdfs namenode -format
5.2 启动存储
./sbin/start-dfs.sh
- 使用 http://192.168.200.128:50070 查看hdfs存储信息
- 使用jps启动进程
5.3 启动yarn
./sbin/start-yarn.sh
使用 http://192.168.200.128:8088 查看 yarn 的存储信息