【大数据】Hadoop单机安装配置

摘要:
--用来指定Hadoop运行时产生文件的存放目录--˃hadoop.tmp.dir/itcast/hadoop-2.2.0/tmp第三个:hdfs-site.xmldfs.replication1第四个:mapred-site.xml˂!
1.解压缩hadoop-2.7.6.tar.gz到/home/hadoop/Soft目录中
【大数据】Hadoop单机安装配置第1张
2.创建软链接,方便hadoop升级
ln -s/home/hadoop/Soft/hadoop-2.7.6 /usr/local/soft/hadoop
【大数据】Hadoop单机安装配置第2张

根据软链接路劲,修改/etc/profile

export JAVA_HOME=/usr/local/soft/java
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/soft/zookeeper/bin:/usr/local/soft/hbase/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

使用vi /etc/profile编辑

使用source /etc/profile更新环境变量

【大数据】Hadoop单机安装配置第3张

【大数据】Hadoop单机安装配置第4张

3.配置hadoop伪分布式(要修改hadoop安装目录中的etc/hadoop下的5个文件
【大数据】Hadoop单机安装配置第5张
第一个:hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/local/soft/java
【大数据】Hadoop单机安装配置第6张
第二个:core-site.xml
<configuration>
<!-- 用来指定hdfs的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://itcast01:9000</value>
</property>
<!-- 用来指定Hadoop运行时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/itcast/hadoop-2.2.0/tmp</value>
</property>
</configuration>
【大数据】Hadoop单机安装配置第7张
第三个:hdfs-site.xml
<configuration>
<!-- 指定HDFS保存数据副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
【大数据】Hadoop单机安装配置第8张
第四个:mapred-site.xml (需要从此文件复制mapred-site.xml.template)
<configuration>
<!-- 告诉hadoop以后MR运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
【大数据】Hadoop单机安装配置第9张
第五个:yarn-site.xml
<configuration>
<!-- NodeManager获取数据的方式是shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的老大(resourcemanager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>itcast01</value>
</property>
</configuration>
【大数据】Hadoop单机安装配置第10张
4..初始化HDFS
#hadoop namenode -format(过时了)
hdfs namenode -format
【大数据】Hadoop单机安装配置第11张
5.启动文HDFS和YARN
./start-all.sh(过时了)This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [it]
【大数据】Hadoop单机安装配置第12张
#有个小问题(需要多次输入密码)
接下来,使用jps查看进程情况
jps(jps 在Linux/unix平台上简单察看当前java进程的一些简单情况),如果有以下进程则表示测试通过
Jps (java进程)
SecondaryNameNode (相当于NameNode的助理)
DataNode (hdfs部门的小弟,负责存放数据)
NameNode (hdfs部门的老大)
ResourceManager (yarn部门的老大,yarn负责资源管理)
NodeManager (yarn部门的小弟,可以一个,集群的话会有很多)
【大数据】Hadoop单机安装配置第13张
另外,我们也可以在windows平台下,使用浏览器进行查看,是否搭建成功
http://192.168.43.35:50070
http://192.168.43.35:8088
【大数据】Hadoop单机安装配置第14张

【大数据】Hadoop单机安装配置第15张

免责声明:文章转载自《【大数据】Hadoop单机安装配置》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇linux安装mysql5.6机器学习算法与Python实践之(七)逻辑回归(Logistic Regression)下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Hadoop学习之路(八)在eclispe上搭建Hadoop开发环境

一、添加插件 将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中 二、在Windows上安装Hadoop2.7.5 版本最好与Linux集群中的hadoop版本保持一致 1、将hadoop-2.7.5-centos-6.7.tar.gz解压到Windows上的C盘software目录中 2、配置h...

【转载】Apache Spark Jobs 性能调优(二)

调试资源分配Spark 的用户邮件邮件列表中经常会出现 “我有一个500个节点的集群,为什么但是我的应用一次只有两个 task 在执行”,鉴于 Spark 控制资源使用的参数的数量,这些问题不应该出现。但是在本章中,你将学会压榨出你集群的每一分资源。推荐的配置将根据不同的集群管理系统(YARN、Mesos、Spark Standalone)而有所不同,我们...

【基础组件18】Apache Druid 0.14入门(一)简介、集群部署、使用kafka 构建实时数据摄取

参考链接: https://www.cnblogs.com/momoyan/p/9614635.html https://blog.csdn.net/weixin_38441544/article/details/82853651 http://www.zhyea.com/2018/07/12/druid-historical-broker-boot-fa...

AMBARI部署HADOOP集群(4)

通过 Ambari 部署 hadoop 集群1.打开http://192.168.242.181:8080 登陆的用户名/密码是 : admin/admin 2.点击 “LAUNCH INSTALL WIZARD”,开始创建一个集群 3.为集群取一个名字 4.前面我们建了本地的资源库,这里选择 “Use Local Repository”。删除其它的O...

大数据测试总结

前言        随着各个国家使用大数据应用程序或应用大数据技术场景的数量呈指数增长,相应的,对于测试大数据应用时所需的知识与大数据测试工程师的需求也在同步增加。医疗、能源、通信、零售业、金融、体育等各行业都可以从其数据的采集、传输、存储、分析等各个环节产生巨大的经济价值,马爸爸认为,未来的时代将不是IT时代,而是DT的时代,即Data Technolo...

Hive 接口介绍(Web UI/JDBC)

Hive 接口介绍(Web UI/JDBC) 实验简介 本次实验学习 Hive 的两种接口:Web UI 以及 JDBC。 一、实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: XfceTerminal:...