hadoop集群的搭建与配置(2)

摘要:
之后,将以下内容添加到hadoop的hadoop-env.sh文件中,保存并退出,然后我们将配置三个文件,即core-site.xml、hdfs-site.xml和mapred-site.xml。同样,我们还需要在Slave1上配置hadoop,以便设置环境。通过以上四个部分,我们已经设置了所有必需的配置。2) 启动Hadoop并在启动之前关闭集群中所有计算机的防火墙。否则,数据节点将打开并自动关闭。使用以下命令启动start-all.sh。如果完成上述工作后没有问题,我们的Hadoop将正式启动。

对解压过后的文件进行从命名

hadoop集群的搭建与配置(2)第1张

把"/usr/hadoop"读权限分配给hadoop用户(非常重要

hadoop集群的搭建与配置(2)第2张

配置完之后我们要创建一个tmp文件供以后的使用

hadoop集群的搭建与配置(2)第3张

然后对我们的hadoop进行配置文件的配置

vim /etc/profile

hadoop集群的搭建与配置(2)第4张

最下边的两行就是我们的hadoop文件的配置内容

hadoop集群的搭建与配置(2)第5张

重新启动配置文件。

之后要配置hadoop的hadoop-env.sh文件

hadoop集群的搭建与配置(2)第6张

添加如下内容、

hadoop集群的搭建与配置(2)第7张

保存退出即可

hadoop集群的搭建与配置(2)第8张

我们接下来要配置core-site.xml、hdfs-site.xml、mapred-site.xml三个文件了。

通过命令

hadoop集群的搭建与配置(2)第9张

对文件进行编辑

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/hadoop/tmp</value>

                <description>A base for other temporary directories.</description>

    </property>

<!-- file system properties -->

    <property>

        <name>fs.default.name</name>

        <value>hdfs://192.168.9.199:9000</value>

    </property>

</configuration>

同样的方法编辑hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

        </property>

<configuration>

注解:因为只有一台Slave1所以配置value为1

编辑mapred-site.xml

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>http://192.168.9.199:9001</value>

    </property>

</configuration>

在我们的Master和Slave1上都要进行master主服务器ip地址的配置

hadoop集群的搭建与配置(2)第10张

hadoop集群的搭建与配置(2)第11张

把我们的master的ip地址写入进去,这里在Master服务器和Slave1上都是要配置的

通过一下方式我们可以查看配置的效果

hadoop集群的搭建与配置(2)第12张

这个时候我们发现配置已经成功了

下面我们还要在我们的主服务器上进行特殊的配置(只有主服务器才进行该配置)

hadoop集群的搭建与配置(2)第13张

hadoop集群的搭建与配置(2)第14张

把我们的Slave1的服务器ip地址写入,有几台从服务器就要写入几次。

可以通过

hadoop集群的搭建与配置(2)第15张

查看我们配置的效果。

同样的道理我们也要在Slave1上进行hadoop的配置,这样才能把环境搭建好,通过以上的四部,进本是所有的需要的配置我们已经搭建完毕了。

(注解中间的配置有些地方是借鉴的博客园里的图片,跟真事的稍微有差别,到时候如果进行hadoop集群的搭建最好是去博客园把他的博客系列简单看看,不然只看我的配置,可能会中间出现不少问题,如果linux基础好的话,上手更快,一般都要花上至少三天的时间来完成两台服务器的搭建的呢)

配置完成之后下面就是要做hadoop的启动了

1)格式化HDFS文件系统

  在"Master.Hadoop"上使用普通用户hadoop进行操作。(备注:只需一次,下次启动不再需要格式化,只需 start-all.sh)

hadoop集群的搭建与配置(2)第16张

这个时候我们的的格式化已经成功了,但是有一个警告,可以在网上查一下简单的配置就解决了。

2)启动hadoop

在启动前关闭集群中所有机器的防火墙,不然会出现datanode开后又自动关闭。

service iptables stop

关闭防火墙。

使用下面的命令进行启动

start-all.sh

hadoop集群的搭建与配置(2)第17张

以上工作做完之后没有问题的话我们的hadoop就算是正式启动成功了。

下面我们可以通过两个命令查看是否成功

第一种方式

hadoop集群的搭建与配置(2)第18张

第二种方式

hadoop集群的搭建与配置(2)第19张

这个时候都看一看出来我们的配置已经成功了。

我们还可以通过访问我们的Master的ip地址在浏览器中查看我们的集群的情况

访问"http:192.168.9.199:50030"

hadoop集群的搭建与配置(2)第20张

访问"http:192.168.9.199:50070"

hadoop集群的搭建与配置(2)第21张

免责声明:文章转载自《hadoop集群的搭建与配置(2)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇[php] 判断当前运行模式Kafka入门学习(一)下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Hadoop Sentry 学习

什么是Sentry?          Sentry 是Cloudera 公司发布的一个Hadoop开源组件,它提供细粒度基于角色的安全控制 Sentry下的数据访问和授权         通过引进Sentry,Hadoop目前可在以下方面满足企业和政府用户的RBAC(role-based acess control)需求: 安全授权:Sentry可以控制...

hadoop安装教程

hadoop安装集合教程 一、伪分布式系统搭建 hadoop-2.7jdk-1.8 jdk安装 配置在环境变量配置/etc/profile $vim /etc/profile #add JAVA_HOME export JAVA_HOME.... 配置免密登录: 在做免密登录的时候需要集群中的所有节点之间互相之间进行免密,同时还需要自身和自身进行免密登录...

Windows环境下安装Hadoop+Hive的使用案例

 正文前先来一波福利推荐: 福利一: 百万年薪架构师视频,该视频可以学到很多东西,是本人花钱买的VIP课程,学习消化了一年,为了支持一下女朋友公众号也方便大家学习,共享给大家。 福利二: 毕业答辩以及工作上各种答辩,平时积累了不少精品PPT,现在共享给大家,大大小小加起来有几千套,总有适合你的一款,很多是网上是下载不到。 获取方式: 微信关注 精品3分钟...

hadoop集群搭建

一、准备工作: 1、环境:CentOS6.4-64bit JDK1.7-64bit 基于虚拟机拷贝4个虚拟机,一个作为Master,另外三个作为Slave,在这拷贝出来的四台虚拟机上分别执行下面的脚本初始化网卡eth0设备: /install/initNetwork.sh 2、配置集群网络 A、Master机器: 1 #配置主机名 2 hostname...

更改hadoop集群yarn的webui中的开始时间和结束时间为本地时间

  yarn集群的webui地址为:http://rm:8088   执行任务后,任务的开始时间和结束时间都是utc时间,查看很不方便。   查找相关资料发现hadoop有补丁包,补丁地址:https://issues.apache.org/jira/browse/YARN-1998   补丁内容为: Index: hadoop-yarn-project/...

Centos7离线部署redis集群

  目录 一、安装redis需要的依赖 二、安装redis 三、部署redis集群 一、安装redis需要的依赖 1、安装GCC   1、检查是否安装gcc     命令: gcc  -v     如果能输出gcc版本信息,,说明安装了gcc。反之需要安装gcc   2、安装gcc     2.1创建目录/usr/local/gccSrc     2.2...