hadoop题目(一)

摘要:
1、 简要描述如何安装和配置开源hadoop。只需描述并列出完整的步骤。

一、简要描述如何安装配置一个开源hadoop,只描述即可,列出完整步骤。

  答:①创建一个用户和用户组,用来管理hadoop项目;

     ②修改确定IP地址:vim /etc/sysconfig/network-scripts/ifcfg-eth0

      ③修改主机名:vim /etc/sysconfig/network

      ④修改host主机名和IP地址映射:vim /etc/hosts

    ⑤查看和关闭防火墙:service iptables status    关闭防火墙: service iptables stop

    ⑥安装ssh并配置免密码登录:ssh-keygen -t rsa 执行完这个命令后,会自动生成两个文件id_rsa(私钥)、id_rsa.pub(公钥),将公钥拷贝到要免登陆的机器上:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    ⑦上传并安装jdk,修改~/.bashrc文件,配置Java环境变量

    ⑧安装hadoop:tar -zxvf hadoop....tar.gz

    ⑨配置conf文件:

    对于hadoop1.* 版本(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml)

    对于hadoop2.* 版本(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,salves文件)

    ⑩安装配置zookeeper集群

    ⑪格式namenode,对于hadoop1.*版本:hadoop namenode -format;对于hadoop2.* 版本:hdfs namenode -format

二、正常工作的hadoop集群中hadoop都分别需要启动哪些进程,它们的作用分别是什么?

    hadoop2.*版本:会启动NameNode、DFSZKFailoverController,ResourceManager,DataNode、NodeManager、JournalNode

免责声明:文章转载自《hadoop题目(一)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Dropzone.js实现文件拖拽上传Api网关Kong集成Consul做服务发现及在Asp.Net Core中的使用下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

HTTP、MQTT、Websocket、WebService区别

相同点: HTTP、MQTT、Websocket均为OSI 7层模型的【应用层协议】注意.WebService并非通信协议,而是一种远程接口调用(RPC)的框架技术。 不同点: MQTT MQTT协议是为大量计算能力有限,且工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议,它具有以下主要的几项特性: 1,使用发布/订阅消息模式,提供一对多的...

liquibase之快速入门

第一步:   创建一个Changelog File:  这个database  Changelog file列举了数据库中所有的改变情况,该文件是以xml为基础的,下面是一个空的xml文件: 1 <?xml version="1.0" encoding="UTF-8"?> 2 3 <databaseChangeLog 4 xm...

Android 性能优化:使用 Lint 优化代码、去除多余资源

http://blog.csdn.net/u011240877/article/details/54141714 *本篇文章已授权微信公众号 guolin_blog (郭霖)独家发布 读完本文你将了解到: 前言 什么是 Lint Lint 工作方式简单介绍 从命令行运行 Lint Android Studio 中使用 Lint 团队中建立代码规范利器提...

WinForm中使用DXperience控件中XtraForm,如何实现换肤

在DevExpress.XtraEditors.XtraForm中,窗体的样式和皮肤有UseDefaultLookAndFeel属性。设置为false,就可以直接再属性里面修改样式和皮肤了。如果设置为true,可以再里面放控件defaultLookAndFeel,设置defaultLookAndFeel的样式和皮肤,XtraForm窗体的样式和皮肤就可以随...

Hadoop Sentry 学习

什么是Sentry?          Sentry 是Cloudera 公司发布的一个Hadoop开源组件,它提供细粒度基于角色的安全控制 Sentry下的数据访问和授权         通过引进Sentry,Hadoop目前可在以下方面满足企业和政府用户的RBAC(role-based acess control)需求: 安全授权:Sentry可以控制...

使用hive访问elasticsearch的数据

使用hive访问elasticsearch的数据 1.配置 将elasticsearch-hadoop-2.1.1.jar拷贝到hive/lib hive -hiveconf hive.aux.jars.path=/usr/local/hive-1.2.1/lib/elasticsearch-hadoop-2.1.1.jar 或者配置: hive-s...