MR执行环境有两种

摘要:
2) 。它是通过使用命令在服务器上直接调用的。执行过程也在服务器上。a、 打包MR程序并将其传输到服务器。b、 通过hadoopjarjar路径类的完全限定名

本地测试环境(windows):

在windows的hadoop目录bin目录有一个winutils.exe
1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
4、MR调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://node7:8020");
config.set("yarn.resourcemanager.hostname", "node7");

服务器环境:

1)在本地直接调用,执行过程在服务器上(真正企业运行环境)

a、把MR程序打包(jar),直接放到本地
b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
c、增加一个属性:config.set("mapred.jar", "C:\Users\Administrator\Desktop\wc.jar");
d、hadoop配置文件hdfs-site.xml、 mapred-site.xml、 yarn-site.xml、 core.site-xml 放到src目录下
e、本地执行main方法调用MR。


2)、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
a、把MR程序打包(jar),传送到服务器上
b、通过: hadoop jar jar路径 类的全限定名

免责声明:文章转载自《MR执行环境有两种》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇C#集合与泛型集合C++ 实现的netstat -an 的功能<转>-目的为获取rtmp推流地址如果是域名的话查看1935的ip下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

jupyter之配置自己喜欢的python环境

之前安装anaconda,会自动安装jupyer笔记本,但是本人从来没有用过,近期查看github上的一些教程时,发现很多文件都是.ipynb为后缀的jupyter文件,于是自己准备琢磨一下把环境换成已有的py环境(我自己设置的python环境中有一些之前安好的包),毕竟jupyer的界面比ipython啥的要好看很多,也方便修改和可视化。 一、查看jup...

App自动化测试

1.App自动化测试的技术体系 2.Android SDK环境搭建与常用命令 Anddroid自动化测试前提条件是系统中有JDK环境,并且已经安装好Android SDK Tools。此外,通常情况下,都是基于模拟器的自动化测试(除非做兼容性测试使用真机环境),所以还需要配置或者安装安卓模拟器,这里不推荐使用Android Studio自带的模拟器,因为...

luffy(一)

一.pip安装源 介绍 """1、采用国内源,加速下载模块的速度2、常用pip源: -- 豆瓣:https://pypi.douban.com/simple -- 阿里:https://mirrors.aliyun.com/pypi/simple3、加速安装的命令: -- >: pip install -i https://pypi....

Android移动APP开发笔记——最新版Cordova 5.3.1(PhoneGap)搭建开发环境

引言 简单介绍一下Cordova的来历,Cordova的前身叫PhoneGap,自被Adobe收购后交由Apache管理,并将其核心功能开源改名为Cordova。它能让你使用HTML5轻松调用本地API接口和发布应用到商店的应用开发平台。有低成本,低开发周期,轻量化等优点。它统一封装了Andriod,IOS,WindowsPhone,Symbian等几大移...

Mac安装protobuf

本次采用编译安装 1.下载指定版本安装包 https://github.com/protocolbuffers/protobuf/releases/tag/v3.5.0   下载地址 2.下载下来后解压压缩包,并进入目录  tar -xzvf protobuf-cpp-3.15.6.tar.gz    cd protobuf-cpp-3.15.6 3.设置...

Ubuntu18.04+CUDA+CUDNN+Pytorch环境配置

Ubuntu18.04+CUDA+CUDNN+Pytorch环境配置 CUDA 打开nvidia-smi查看当前显卡驱动版本号,根据版本号下载对应的CUDA CUDA官方下载链接为 https://developer.nvidia.com/cuda-toolkit-archive 直接wget下载即可 利用bash打开安装文件进行安装 其中在安装过程中...