1.16 sqoop options-file参数进行运行任务

摘要:
sqoop的options文件参数可以执行类似hive的-f参数的脚本文件,而不是直接在命令行上执行;脚本文件应遵循某种格式;参考链接:http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html1对于optionsfile参数,使用##准备脚本文件,该文件可以是txt或sql结尾文件##vim/opt/data/sqoopimp

sqoop的options-file参数可以像hive的-f 参数那样,执行一个脚本文件,而不是直接在命令行执行;

其中,此脚本文件要遵循一定的格式;参考链接:http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html

1、options-file参数使用

##准备一个脚本文件,可以是txt、sql结尾文件
##vim /opt/datas/sqoop-import-hdfs.txt
import 
--connect
jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test 
--username
root 
--password
123456 
--table
my_user 
--target-dir
/user/root/sqoop/imp_my_user_option 
--num-mappers
1 



##sqoop执行
[root@hadoop-senior sqoop-1.4.5-cdh5.3.6]# bin/sqoop --options-file /opt/datas/sqoop-import-hdfs.txt



##在hdfs上查看,已经有数据了
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -ls -R /user/root/sqoop/imp_my_user_option
-rw-r--r--   1 root supergroup          0 2019-05-07 14:18 /user/root/sqoop/imp_my_user_option/_SUCCESS
-rw-r--r--   1 root supergroup        128 2019-05-07 14:18 /user/root/sqoop/imp_my_user_option/part-m-00000


#这种方式比较方便,就算出错了,也很容易修改,而且还可以直接把sqoop执行的这条命令放到脚本中执行;
#sqoop-import-hdfs.txt这个脚本文件中,还可以写注释,用#注释;

免责声明:文章转载自《1.16 sqoop options-file参数进行运行任务》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇MSSQL 触发器学习正则表达式下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Linux设置默认的声卡

首先查看自己电脑上的声卡 使用命令行查看 orangepi@orangepi3:~$ ll /proc/asound/ total 0 dr-xr-xr-x 4 root root 0 Dec 23 02:58 ./ dr-xr-xr-x 178 root root 0 Jan 1 1970 ../ dr-xr-xr-x 4 root root...

全志A33屏幕旋转(Android)

0x00 环境说明:所使用的开发板为锐尔威视的插针版A33_Vstar 屏幕是买的第三方的KD050FWFPA011-C009A,其中LCD驱动IC为ILI9806E 0x01 LCD驱动移植:关于LCD驱动程序的编写/移植参考以前的一篇文章:https://www.cnblogs.com/DarkBright/p/10769858.html 大致流程如下...

mysql源码安装

阿里云 windows 版本为 mysql 5.7 之后下载 boost库 () wget https://jaist.dl.sourceforge.net/project/boost/boost/1.61.0/boost_1_61_0.tar.gz 先后尝试编译安装boost_1_64_0.tar.gz 及boost_1_61_0.tar.gz 都在编译...

Centos7下oracle配置(详细)

一、硬件配置 CentOS7@VMware® Workstation 15 Pro,分配资源:CPU:2颗,内存:4GB,硬盘空间:30GB 二、软件准备  linux.x64_11gR2_database_1of2.zip linux.x64_11gR2_database_2of2.zip SecureCRT 三、虚拟机的配置 挂载镜像,配置本地yum源...

青蛙学Linux—sudo和它的配置文件

sudo用于普通用户执行只有超级用户才有权限执行的命令。命令语法如下: sudo [选项] 执行的命令 使用sudo执行命令时,系统会提示用户输入密码,注意,此时输入的密码为当前执行sudo用户的密码,而非root用户的密码。这也是为什么需要sudo命令的原因。使用su命令切换到root时,需要输入的是root用户的密码,这就造成了很大的安全隐患,root...

awk命令

简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。 awk其名称得...