CSV文件在服务器上直接导入hive

摘要:
如何把CSV文件导入hiveCSV文件实例(scuba.csv,文件是逗号分割的):DzDBNW,然后规定主要,男,不要等级管理,blqnIT,学生记者说明1.准备hive建表语句,因为csv文件是逗号分割,所以建表语句需要指定分割符和类型CREATETABLECSV_SCUBA(xxx,xxx)rowformatdelimitedfieldsterminatedby','STOREDASTEXT
如何把CSV文件导入hive
CSV文件实例(scuba.csv,文件是逗号分割的):
DzDBNW,然后规定主要,男,不要等级管理,blqnIT,学生记者说明
1.准备hive建表语句,因为csv文件是逗号分割,所以建表语句需要指定分割符和类型
CREATE TABLE CSV_SCUBA ( xxx,xxx )row format delimited fields terminated by ',' STORED AS TEXTFILE;
2.把csv文件放到hive服务器上
3.再把本地csv文件放到HDFS上 hdfs dfs -put scuba.csv /tmp/scuba.csv
4. 最后使用load命令,把CSV文件load到hive上(在hive命令栏)
load data inpath '/tmp/scuba.csv' into table CSV_SCUBA
5. 最后select c_0 from CSV_SCUBA limit 1; 验证下结果是否正确
6. 因为需要批量数据,最后还需要insert into CSV_SCUBA select * fromCSV_SCUBA;

免责声明:文章转载自《CSV文件在服务器上直接导入hive》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇vue3+ts的PC端自适应布局Oracle行转列的3种方法下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

CDH| Cloudera Manager的安装

一.  cloudera manager的概念 简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。 功能: 1)   管理:对集群进行管理,如添加、删除节点等操作。 2)   监控:监控集群...

aiofiles拆分大文件

import asyncio import aiofiles import time import csv import os async def main(out_path, infile, num=1000000): """ :param out_path: 输出文件路径 :param infile: 输...

cdh5.7权限测试示例

转载请注明出处:http://www.cnblogs.com/xiaodf/ 本文旨在展示CDH基于Kerberos身份认证和基于Sentry的权限控制功能的测试示例。 1. 准备测试数据 cat /tmp/events.csv 10.1.2.3,US,android,createNote 10.200.88.99,FR,windows,updateN...

MongoDB/备份

mongodump: 在MongoDB中我们使用mongodump命令来备份MongoDB数据。该命令可以导出所有数据到指定目录中。./bin/mongodump -h dbhost -d dbname -o yourdirectory./bin/mongodump --host mongodb.example.net --port 27017 --d...

如何将Excel导入到Mysql数据库中

1.在mysql中建一张和Excel结构一样的表,或者修改excel信息,将excel的结构与mysql中table保持一致,包括字段名称。 2.利用mysql客户端工具navicat进行导入。 步骤: 1.在数据库中找到表,右键,点击“导入导出”  2.根据你要导入的文件类型,选择相关选项,然后下一步 3.选择excel文件存放位置,然后,选择里边的...

Hive实现WordCount详解

一、WordCount原理 初学MapReduce编程,WordCount作为入门经典,类似于初学编程时的Hello World。WordCount的逻辑就是给定一个/多个文本,统计出文本中每次单词/词出现的次数。网上找的一张MapReduce实现WordCount的图例,基本描述清楚了WordCount的内部处理逻辑。本文主要是从Hive使用的角度处理W...