RCFileInputFormat的使用方法

摘要:
要读取行的每一列,可以使用以下方法:String[]columns=newString[columnNum];对于{columns[i]=newString;},其中columnNum是读取的列数,然后在For循环中构造每一列。在可能存在问题的地方,为什么需要每个列的开头和长度?因为价值。收到getData()获取此行中所有列的数据,而不是该列的数据。需要“Start Position”和“Length”。在这里,我们还可以推断出该行中所有列的方法value。收到getData()实际上共享一个字节数组。

在使用RCFileInputFormat时可以设置需要读取的列的序号:

  /**

   * Sets read columns' ids(start from zero) for RCFile's Reader. Once a column

   * is included in the list, RCFile's reader will not skip its value.

   * 

   */

  public static void setReadColumnIDs(Configuration conf, ArrayList<Integer> ids) {

    String id = toReadColumnIDString(ids);

    setReadColumnIDConf(conf, id);

  }

如果使用RCFileInputFormat,在map当中传入的value为数据库表的一行。如要读取该行的每一列可以使用如下方法:

String[] columns = new String[columnNum];

for(int i=0;i<columnNum;i++){

columns[i]= new String(value.get(i).getData(),value.get(i).getStart(),

Value.get(i).getLength());

   }

其中,columnNum为读取的列数,然后在for循环中构造每一列。在这里可能会有疑问的地方,为什么每一列还需要startlength呢?因为value.get(i).getData()获取的是该行所有列的数据,不是针对该列的数据,所以需要“开始位置”和“长度”。在这里我们或许还可以推定:该行所有列value.get(i).getData()的方法其实是共享了一个byte数组。

免责声明:文章转载自《RCFileInputFormat的使用方法》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇ADO中记录集recordSet的使用Git 系列教程(9)- 打标签下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

随便看看

CAS单点登录------未认证授权服务

问题背景:之前我使用的127.0.0.1进行CAS直接url进行过滤!后来我用nginx进行反向代理出现问题:如下图第一眼,就在内心想,草这什么鬼!调试了五分钟发现还是不行!  网上各种教程!  半小时过去了!我吧配置文件自己看看!    出现这样问题:原因是CAS 的服务认真之前先有个REgx的正则判断,目录如上看这个正则时候,我瞬间明白了,我下面这个问题...

grep多条件查找"与","或"

这里以jps命令为例jps查看全部的jvm进程"与"查找下图是所有jvm进程如果想查找256891ThriftServer服务用"与"查找可以理解为是条件查找命令:jps|grep-eer|grep-eT"或"查找方法一:grep-E'A|B'和grep-eA-eB方法二:egrep'A|B'方法三:awk'/A|B/'...

zlog 使用手册

Zlog是一个纯C日志函数库,具有高可靠性、高性能、线程安全性、灵活性和清晰的概念。Syslog是一个系统级的轮子,但它的速度慢,功能单调。Zlog比log4c更高效、更实用、更安全,它是用c编写的。Zlog使用了C99兼容的vsnprintf。...

libffi

Thisislibffi.info,由libffi.texi生产的bymakeinfo版本5.1。本手册适用于libffi,一个可移植的外国函数接口库。版权所有(C)200820102011redhat,股份有限公司。许可授予复制、分发...

SQLServer2008/2012 安装、添加sa用户和密码、多实例安装、修改端口, 重启生效

因为我们无法使用sa用户登录,所以只能使用系统登录。登录后,我们需要修改相关属性。右键单击数据库,然后单击属性。在这个sa的登录属性对话框中,我们首先需要设置这个用户的密码。由于此用户名是系统的用户,我们可以直接填写密码,然后再次确认密码。然后在对话框中,单击左上角的第二个属性服务器角色。这是您要实现的添加用户的角色。...

图卷积神经网络(GCN)入门

不得不专门为GCN开一个新篇章,表示其重要程度。图卷积神经网络,实际上跟CNN的作用一样,就是一个特征提取器,只不过它的对象是图数据。总地来说,图数据既要考虑节点信息,也要考虑结构信息,图卷积神经网络就可以自动化地既学习节点特征,又能学习节点与节点之间的关联信息。GCN的本质目的就是用来提取拓扑图的空间特征。理解图卷积神经网络主要有两类,一类是基于空间域或顶...