SparkWriteToHFile

　　发生了问题点其实是在truncate table上面，truncate的本质其实是删除表后重建，删除的表内容其实是放在了/hbase/.tmp/data/default/下面；

　　权限问题是这样的，如果开始使用hdfs权限创建的HFile，拷贝到了hbase的目录下（/hbase/data/default/下面），此时文件权限是"rwxr-xr-x hdfs:hbase"，hbase组只有读取和执行权限；在删除HFile的时候，会把HFile文件拷贝到/hbase/.tmp文件夹下，归档（Archieve）就会面临权限问题，因为删除的用户是hbase（在hbase组中），文件权限是hdfs，所以会有问题。

如何泛泛的遍历6.row获取值和列名

开始的处理方式：

    var data = new ListBuffer[(String, String, String)]
    val rddSchema = df.schema.fieldNames
   
    df.rdd.foreach(row => {
      var rowkey: String = row.getAs[String]("CUSTID")
      for (fieldName: String <- row.schema.fieldNames) {
        val value: String = row.getAs[String](fieldName)
        data.append((rowkey, fieldName, row.getAs[String](fieldName)))
      }
　　}

这种方式碰到了一个异常：碰到了个异常：java.math.BigDecimal cannot be cast to java.lang.String。这是因为如果非String类型的，getAs[String]将会报错

改变了处理方式：

    var data = new ListBuffer[(String, String, String)]
    val rddSchema = df.schema.fieldNames
    // TODO rowkey need read from config
    // TODO best can get data by map but not foreach
    df.rdd.foreach(row => {
      var rowkey: String = row.getAs[String]("CUSTID")
      for (i <- 1 until row.length) {
        val fieldName = rddSchema(i).toString
        val value = row(i).toString()
        data.append((rowkey, fieldName, value))
      }
    }

row(i).toString没有类型转换问题。

7. 查看日志

　　对于提交到YARN上面的任务，想要看代码中println的内容，可以在Resource Web UI上面，点击最有一列Trace UI，在跳转的页面中点击上面的"Executors"，在Executors列表中，你将会看到Logs一列，里面的stdout链接，在stdout最下面即为用户程序输出日志。注意这个是executor的日志；driver的日志可以通过控制台直接看到。另外Standalone模式，对应的日志输出在NodeManager节点的 spark安装目录/work/。
　　yarn.log-aggregation-enable，yarn的executor日志是聚合日志，是在任务完成后，汇聚个台机器的日志而成
8. 序列化异常
java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable
　　指定序列化类，问题解决：

val sc = new SparkContext(new 
SparkConf().setAppName("aaa").setMaster("local[*]").set("spark.serializer", "org.apache.spark.serializer.KryoSerializer"))

　　又爆异常：
java.io.IOException: com.esotericsoftware.kryo.KryoException: java.lang.IndexOutOfBoundsException: Index: 108, Size: 10
Serialization trace:familyMap (org.apache.hadoop.hbase.client.Put)
　　这类问题，处理方式尽量保证你的代码处理上面，map内部不要引用本类中函数。

8. sparkContext必须要指定名称

　　 val sc = new SparkContext(new SparkConf().setMaster("local[*]"))报错：
　　An application name must be set in your configuration

　　指定appName之后问题解决，因为这个name是要在YARN的管理页面做现实（见上面的“查看日志”），用于跟踪所执行任务执行的情况。
　　 val sc = new SparkContext(new SparkConf().setAppName("aaa").setMaster("local[*]")) 
9. .size导致指针到迭代器尾部

putValues.repartitionAndSortWithinPartitions(regionSplitPartitioner).foreachPartition(part => {
      try {
        println("*******************get in the partition part size: " + part.size + "***************")

       while (part.hasNext) {... ...}
part.size就会导致一次遍历到尾部，导致part.haseNext为false

val hbaseConfig = ConfigFactory.load("hbase.properties")
val prod = hbaseConfig.getString("hbase.zookeeper.property.clientPort")
val parent = hbaseConfig.getString("zookeeper.znode.parent")
val quorum = hbaseConfig.getString("hbase.zookeeper.quorum")

    rdd.flatMap(r => flatMap(r)).repartitionAndSortWithinPartitions(regionSplitPartitioner).foreachPartition { part =>
      val config = HBaseConfiguration.create()
      config.set("hbase.zookeeper.property.clientPort", prod)
      config.set("zookeeper.znode.parent", parent)
      config.set("hbase.zookeeper.quorum", quorum)
      val fs = HFileSystem.get(conf)