hfile

    4熱度

    2回答

    爲什麼HBase需要爲每個值存儲列族？

    因爲HBase表是稀疏表，所以HBase不僅存儲每個單元的值，而且存儲標識單元所需的所有信息（通常描述爲Key，不要與RowKey混淆）。 重點如下所示： RowKey-的ColumnFamily - ColumnQualifier時間戳 而這一切的信息都存儲於每個條目。 這就是爲什麼建議使用列名系列和列限定符的縮寫名稱來減少額外開銷。 我的問題：爲什麼我需要爲每個條目存儲ColumnFamily
    hbase hstore column-family hfile 2014-07-01

    1熱度

    1回答

    Cloudera CDH 5.7.2/HBase：如何設置hfile.format.version？

    隨着CDH 5.7.2-1.cdh5.7.2.po.18，我想使用的Cloudera Manager來HBase的配置爲使用權限標籤和授權，如下面的Cloudera的社區發帖描述： Cloudera Manager Hbase Visibility Labels 使用Cloudera的經理，我已經成功地更新的值以下屬性： hbase.coprocessor.region.classes：設置爲or
    hbase cloudera cloudera-cdh hfile 2017-07-06

    0熱度

    1回答

    如何獲取HFile HBase表的大小？

    我想在HBase中獲取HFile的幾個度量細節。以下是問題。 如何獲取Hbase表的HFile的實際位置。 是否有任何shell命令來獲取合併的文件大小。 我明白Hfile是存儲在HDFS中的，因此數據以塊的形式存儲在不同的數據節點中。但是，如何從HBase的角度獲得整合數據。
    hadoop hbase hfile 2015-10-12

    0熱度

    1回答

    HBase的FileInfo的阻止

    在所有的HBase的文章和書籍也提到了以下有關HFiles的元和的FileInfo塊： - 「元塊的設計，保持了大量的數據，其作爲一個String鍵，而FileInfo是一個簡單的Map首選，用於輸入字節數組的鍵和值的小信息。「 或 」元數據塊很昂貴，用一堆序列化數據填充一個元素，而不是爲每個元數據實例創建一個元數據塊。如果元數據很小，請考慮添加到文件信息「 我想明白它爲什麼這麼說。什麼是設計邏輯
    hbase hfile 2017-07-21

    0熱度

    1回答

    關於如何通過HFile將協議緩衝區文件批量加載到HBase的任何想法？

    以下是我正在嘗試執行的操作： 將數據從Hive加載到由協議緩衝區序列化的HBase中。 我試過多種方法： 直接創建連接到HBase的，做付諸HBase的。這工作，但顯然不是很有效。 我導入的JSON表出從配置單元在S3，並將它們存儲作爲TEXTFILES（由製表符分隔），然後使用importTsv實用程序來生成和HFILE批量加載它們變成HBase的，這也適用。 但現在我想在一個更有效的方式來實現
    hadoop apache-spark hbase protocol-buffers hfile 2017-06-01

    2熱度

    1回答

    HBase批量加載MapReduce HFile異常（netty jar）

    我正在嘗試運行一個簡單的MapReduce進程來寫入HFile以便以後導入到HBase表中。 當作業提交： hbase com.pcoa.Driver /test /bulk pcoa 我收到以下異常，表明網狀-3.6.6.Final.jar不存在HDFS（它確實存在，但是在這裏）。 -rw-r--r--+ 1 mbeening flprod 1206119 Sep 18 18:25 /ded
    hadoop hbase netty filenotfoundexception hfile 2014-01-09

    0熱度

    1回答

    星火一個rowKey多列

    JavaRDD<String> hbaseFile = jsc.textFile(HDFS_MASTER+HBASE_FILE); JavaPairRDD<ImmutableBytesWritable, KeyValue> putJavaRDD = hbaseFile.mapToPair(line -> convertToKVCol1(line, COLUMN_AGE)); putJavaRD
    apache-spark hbase hfile 2017-09-22

    0熱度

    1回答

    使用LoadIncrementalHFiles和子目錄批量加載

    我編寫了一個Spark應用程序，該應用程序稍後將生成用於批量加載的HFiles，並使用LoadIncrementalHFiles命令。由於源數據池非常大，所以輸入文件被分割成迭代，依次處理。每次迭代創建自己的目錄HFile，所以我的HDFS結構是這樣的： /user/myuser/map_data/hfiles_0 ... /hfiles_1 ... /hfiles
    hadoop hbase bulk-load hfile 2017-09-25

    0熱度

    1回答

    從Java客戶端運行LoadIncrementalHFiles

    我想從我的Java客戶端代碼調用hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /user/myuser/map_data/hfiles mytable方法。 當我跑我得到下面的異常應用程序： org.apache.hadoop.hbase.io.hfile.CorruptHFileException: Problem r
    hadoop hbase hadoop2 snappy hfile 2017-09-25

    1熱度

    1回答

    由於不可序列化的對象導致Spark作業失敗

    我正在運行一個spark作業，爲我的HBase數據存儲生成HFiles。 它曾經是工作的罰款與我Cloudera集羣，但是，當我們切換到EMR集羣時，出現下列堆棧跟蹤： Serialization stack: - object not serializable (class: org.apache.hadoop.hbase.io.ImmutableBytesWritable, valu
    java hadoop apache-spark hbase hfile 2017-06-21
最新問題