tachyon

    2熱度

    1回答

    我正在使用Apache Spark構建應用程序。爲了從其他應用的RDDS我想兩種方法: 使用超光速粒子 使用a spark-jobserver 我是新來的Tachyon。我完成了a Running Tachyon on a Cluster中的以下任務 我可以從master:19999 URL訪問UI。 從我成功地創建一個目錄./bin/tachyon tfs mkdir /Test 的超光速粒子的

    1熱度

    1回答

    我想確保我瞭解tachyon。使用帶有hdfs的Tachyon或多或少等價於使用MEMORY_AND_DISK來持久化RDD。在這兩種情況下,當數據量超過運行內存時,它們就會碰到硬盤。 我明白性能差異是由於JVM的垃圾收集。我只問過量溢出行爲。

    0熱度

    1回答

    我想在S3文件系統上設置Tachyon。我對Tachyon完全陌生,現在我仍然在閱讀我能找到的東西。 !/usr/bin/env bash # This file contains environment variables required to run Tachyon. Copy it as tachyon-env.sh and # edit that to configure Tach

    0熱度

    1回答

    我想在S3文件系統上設置Tachyon。對於HDFS,tachyon有一個名爲TACHYON_UNDERFS_HDFS_IMPL的參數,它被設置爲「org.apache.hadoop.hdfs.DistributedFileSystem」。有誰知道S3是否存在這樣的參數?如果是這樣,它的價值是什麼? 在此先感謝您的幫助!

    0熱度

    1回答

    當運行一個簡單的例子時,我得到這個錯誤。 我試着改變權限並使用不同的目錄。 Caused by: java.io.IOException: FailedToCheckpointException(message:Failed to rename /home/bryan/tachyon-0.7.1/underFSStorage/tmp/tachyon/workers/1445054000001/3/

    1熱度

    2回答

    我有一個簡單的例子,在安裝了Tachyon,Spark和Hadoop的Dataproc主節點上運行。 我有從Spark寫入Tachyon的複製錯誤。有什麼方法可以指定它不需要複製嗎? 15/10/17 08:45:21 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.Remot