tachyon

1熱度

1回答

我是Apache Ignite的新手，對於Ignite和Spark整合，看起來Ignite提供了一個內存層，數據將存儲在Spark應用程序中，這是Tachyon作爲內存中的文件系統提供。所以，我的問題是針對內存中的文件系統（IGFS for ignite），Ignite和Tachyon有什麼區別？兩者之間的優點和缺點是什麼？謝謝！

0熱度

1回答

對RDD在alluxio轉型內存使用/超光速粒子的火花

假設我們從alluxio內存 rdd1 = sc.textFile("alluxio://.../file1.txt") rdd2 = rdd1.map(...) 是否rdd2駐留在alluxio或spark的堆創建RDD。也可以在alluxio或spark堆上創建一個新的RDD（類似於alluxio上的pairRDD） pairRDD1.join(pairRDD2)。第二個問題的原因是

0熱度

1回答

部署超光速粒子與Ansible無服務器即如何格式化主

眼下超光速粒子之間的ssh接頭是部署在本地模式即http://tachyon-project.org/documentation/v0.7.1/Running-Tachyon-Locally.html 我在這裏的主要問題是SSH聯接。經典的方法是做： ssh-keygen -t rsa cat id_rsa.pub >> authorized_keys 但我想不啓用的時刻SSH聯接（服務器之

3熱度

2回答

如何將火花RDD轉換爲mahout DRM？

我從使用sc.textFile（）的Mahout中的Alluxio中獲取數據，但它是spark RDD。我的程序進一步使用這個火花RDD作爲Mahout DRM，因此我需要將RDD轉換爲DRM。所以我現在的代碼保持穩定。

0熱度

1回答

如何在openstack上安裝alluxio1.2

我嘗試使用spark和hdfs在openstack上的VM Centos上安裝alluxio1.2，但安裝無法正常工作。 Spark和hdfs已經安裝並正常工作 ERROR logger.type (AlluxioMaster.java:main) - Uncaught exception while running Alluxio master, stopping it and exiting.

0熱度

2回答

MapReduce工作失敗，「org.apache.commons.codec.binary.Base64.encodeBase64String（[B）Ljava /郎/字符串;」

我上有128GB的3個節點和每個40芯跑我集羣上的MR工作。羣集信息： 10.8.12.16：名稱節點活躍，數據管理部，alluxio主，alluxio工人 10.8.12.17：名稱節點待機，數據管理部，alluxio主備用，alluxio工人 10.8.12.18：數據管理部，alluxio工人版本信息：操作系統：紅帽EL6 alluxio：1.2.0 的Hadoop：2.7.2 JDK

1熱度

1回答

的Tachyon似乎沒有意識到的可用內存

的只是爲了看看的Tachyon會給我講配置的內存比更多的可用我設置錯誤： # Some value over combined available mem and disk space. export TACHYON_WORKER_MEMORY_SIZE=1000GB 及觀察到的網絡用戶界面配置卻沒有錯誤。當可用RAM超過時，是否有一些信息會被推送到磁盤？超過磁盤空間時會發生什麼？刪除文

0熱度

1回答

如何爲Spark-Tachyon集成啓用基於譜系的容錯功能？

我正在嘗試使用Tachyon實現RDD/Dataframe共享。我的理解是，對於HDFS underFS，寫入是異步的（在場景後面發生HDFS複製），因此速度應該更快，但在測試中我發現使用HDFS underFS的Tachyon在寫入時速度較慢2-6倍。從this Tachyon paper我看到：「我們做了[基於譜系容錯]配置在我們的星火和MapReduce一體化」如何啓用星火使用譜系基於

0熱度

2回答

從Alluxio使用Spark java讀取多個文件很慢

我已經在Spark上安裝了本地的Alluxio，並且我在Alluxio的內存中插入了1000個文件。儘管讀取文件速度很慢，但從Alluxio內存讀取文件的時間與從磁盤讀取文件的時間相等。我不understant爲什麼... File Name Size Block Size In-Memory Persistence State Pin Creation Time Modification Ti

0熱度

2回答

如何在Tachyon中設置文件的TTL

我看到在Tachyon configuration中有一個密鑰tachyon.master.ttlchecker.interval.ms（「以時間間隔（以毫秒爲單位）來定期刪除過期的ttl值的文件。」）但我已經查看了所有內容，找不到一種設置Tachyon文件的TTL值的方法。如何設置Tachyon文件的TTL（最好來自java/scala程序）？