1
我使用sc.hadoopConfiguration.set來設置配置。 如何傾倒的配置？無論是打印出來的控制檯或甩掉他們提交在Spark中轉儲hadoop配置
A
回答
2
你可以轉儲Hadoop的配置，以XML文件（我假設你正在使用的Scala）
val out = new FileOutputStream("conf.xml")
sc.hadoopConfiguration.writeXml(out)
相關問題
- 1. 獲取ClassNotFound異常：在Hadoop中轉儲配置時
- 2. 全局Hadoop配置存儲
- 3. 在eclipse中配置hadoop 2.5
- 4. 將Spark和Hadoop配置文件添加到JAR中？
- 5. 是否可以覆蓋SPARK中的Hadoop配置？
- 6. Hadoop grep轉儲sql
- 7. 在StructureMap中轉儲容器配置
- 8. Hadoop配置
- 9. Hadoop slowstart配置
- 10. Apache Spark配置
- 11. Hadoop的 - 在作業配置
- 12. 在windows上配置Hadoop 1.2.0
- 13. 在Spark Scala中將數據框轉換爲配置單元表
- 14. 如何在hadoop配置中正確設置s3a配置？
- 15. 中等Hadoop/Spark Cluster管理
- 16. Spark中的Hadoop DistributedCache功能
- 17. Hadoop/Spark中的多線程
- 18. Hadoop配置錯誤
- 19. Hadoop作業配置
- 20. hadoop flume log4j配置
- 21. Hadoop配置錯誤
- 22. 無法配置hadoop
- 23. Hadoop機器配置
- 24. Zeppelin和Spark配置
- 25. 在Hadoop 1.2.0中配置作業內存
- 26. 在Hadoop中配置嵌入式Jetty
- 27. 在Apache Spark中設置動態分配？
- 28. 無法在Spark中配置ORC屬性
- 29. Hadoop輸入拆分轉儲
- 30. Hadoop配置物理位置