0
目前我們在pig中有一個實現，用於從記錄中生成序列文件，其中記錄的某些屬性被視爲序列文件的關鍵字，並且與該關鍵字相對應的所有記錄都存儲在一個序列文件中。當我們正在發生火花時，我想知道這怎麼能在火花中完成？我可以在Spark中創建序列文件嗎？
A
回答
0
saveAsSequnceFile將數據保存爲序列文件。
val a=sc.parallelize(List(1,2,3,4,5)).map(x=>(x,x*10)).saveAsSequenceFile("/saw1")
$ hadoop fs -cat /sqes/part-00000
SEQ org.apache.hadoop.io.IntWritable org.apache.hadoop.io.IntWritableZ tTrh7��g�,��
2[[email protected] ~]$
閱讀sequencefile使用sc.sequenceFile
val sw=sc.sequenceFile("/saw1/part-00000", classOf[IntWritable],classOf[IntWritable]).collect
相關問題
- 1. 我可以在Alfresco配置文件中創建序列嗎？
- 2. 我可以在我的項目中創建應用程序委託文件嗎？
- 3. 我可以在GitHub的子目錄中創建README文件嗎？
- 4. 我可以在Windows 7中停止OS創建desktop.ini文件嗎？
- 5. 我可以在數據庫目錄中創建文件嗎？
- 6. 我可以在xcode中編程創建一個.xls文件嗎？
- 7. 你可以在C++程序中創建一個.java文件嗎？
- 8. 我可以在Ajax中創建EL嗎？
- 9. 我可以在cassandra中創建以下列家族嗎？
- 10. 我可以在陣列2D中創建更多列嗎？
- 11. 我可以在Linux上創建一個exe文件嗎？
- 12. 我可以在wordpress根目錄下創建「inc」文件夾嗎？
- 13. 我可以在Android內部存儲上創建文件夾嗎？
- 14. 我們可以在C＃中創建文件時指定文件版本嗎？
- 15. 我可以更改Spark數據框中列的可空性嗎？
- 16. 我可以創建我自己的php.ini文件嗎？
- 17. 我可以訪問我用USB創建的文件嗎
- 18. 我可以在DB2中創建動態列名稱嗎？
- 19. 我可以在django中創建動態列（和模型）嗎？
- 20. 我可以在SQLite中創建計算列嗎？
- 21. 我可以在這裏創建Thread.stop（）嗎？
- 22. 我可以創建一個contextMenuStrip的列只有在dataGridView不是頭文件嗎？
- 23. 在SQL Server中可以創建一個可以處理序列的函數嗎？
- 24. 我可以序列化一個數組列表，以便我可以將其存儲在.dat文件中嗎？
- 25. 我可以在觸發器中創建事件嗎？
- 26. 我可以在TestNG的@Factory中創建一個新套件嗎？
- 27. 我們可以在winforms中創建datagridview用戶控件嗎？
- 28. C＃我可以在另一個線程中創建控件嗎？
- 29. 我們可以在php中爲shopify創建插件嗎？
- 30. 我可以使用spark來解析html文件嗎？