如何使用python保存hadoop中的文件

Question

我試圖用python 2.7將文件保存在Hadoop中。我在網上搜索。我得到了一些代碼來保存Hadoop中的文件，但它在保存時會佔用整個文件夾（文件夾中的文件全部保存在Hadoop中）。但我需要保存一個特定的文件。

這裏是一個文件夾保存在Hadoop中的鏈接： http://www.hadoopy.com/en/latest/tutorial.html#putting-data-on-hdfs

現在我需要的是保存在Hadoop的一個特定的文件中像abc.txt。

這裏是我的代碼：

import hadoopy 
hdfs_path = 'hdfs://192.168.x.xxx:xxxx/video/py5' 
def main(): 
    local_path = open('abc.txt').read() 
    hadoopy.writetb(hdfs_path, local_path) 


if __name__ == '__main__': 
    main() 

這裏我得到need more than one value to unpack

任何幫助，將不勝感激。

Answer 1

hadoopy.writetb似乎期待一個可迭代的二值作爲它的第二個參數。嘗試：

hadoopy.writetb(hdfs_path, [("abc.txt", open("abc.txt").read())]) 

Answer 2

http://www.hadoopy.com/en/latest/api.html?highlight=hadoopy.writetb#hadoopy.writetb

writedb需要第二ARG作爲KVS - （鍵，值）

按照你給的鏈接迭代器，你已經忘了功能read_local_dir拷貝到您的碼。