通過Apache Spark讀取json數據

Question

我想通過Apache Spark閱讀示例Json文件，在此過程中，我觀察到一件事是您需要將整個json對象保存爲單行。如果我將整個json對象保存爲單行，代碼運行良好，否則會出現異常。

這是我的JSON數據：

[ 
    { 
     "id": 2, 
     "name": "An ice sculpture", 
     "price": 12.50, 
     "tags": ["cold", "ice"], 
     "dimensions": { 
      "length": 7.0, 
      "width": 12.0, 
      "height": 9.5 
     }, 
     "warehouseLocation": { 
      "latitude": -78.75, 
      "longitude": 20.4 
     } 
    }, 
    { 
     "id": 3, 
     "name": "A blue mouse", 
     "price": 25.50, 
     "dimensions": { 
      "length": 3.1, 
      "width": 1.0, 
      "height": 1.0 
     }, 
     "warehouseLocation": { 
      "latitude": 54.4, 
      "longitude": -32.7 
     } 
    } 
] 

這是我的代碼：

SparkSession session = new SparkSession.Builder().appName("JsonRead").master("local").getOrCreate(); 
     Dataset<Row> json = session.read().json("/Users/mac/Desktop/a.json"); 
     json.select("tags").show(); 

在小數據集的情況下，它的好，是任何其他方式處理大型數據集的JSON？

Answer 1

查看文檔： http://spark.apache.org/docs/2.0.1/sql-programming-guide.html#json-datasets

JSON數據集

請注意，是提供一個JSON文件的文件是不是一個典型的JSON文件。每行必須包含一個單獨的，獨立的有效JSON對象。因此，一個常規的多行JSON文件最常出現故障，因此。