刪除Json文件中的重複項

Question

我有一個包含一些重複項的Json文件，我正在尋找刪除它們的方法。我的Json文本的開始的兩個例子：

"date": "May 16, 2012 Wednesday", "body": "THE future of one of Scotland's most important listed buildings .... World Monuments Fund. o See a picture gallery of Mavisbank House at scotsman.com/scotland ", "title": "Rescue deal to bring Adam mansion back from brink" 

"date": "May 16, 2012 Wednesday", "body": "The future of one of Scotland's most important listed buildings .... World Monuments Fund.", "title": "Rescue deal to bring Adam mansion back from brink" 

我已經削減中間的文字，由於它的擴展和無關緊要，因爲他們完全匹配。正如我們所看到的文字幾乎100％匹配，除了開始THE與The和最後（額外句子：o See a picture gallery of Mavisbank House at scotsman.com/scotland）。在這一行中，我會想方設法找到重複項和II）刪除重複項之一（注意它們也可以是多個重複項）。我剛開始用Python進行編程，我不確定如何處理這個問題。任何幫助真的很感激！

親切的問候！

Answer 1

我認爲如果您先將json字符串轉換爲模型對象會更好。

之後，您可以簡單地迭代元素並刪除重複項（到任何級別）。您可以在比較每個單獨元素時忽略大小寫。

此外，您可以簡單地將每個body/title元素轉換爲一致的大小寫，並將它們添加到一個重複檢查的集合中，同時迭代，正如@ForceBru在評論中指出的那樣。

以下鏈接將指示您在適當的方向爲json對象轉換。

Is there a python json library can convert json to model objects, similar to google-gson?

希望這會有所幫助。