2012-07-15 58 views
11

我運行IMDbAPI.com並使用Bing的搜索API從標題搜索中查找IMDb ID。 Bing目前正在將他們的API更改爲Azure Marketplace(8月1日),並且不再免費提供。我開始使用Freebase測試我的API來解析這些ID並在頭8個小時內達到100k的限制(我的網站目前每天獲得約300萬個請求,但只有200-300k是標題搜索)Freebase:什麼數據轉儲文件包含「imdb_id」?

這正是爲什麼他們提供的數據轉儲文件,

我下載了Film文件夾中的大部分文件,但無法找到它們存儲「/ authority/imdb/title」imdb id命名空間數據的位置。

https://www.googleapis.com/freebase/v1/mqlread?query={"type":"/film/film","name":"True%20Grit","imdb_id":null,"initial_release_date>=":"1969-01","limit":1}

這是我當前如何訪問ID。

有誰知道哪個文件包含此信息?以及如何從電影標題/編號鏈接回它?

回答

7

imdb_id屬性由/authority/imdb/title命名空間中的一個關鍵支持,所以您要查找的行:

/m/015gxt  /type/object/key  /authority/imdb/title tt0065126 
文件 http://download.freebase.com/datadumps/latest/freebase-datadump-quadruples.tsv.bz2

這是一個4 GB的文件中

,所以準備稍等片刻下載。請注意,所有內容都由MID鍵入,因此如果您的數據庫中沒有它,則需要首先弄清楚。

使用而不是數據MQL等效查詢轉儲是https://www.googleapis.com/freebase/v1/mqlread?query=%7B%22type%22%3a%22/film/film%22,%22name%22%3a%22True%20Grit%22,%22imdb_id%22%3anull,%22initial_release_date%3E=%22%3a%221969-01%22,%22mid%22:null,%22key%22:[{%22namespace%22:%22/authority/imdb/title%22}],%22limit%22:1%7D&indent=1

編輯:P.S.我很確定瀏覽目錄中的文件已經消失,所以我不會依賴他們,即使你可以在那裏找到信息。

+1

我試圖避免4gig(33gig提取)文件,但我反正下載了它,並花了過去3個小時試圖找到任何打開/解析它。我使用了微軟的Log Parser 2.2,它效果很好! LogParser.exe -i:TSV「SELECT Col1,Col4 INTO C:\ imdbList.csv FROM C:\ freebase.tsv WHERE Col3 like'%imdb/title%'」-o:CSV -headers:OFF -iHeaderFile: 「C:\ header.txt」 因此,現在我有一個3MB的CSV文件,其中包含所有的空白區ID和IMDb的ID – bfritz 2012-07-15 20:19:59

+0

接下來,我需要從「電影」中獲取「標題」,「發行年份」和「別名」。 tsv「,那麼我可以加入SQL中的數據...最後能夠搜索:)但是我依靠瀏覽文件夾」Films.tsv「中的額外文件即將離開嗎? – bfritz 2012-07-15 20:25:16

+0

處理壓縮文件的速度可能更快(並且磁盤空間肯定更少),所以我不會對其進行解壓縮。任何Linux系統(或Windows上的Cygwin)都可以輕鬆處理,而無需下載奇怪的專有實用程序。等效命令是bzgrep「authority/imdb/title」freebase-datadump-quadruples.tsv.bz2 | cut -f 1,4> imdbList.csv即使在筆記本電腦上,它也可以解壓並搜索4GB文件,並在20分鐘內輸出142K對ID。 – 2012-07-16 20:46:24

0

以前的答案工作正常,它只是這樣的查詢的迅捷版本可能是:

query = [{ 
      'type': '/film/film', 
      'name': 'prometheus', 
      'imdb_id': null, 
      ... 
     }]; 

的MQL請求的其餘部分不mentionned,因爲它不從上述不同。希望有所幫助。

相關問題