使用BING SEARCH API時，如何忽略重複結果？

我構建了一個python 2.7 BING SEARCH API拉，每頁返回50個計數，並且通過每次將偏移值改爲50來進行分頁。我的結果寫入JSON文件。使用BING SEARCH API時，如何忽略重複結果？

我在我的api調用的頭文件中指定了User-Agent和X-Search-ClientIP。我還指定了網頁的responseFilter以及'en-us'的mkt值。

我很擔心，因爲我得到了多個重複的搜索結果。當我翻頁10次（因此，檢索50×10 = 500個結果）時，其中約17％是重複記錄。有沒有一種方法可以強制bing只返回非重複值？你推薦我採取什麼額外的步驟，以儘可能接近唯一的價值？

#!/usr/bin/env python 
# -*- coding: utf-8 -*- 
import httplib, urllib, base64, json, re, os, sys, codecs, locale, time 

pull_count = 50       ## Var used to control # of hits per pull 
offset = 0         ## Var used to push pagination counter to http get 
num_paginations = 10      ## Var used to control max # of paginations 
local_counter = 1       ## Helps Write commas to json file for all but last run 
timer_counter = 1       ## Variable used to make system wait after 5 pulls 
dump_file = 'BingDump.json'    ## Name of local file where results are written to 
api_domain = 'api.cognitive.microsoft.com' 
query = 'Bill Gates' 
user_agent = 'Mozilla/5.0 (MAC OSX, Educational Usage Only)' 
x_search = '199.99.99.99' 

#Request Headers, open connection, open file write to output file 
headers = { 
    'Ocp-Apim-Subscription-Key': 'MYSUBSCRIPTIONKEY', 
    'User-Agent' : user_agent, 
    'X-Search-ClientIP': x_search, 
} 
conn = httplib.HTTPSConnection(api_domain) 
fhand = open(dump_file,'w') 

#Function to build URL for API PULL 
def scraper() : 
    pull_count_str = str(pull_count) 
    offset_str = str(offset) 
    params = urllib.urlencode({ 
     'q': query, 
     'count': pull_count_str, 
     'offset': offset_str, 
     'mkt': 'en-us', 
     'safesearch': 'Moderate', 
     'responseFilter': 'webpages', #controls whether pull scrapes from web/image/news etc 
    }) 
    return(params) 

#Function set to wait 4 seconds after 5 pulls 
def holdup(entry) : 
    if entry != 5 : 
     entry += 1 
    else: 
     entry = 1 
     time.sleep(4) 
    return(entry) 

#Function that establishes http get, and writes data to json file 
def getwrite(entry1, entry2) : 
    conn.request("GET", "/bing/v5.0/search?%s" % entry1, "{body}", entry2) 
    response = conn.getresponse() 
    data = response.read() 
    json_data = json.loads(data) 
    fhand.write(json.dumps(json_data, indent=4)) 

#Main Code - Pulls data iteratively and writes it to json file 
fhand.write('{') 

for i in range(num_paginations) : 

    dict_load = '"' + str(local_counter) + '"' + ' : ' 
    fhand.write(dict_load) 
    try: 
     link_params = scraper()  
     print('Retrieving: ' + api_domain + '/bing/v5.0/search?' + link_params) 
     getwrite(link_params, headers) 
    except Exception as e: 
     print("[Errno {0}] {1}".format(e.errno, e.strerror)) 
     fhand.write('"Error. Could not pull data"')   
    offset += pull_count 
    if local_counter != num_paginations : fhand.write(', ') 
    local_counter += 1 
    timer_counter = holdup(timer_counter) 

fhand.write('}') 
fhand.close() 
conn.close()

來源

2016-08-29 Gustavo Alejandro Bermudez

想問BING API的專家，如果包括MSEDGE細節到我的頭參數將提高返回的搜索結果的質量，如果有別的什麼事可以做，將產生的結果與少重複。我做了一次搜索，其中涉及10,000個搜索結果，其中約900/10,000個是獨特的（不到10％）。一些搜索結果重複多達800次。 –

我可以同意，我有同樣的問題。隨着越來越多的頁面越來越多，但不時還會有新的項目。我正在浪費大量的API調用獲取重複的數據。 –

謝謝您的查詢。我們注意到您有以下分頁編號：

我注意到的一件事是分頁設置爲10. num_paginations = 10 ## var用於控制最大分頁編號。

感謝，帕特里克

來源

2016-09-12 17:41:29 Patrick

謝謝你的迴應。我使用num_paginations來定義對Bing執行HTTP REQUESTS的次數。所以，如果我想執行10個請求，我會將該var設置爲10.我使用'pull_count'來設置我想要的搜索結果（即50個）PER請求。我的代碼生成的URL對每個http請求具有不同的偏移量＃。我的請求URL都有＆count = 50.對於第一個請求URL，我使用＆offset = 0，然後＆offset = 50，然後＆offset = 100。等等。理論上，從我在文檔/論壇上閱讀的所有內容中，我應該很樂意去。你還有其他建議嗎？ –

使用BING SEARCH API時，如何忽略重複結果？

回答

相關問題