RSS Feader更新時間間隔

我有一個每分鐘運行一次的閱讀器閱讀器（它正在閱讀經常更新的閱讀器）。但是當我訪問幾個網站時，我似乎正在被Akamai阻止。也許他們認爲我在做什麼，但我不是 - 我只是想得到飼料。RSS Feader更新時間間隔

有關如何與Akamai一起玩還是用不同代碼的想法？據我所知，除了輪詢它之外，我無法知道Feed何時更新 - 但是有沒有一種首選方式 - 比如檢查緩存？儘管我懷疑這是否有所作爲，但這是用c＃編碼的。

2017-07-24 user8359617

[歡迎使用堆棧溢出]（http://stackoverflow.com/tour）。請解釋您嘗試的內容...添加一些代碼，顯示示例並解釋問題。檢查[這裏]（http://stackoverflow.com/help/mcve）和[這裏]（http://stackoverflow.com/help/how-to-ask）瞭解如何改善您的問題。 –

沒有更多的上下文，很難確定爲什麼你被阻止。是因爲費率限制還是其他訪問控制措施？假設它是速率限制，你可以做的事情不多。我建議您首先驗證robots.txt是否允許抓取網址，如果允許，則使用某種指數關閉。通過提供有意義的用戶代理來幫助玩家更好地進行遊戲，這樣當他們更新規則時，他們可能會考慮將自己的合法請求列入白名單。

來源

2017-07-26 08:37:19

我正在訪問的Feed網站沒有ROBOTS.TXT文件。他們似乎不在Akamai CDN上。所以我不認爲這個飼料網站正在報道任何東西。我遇到的訪問問題是與其他網站（如usps.com）。我能想到的唯一辦法就是運行我自己的feed閱讀器觸發Akamai的某些內容，但我不知道如何或爲什麼。如果其他人有運行Feed閱讀器導致問題，那麼非常感興趣。如果我重置IP，那麼我的訪問不到24小時。 – user8359617

USPS確實有一個機器人文件。 https://www.usps.com/robots.txt。另外，如果網站不在Akamai上，Akamai將不會負責阻止您。我想知道你爲什麼這麼想。 –

我很欣賞你的迴應，但我並不想訪問usps.com的RSS源。我正在訪問另一個網站（這是沒有robots.txt文件的網站）。我不知道該網站是否使用Akamai。所以，也許只是運氣不好，我被列入了一組IP地址的黑名單，或者是因爲我正在運行Feed閱讀器。據我所知，我沒有做任何事情時不允許輪詢網站的飼料。這看起來像我可能永遠不會發現。 – user8359617

RSS Feader更新時間間隔

回答

相關問題