從後續的自動相關請求中排序原始HTTP請求

Question

我想查看python中的pcap文件並整理HTTP請求。但是，我只想要原始請求（例如http://www.site.com/index.html），而不是後續和自動的幾個請求，例如嵌入內容，廣告等。我希望我的腳本只返回一個原始請求，即用戶自己啓動。

如何區分用戶發起的請求和後續請求之間的編程方式？

由於

Answer 1

HTTP請求沒有聯結到彼此（在Referer報頭可以在用戶發起的請求被髮送，所以這是不足夠好），並沒有什麼，以指示給定的請求是否是手動或自動。唯一的選擇是實際解析第一個響應的內容，從中提取所有可能的自動化URL（腳本，圖像等），然後檢查後續請求以查看它們是否適用於這些URL，解析這些響應以獲取更多URL ， 等等。