0
我們有一個論壇抓取引擎。當我使用curl抓取一些鏈接時，它在url中添加一個變量，例如s = 23423235sdfsd234URL末尾不需要的會話信息
forum.com/displayforum?php?f=34
將成爲forum.com/displayforum?php?f=34s=23423235sdfsd234
通常衝浪論壇的網址是不存在的S =布拉布拉。我相信這是會話號碼自動添加到網址。無論如何，要避免這種情況，因爲我們在同一網址的數據庫中得到重複數據。
感謝你