所有鏈接我忘了名字的情況下網絡蜘蛛會你怎麼叫蜘蛛技術,其中蜘蛛訪問的第一級的所有鏈接,並在第二級
第一次訪問它看到的所有鏈接第一級。 然後訪問它在第二級看到的所有鏈接。 等等...
有此技術名稱....我忘了... ...
反正,這是非常詳盡的,顯然效率低下。有沒有更好的辦法 ?
我記得夏天讀了一篇關於高效地抓取網頁(DSL或類似的東西,我不知道代表什麼)的論文......總之,它討論了「確定哪些URL可能包含相關信息以及哪些網址將被忽略像註冊,新帳戶鏈接..等等「
我沒有讀過它的詳細信息,如果有任何東西響起請發佈一個鏈接。
打我吧.... – 2009-10-28 09:38:12