2012-03-26 105 views
-2

有一項任務是編寫crawler來通過python抓取網頁。 其中一個要求是指定日誌文件的級別,因爲日誌文件的詳細級別也是如此。 但我不知道應該記錄什麼?以及詳細程度如何? 大家可以舉個例子嗎?日誌文件的級別是什麼?

+1

「有任務要寫......」那是什麼?你想做什麼?到目前爲止你有任何代碼嗎?這是功課嗎? – SingleNegationElimination 2012-03-26 02:36:21

+0

我發佈了關於Apache httpd日誌級別的評論,但是我不確定您是否解析本地日誌文件或抓取外部網站。你能提供這些信息嗎? – 2012-03-26 02:38:27

+0

@TokenMacGuy:不是作業,它的任務是編寫一個由線程數,深度,日誌文件,日誌文件級別指定的搜尋器,並且我已經完成了大部分任務,但是我不知道應記錄以區分不同級別的日誌文件 – 2012-03-26 02:40:53

回答

1

這就好比你現在登錄的內容:

12:01:03 Preparing to download http://a.com/aaaaa/1... 
12:01:03 Resolved host 'a.com' to '147.34.98.1' 
12:01:04 Connected to 'a.com' (147.34.98.1) 
12:01:04 Sent HTTP request http://a.com/aaaaa/1 
12:01:06 Downloaded (48 KB in 1.5s) from http://a.com/aaaaa/1 
12:01:08 Indexed http://a.com/aaaaa/1 (in 1.2s) 
12:01:08 Downloaded http://a.com/aaaaa/1. 

12:02:39 Preparing to download http://a.com/aaaaa/2 
.... 

如果你給了日誌級別的控制,這可能是在一個水平:

12:01:08 Downloaded http://a.com/aaaaa/1. 
12:02:51 Downloaded http://a.com/aaaaa/2. 

這將有更詳細的日誌記錄中間:

12:01:06 Downloaded (48 KB in 1.5s) from http://a.com/aaaaa/1 
12:01:08 Indexed http://a.com/aaaaa/1 (in 1.2s) 

12:02:36 Downloaded (153 KB in 1.3s) from http://a.com/aaaaa/2 
12:02:40 Indexed http://a.com/aaaaa/2 (in 1.6s)