使用Enlive重新打印數據

Question

我試圖創建函數來從HTML頁面中抓取和標記，該頁面的URL提供給一個函數，並且它的工作方式應該如此。我得到<h3>和<table>元素的序列，當我嘗試使用select函數從結果序列中僅提取表或h3標記時，我得到（），或者如果我試圖映射那些我得到的標記（零無零... ）。

你能幫我解決這個問題，或者說明我做錯了什麼？

下面是代碼：

(ns Test2 
    (:require [net.cgrand.enlive-html :as html]) 
    (:require [clojure.string :as string])) 

(defn get-page 
    "Gets the html page from passed url" 
    [url] 
    (html/html-resource (java.net.URL. url))) 

(defn h3+table  
    "returns sequence of <h3> and <table> tags" 
    [url] 
    (html/select (get-page url) 
{[:div#wrap :div#middle :div#content :div#prospekt :div#prospekt_container :h3] 
[:div#wrap :div#middle :div#content :div#prospekt :div#prospekt_container :table]} 
       )) 

(def url "http://www.belex.rs/trgovanje/prospekt/VZAS/show") 

此行讓我頭疼：

(html/select (h3+table url) [:table]) 

能否請你告訴我，我究竟做錯了什麼？

只是爲了澄清我的問題：是否有可能使用enlive的select函數從（h3 + table url）的結果中僅提取表標記？

Answer 1

正如@Julien指出的那樣，您可能必須使用在原始html上應用(html/select raw-html selectors)時得到的深度嵌套樹結構。好像你試圖多次申請html/select，但這不起作用。 html/select將html解析爲clojure數據結構，因此您無法再將其應用於該數據結構。

我發現，解析該網站實際上是一個有點棘手，但我認爲這可能是一個很好的使用案例多方法，所以我砍死的東西在一起，也許這將讓你開始：

（代碼在這裏醜，你也可以簽上這是怎麼回事這個gist）

(ns tutorial.scrape1 
    (:require [net.cgrand.enlive-html :as html])) 

(def *url* "http://www.belex.rs/trgovanje/prospekt/VZAS/show") 

(defn get-page [url] 
    (html/html-resource (java.net.URL. url))) 

(defn content->string [content] 
    (cond 
    (nil? content) "" 
    (string? content) content 
    (map? content) (content->string (:content content)) 
    (coll? content) (apply str (map content->string content)) 
    :else    (str content))) 

(derive clojure.lang.PersistentStructMap ::Map) 
(derive clojure.lang.PersistentArrayMap ::Map) 
(derive java.lang.String     ::String) 
(derive clojure.lang.ISeq    ::Collection) 
(derive clojure.lang.PersistentList  ::Collection) 
(derive clojure.lang.LazySeq    ::Collection) 

(defn tag-type [node] 
    (case (:tag node) 
    :tr ::CompoundNode 
    :table ::CompoundNode 
    :th ::TerminalNode 
    :td ::TerminalNode 
    :h3 ::TerminalNode 
    :tbody ::IgnoreNode 
    ::IgnoreNode)) 

(defmulti parse-node 
    (fn [node] 
    (let [cls (class node)] [cls (if (isa? cls ::Map) (tag-type node) nil)]))) 

(defmethod parse-node [::Map ::TerminalNode] [node] 
    (content->string (:content node))) 
(defmethod parse-node [::Map ::CompoundNode] [node] 
    (map parse-node (:content node))) 
(defmethod parse-node [::Map ::IgnoreNode] [node] 
    (parse-node (:content node))) 
(defmethod parse-node [::String nil] [node] 
    node) 
(defmethod parse-node [::Collection nil] [node] 
    (map parse-node node)) 

(defn h3+table [url] 
(let [ws-content (get-page url) 
     h3s+tables (html/select ws-content #{[:div#prospekt_container :h3] 
              [:div#prospekt_container :table]})] 
    (for [node h3s+tables] (parse-node node)))) 

的幾句話：

content->string需要一個數據結構，並收集其內容轉換爲字符串，返回是s o您可以將此應用於可能仍包含要忽略的嵌套子標記（如<br/>）的內容。

派生語句建立了一個特殊的層次結構，我們稍後將在多方法分析節點中使用它。這很方便，因爲我們不知道我們將遇到哪些數據結構，並且稍後我們可以輕鬆地添加更多的案例。

tag-type函數實際上是一個模仿層次結構語句的黑客 - AFAIK你不能從非命名空間限定的關鍵字創建一個層次結構，所以我這樣做了。

多方法parse-node調度節點的類，如果節點是tag-type附加地圖。

現在我們要做的就是定義合適的方法：如果我們在終端節點上，我們將內容轉換爲字符串，否則我們會在內容上重複或映射集合上的parse-node函數正在處理。 ::String的方法實際上甚至沒有使用，但爲了安全起見，我將它放在了上面。

h3+table函數幾乎是你以前的東西，我簡化了選擇器並將它們放入一個集合中，不確定是否將它們放入地圖中，就像您按照預期工作一樣。

快樂刮！

Answer 2

你提的問題是很難理解的，但我覺得你的最後一行應該簡單地

(h3+table url) 

這將返回一個包含刮HTML，然後就可以潛入與通常的Clojure序列的API深度嵌套數據結構。祝你好運。