如何在Rails 3.2中流式傳輸大型XML？

Question

我將我們的應用程序從3.0遷移到3.2.x.之前的流式處理是通過分配response_body一個proc來完成的。像這樣：

self.response_body = proc do |response, output| 
    target_obj = StreamingOutputWrapper.new(output) 
    lib_obj.xml_generator(target_obj) 
end 

正如你可以想像，在StreamingOutputWrapper響應<<。

這種方式在Rails 3.2.x中已棄用。建議的方法是分配一個響應each的對象。

我現在面臨的問題是讓lib_obj.xml_generator意識到每個問題。

當前版本的它看起來像這樣：

def xml_generator(target, conditions = []) 
    builder = Builder::XmlMarkup.new(:target => target) 
    builder.root do 
    builder.elementA do 
     Model1.find_each(:conditions => conditions) { |model1| target << model1.xml_chunk_string } 
    end 
    end 
end 

其中target是StreamingOutputWrapper對象。

問題是，如何修改代碼 - xml_generator和控制器代碼，以正確地生成響應xml流。

重要的東西：由於模型記錄非常龐大，所以在內存中構建xml不是一個選項。 xml響應的典型大小約爲150MB。

Answer 1

你在找什麼是SAX解析。 SAX一次讀取文件「塊」，而不是將整個文件加載到DOM中。這非常方便，幸運的是，有很多人想要做同樣的事情。 Nokogiri提供了XML :: SAX方法，但它在災難性文檔和語法上會變得非常混亂，這是一團糟。我會建議尋找一些位於Nokogiri之上的東西，讓你的工作更加簡單。

這裏有幾個選項 -

---

SAX_stream：在sax_stream

映射出的對象是超級簡單：

require 'sax_stream/mapper' 

class Product 
    include SaxStream::Mapper 

    node 'product' 
    map :id,    :to => '@id' 
    map :status,   :to => '@status' 
    map :name_confirmed, :to => 'name/@confirmed' 
    map :name,   :to => 'name' 
end 

，並調用解析器也很簡單：

require 'sax_stream/parser' 
require 'sax_stream/collectors/naive_collector' 

collector = SaxStream::Collectors::NaiveCollector.new 
parser = SaxStream::Parser.new(collector, [Product]) 

parser.parse_stream(File.open('products.xml')) 

---

然而，隨着收藏者的工作（或寫你自己的），最終略微混亂，所以我真的去：

Saxerator：

Saxerator得到這份工作DOEN並有一些非常方便的方法遍歷到比sax_stream稍微複雜的節點。 Saxerator還有幾個非常棒的配置選項，這些配置選項都有詳細記錄。下面簡單Saxerator例如：

parser = Saxerator.parser(File.new("rss.xml")) 

parser.for_tag(:item).each do |item| 
    # where the xml contains <item><title>...</title><author>...</author></item> 
    # item will look like {'title' => '...', 'author' => '...'} 
    puts "#{item['title']}: #{item['author']}" 
end 

# a String is returned here since the given element contains only character data 
puts "First title: #{parser.for_tag(:title).first}" 

---

如果你最終不得不從外部源拉XML（或者是越來越頻繁更新，你不希望有在更新版本的服務器手動，檢查出THIS QUESTION和接受的答案，它的偉大工程

Answer 2

你總是可以猴子補丁響應對象：？

response.stream.instance_eval do 
    alias :<< :write 
end 
builder = Builder::XmlMarkup.new(:target => response.stream) 
...