pandas.read_html只返回一個表格

Question

我試着用熊貓讀取ec2定價表格。基於documentation我期望DataFrames的列表，但得到一個表作爲列表。

代碼示例

import pandas 
link = 'http://aws.amazon.com/ec2/pricing/' 
data = pandas.read_html(link) 
print type(data) 
print data[0] 

輸出

<type 'list'> 
           0     1    2 
0 Reserved Instance Volume Discounts    NaN    NaN 
1   Total Reserved Instances Upfront Discount Hourly Discount 
2     Less than $250,000    0%    0% 
3    $250,000 to $2,000,000    5%    5% 
4   $2,000,000 to $5,000,000    10%    10% 
5    More than $5,000,000  Contact Us  Contact Us 

環境：

• Ubuntu的14.10
只
• 蟒蛇2.7.8
• 大熊貓0.14.1

Answer 1

http://aws.amazon.com/ec2/pricing/使用JavaScript來填寫表中的數據。

不像你所看到的，當你在鏈接指向你的GUI瀏覽器，數據丟失，如果你使用的urllib2下載HTML：（然後搜索內容爲<table>標籤）

import urllib2 
response = urllib2.urlopen(link) 
content = resonse.read() 

要處理JavaScript，您需要使用Selenium， 或WebKit或Spidermonkey等自動瀏覽器引擎。

在這裏被使用溶液硒：

import selenium.webdriver as webdriver 
import contextlib 
import pandas as pd 
@contextlib.contextmanager 
def quitting(thing): 
    yield thing 
    thing.quit() 

with quitting(webdriver.Firefox()) as driver: 
    link = 'http://aws.amazon.com/ec2/pricing/' 
    driver.get(link) 
    content = driver.page_source 
    with open('/tmp/out.html', 'wb') as f: 
     f.write(content.encode('utf-8')) 
    data = pd.read_html(content) 
    print len(data) 

產生

238