Pentaho Google分析插件 - 當行數超過10,000行時，它會做什麼？

Question

對每個GA請求的響應返回一定數量的行（最大值爲10,000）。如果您的第一個請求定義了一個將導致10,000行以上的查詢（例如，結果爲26,000行），則只返回前10,000行。然後，您必須發出另一個請求（使用相同的查詢），指定您希望下一個10,000行以10,001開始，然後另一個請求指定您需要20,001後的行。

我的問題是Pentaho Google Analytics（分析）插件是否在底層做到這一點？我似乎無法找到有關該主題的任何有意義的文檔。預先感謝您提供的任何信息。

Answer 1

因此根據谷歌的default maxResults設置是1000。 GA PDI組件是開源的，因此代碼爲easily accessible，在對Java代碼進行快速掃描後，它看起來像內部組件使用默認的MaxResults每個請求（1,000），然後繼續以剩餘的結果集。這是我所假設的，但確保組件能夠獲得每個結果集超過10,000行的所有數據是很好的做法。現在唯一我不確定的是，如果這將配合谷歌10 queries per second (QPS) per IP配額限制。

GAInputstep.java：

private DataEntry getNextDataEntry() throws KettleException { 
    // no query prepared yet? 
    if (data.query == null){ 
     data.query = getQuery(); 
     // use default max results for now 
     //data.query.setMaxResults(10000); 

     ... 
    } 
    // query is there, check whether we hit the last entry and requery as necessary 
    else if (data.entryIndex >= data.feed.getEntries().size()){ 
     if (data.feed.getStartIndex()+data.entryIndex <= data.feed.getTotalResults()){ 
      // need to query for next page 
      data.query.setStartIndex(data.feed.getStartIndex()+data.entryIndex);