libcurl的回調函數可能不起作用Twitter的數據流

Question

可能重複：
Using HTTP authentication with libcurl in C for Twitter Streaming

我能寫，從流式API接收的推文流的C代碼。但是下面的代碼並沒有將該流輸出（不輸出）。該代碼在CURLOPT_URL設置爲google.com或9gag.com時有效。我想這個問題與收到的大量數據的推文流暢有關。用於打印響應（流）的write_func回調函數可能不工作，這就是爲什麼沒有輸出？ 我認爲回調函數可能被Twitter API發送的巨大流所淹沒。那麼如果是這種情況，我應該如何編寫正確的寫回調函數？

您可能會問。我驗證了流的接收工作正常，因爲每當我執行代碼時，我都會收看我的系統監視器的網絡歷史記錄上的接收字節數。

謝謝！

代碼：

#include <stdio.h> 
#include <stdlib.h> 
#include <string.h> 
#include <curl/curl.h> 

struct string { 
    char *ptr; 
    size_t len; 
}; 

void init_string(struct string *s) { 
    s->len = 0; 
    s->ptr = malloc(s->len+1); 
    if (s->ptr == NULL) { 
    fprintf(stderr, "malloc() failed\n"); 
    exit(EXIT_FAILURE); 
    } 
    s->ptr[0] = '\0'; 
} 

size_t writefunc(void *ptr, size_t size, size_t nmemb, struct string *s) 
{ 
    size_t new_len = s->len + size*nmemb; 

    s->ptr = realloc(s->ptr, new_len+1); 
    if (s->ptr == NULL) { 

    fprintf(stderr, "realloc() failed\n"); 
    exit(EXIT_FAILURE); 
    } 
    memcpy(s->ptr+s->len, ptr, size*nmemb); 
    s->ptr[new_len] = '\0'; 
    s->len = new_len; 

    return size*nmemb; 
} 

int main(void) 
{ 
    CURL *curl; 
    CURLcode res; 

    curl = curl_easy_init(); 
    if(curl) { 
    struct string s; 
    init_string(&s); 

    curl_easy_setopt(curl, CURLOPT_URL, "https://stream.twitter.com/1/statuses/sample.json"); 
    curl_easy_setopt(curl, CURLOPT_USERPWD, "neilmarion:password_here"); 
    curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writefunc); 
    curl_easy_setopt(curl, CURLOPT_WRITEDATA, &s); 
    res = curl_easy_perform(curl); 

    printf("%s\n", s.ptr); 
    free(s.ptr); 

    /* always cleanup */ 
    curl_easy_cleanup(curl); 
    } 
    return 0; 
} 

Answer 1

OK，我做了一些測試，它似乎是URL只是不斷髮送數據時，它似乎並沒有完成。 15M後我殺了它。但是，如果您在回調中使用打印語句或使用strace，則可以看到其正常工作。你的字符串s只是不斷增長和增長。

因此，一種解決方案是將回調改爲打印並在達到一定尺寸後重新初始化s。否則，看起來程序最終會耗盡內存。所以改變你的回調是

size_t max_buffer = 10240; // 10K 
size_t writefunc(void *ptr, size_t size, size_t nmemb, struct string *s) 
{ 
    size_t new_len = s->len + size*nmemb; 

    s->ptr = realloc(s->ptr, new_len+1); 
    if (s->ptr == NULL) { 
    fprintf(stderr, "realloc() failed\n"); 
    exit(EXIT_FAILURE); 
    } 
    memcpy(s->ptr+s->len, ptr, size*nmemb); 
    s->ptr[new_len] = '\0'; 
    s->len = new_len; 
    // Begin newly added code 
    if(s->len >= max_buffer) 
    { 
    printf("%s", s->ptr); 
    fflush(stdout); 
    free(s->ptr); 
    initString(s); 
    } 
    // End newly added code 
    return size*nmemb; 
} 

而且仍然保持打印結束。轉儲最後一位和尾隨的換行符。現在你有一個緩衝解決方案，你可以看看一個更高效的實現，它不需要動態添加內存。