如何在R中的並行方法內使用無效記錄器進行記錄？

Question

我在記錄中使用R中的無效記錄器。 我有一個使用R中的降雪實現的並行算法。並行進程的每個核心都在記錄器中記錄一箇中間輸出。但是這個輸出沒有顯示在記錄器中？

我們可以在使用降雪的並行作業中使用徒勞登錄器進行登錄嗎？

添加它是如何完成的：

我的具體情況有點不同。我使用我創建的共享對象從R調用C函數。該函數是一種迭代算法，我需要每隔幾次迭代記錄日誌。我有興趣從C函數登錄到無用的記錄器。爲什麼徒勞的記錄器？因爲這是網絡應用程序的一部分，所以將用戶會話的所有輸出以一致的格式輸出是有意義的。

這是我根據接受的答案所遵循的一般方法。現在

# init script 
# iter logger namespace global variable 
assign("MCMC_LOGGER_NAMESPACE", "iter.logger", envir = .GlobalEnv) 

loginit <- function(logfile) { 
    require('futile.logger') 
    flog.layout(layout.simple, name = ITER_LOGGER_NAMESPACE) 
    flog.threshold(TRACE, name = ITER_LOGGER_NAMESPACE) 
    flog.appender(appender.file(logfile), name = ITER_LOGGER_NAMESPACE) 
    NULL 
} 

parallel_funct_call_in_R <- function(required args) {  
require('snowfall') 
sfSetMaxCPUs() 
sfInit(parallel = TRUE, cpus = NUM_CPU) 
sfLibrary(required libs) 
sfExport(required vars including logger namespace variable ITER_LOGGER_NAMESPACE) 
iterLoggers = sprintf(file.path(myloggingdir, 'iterativeLogger_%02d.log', fsep = .Platform$file.sep), seq_len(NUM_CPU)) 
sfClusterApply(iterLoggers, loginit) 
sfSource(required files) 
estimates <- sfLapply(list_to_apply_over, func_callling_C_from_R, required args) 
sfStop() 
return(estimates) 
} 

iterTrackNumFromC <- function(numvec){ 
# convert numvec to json and log using flog.info 
# the logger namespace has already been registered in the individual cores 
flog.info("%s", toJSON(numvec), name = ITER_LOGGER_NAMESPACE) 
} 

func_callling_C_from_R <- function(args){ 
load shared obh using dyn.load 
estimates = .C("C_func", args, list(iterTrackNumFromC)) # can use .Call also I guess 
return(estimates) 
} 

C函數

void C_func(other args, char **R_loggerfunc){ // R_loggerfunc is passed iterTrackNumFromC  
// do stuff 
// call function that logs numeric values to futile.logger 
logNumericVecInR(); 
} 

void logNumericVecInR (char *Rfunc_logger, double *NumVec, int len_NumVec){   
    long nargs = 1;   
    void *arguments[1]; 
    arguments[0] = (double*)NumVec;  
    char *modes[1]; 
    modes[0] = "double";   
    long lengths[1]; 
    lengths[0] = len_NumVec;   
    char *results[1]; 
    // void call_R(char *func, long nargs, void **arguments, char **modes, long *lengths, char **names, long nres, char **results)  
    call_R(Rfunc_logger, nargs, arguments, modes, lengths, (char**)0, (long)1, results); 
} 

希望這有助於。如果R和C共享一個通用記錄器有一個更簡單的方法，請告訴我。

Answer 1

使用降雪程序中的futile.logger包的簡單方法是使用sfInitslaveOutfile=''選項，以便不重定向工作人員輸出。

library(snowfall) 
sfInit(parallel=TRUE, cpus=3, slaveOutfile='') 
sfLibrary(futile.logger) 
work <- function(i) { 
    flog.info('Got task %d', i) 
    i 
} 
sfLapply(1:10, work) 
sfStop() 

這是降雪接口雪makeClusteroutfile=''選項。它可能無法在GUI界面（如Rgui）上正常工作，具體取決於它們如何處理過程輸出，但它可以在Windows上使用Rterm.exe工作。

我認爲最好爲每個工人指定不同的日誌文件。這裏有一個例子：

library(snowfall) 
nworkers <- 3 
sfInit(parallel=TRUE, cpus=nworkers) 

loginit <- function(logfile) { 
    library(futile.logger) 
    flog.appender(appender.file(logfile)) 
    NULL 
} 
sfClusterApply(sprintf('out_%02d.log', seq_len(nworkers)), loginit) 

work <- function(i) { 
    flog.info('Got task %d', i) 
    i 
} 
sfLapply(1:10, work) 
sfStop() 

這樣就避免了所有的額外產出雪來的，並把每個員工的日誌信息到一個單獨的文件，它可以減少混亂。