使用帶有火花的DEAP（遺傳算法庫）

Question

IT可以使用DEAP（http://deap.readthedocs.io/en/master/）和火花簇來映射適應性評估函數。我想運行一個遺傳算法，但適應函數相當長，我計劃將它分佈在一個火花簇中。

Answer 1

您應該查看DEAP文檔中的Using Multiple Processors部分以及此example。他們解釋瞭如何用地圖函數替換您選擇的函數中的地圖函數在DEAP toolbox中。

要使用pyspark映射的適應度評價功能，你可以做這樣的事情：

from pyspark import SparkContext 

sc = SparkContext(appName="DEAP") 

def sparkMap(algorithm, population): 
    return sc.parallelize(population).map(algorithm) 

toolbox.register("map", sparkMap)