我有一個每三分鐘運行一次的cron作業,它會從遠程API抽取一些數據,然後將其存儲在本地數據存儲中。但是,這會在數據存儲放置操作中佔用大量的CPU時間。我懷疑我可能做一些非常愚蠢的,可優化很多:如何最大限度地減少數據存儲使用的CPU時間
result = urllib2.urlopen(url).read()
foos = json.loads(result)['foo']
bars = json.loads(result)['bar']
models = []
for foo in foos:
d = FooContainer()
d.Property = foo.Value #in real code, this is setting a load of values based off foo
models.append(d)
for bar in bars:
d = BarContainer()
d.Property = bar.Value #in real code, this is setting a load of properties based off bar
models.append(d)
db.put(models)
正如你所看到的,我存儲每一塊回來在我的本地數據表的新「行」的數據。是否有一些技術可以用來減少此cron作業使用的大量數據存儲CPU時間?
您要保存多少個實體? – systempuntoout 2011-05-17 12:13:23
最新工作保存了217個小時和137個小節。大多數工作將大致相同 – Martin 2011-05-17 12:24:53