我的代碼效率低下還是我的任務很難？

Question

希望有人能幫到這裏嗎？

我已經寫了一些代碼來執行查找任務，並且需要很長時間才能完成 - 遠比看起來要長。出於保密原因，我無法描述確切的任務，但我可以給出一個直接類似的問題。

比方說，我有一個數據庫，其中包含一個單詞列表和一組與這些單詞相對應的值。說，顏色和多少這些顏色是喜歡的。

現在，我有一個文本，我想將本文中的所有單詞與我的顏色數據庫進行比較，如果匹配存在，我從數據庫中提取「喜歡」評分並記錄下來。當文本中的所有單詞與數據庫匹配（或不匹配）時，「喜歡」評分的總和就是我的輸出。

與我寫的代碼相當於下面的代碼，它對我給出的玩具示例很有用。但是，我的實際問題包含一個40k條目的數據庫，文本通常包含約500個單詞;文本中的大部分單詞都將在數據庫中。當我運行它時，需要數小時才能執行。我知道，將500個單詞與40k個條目的數據庫匹配意味着大約20m比較的數量級。 小時？

任何人都可以建議我是否在有限的硬件上做計算密集型問題，或者我的代碼只是大量低效？

謝謝！

import pandas as pd 
import nltk as nltk 

####### Creates toy data to test code on ### 

colour = ['red', 'orange', 'yellow', 'green', 'blue', 'indigo', 'violet'] 
values = [1,2,3,4,5,6,7] 

df1 = pd.DataFrame({'colour': ['red', 'orange', 'yellow', 'green', 'blue', 'indigo', 'violet']}) 

df2 = pd.DataFrame({'value': [1,2,3,4,5,6,7]}) 

dfs = [df1, df2] 

###### Code proper begins below 

data = pd.concat(dfs, axis = 1) ######## Dataframe 


#### Sample words 
words = ['red', 'orange', 'yellow', 'green', 'blue', 'indigo', 'violet', 'cyan', 'white', 'black', 'pink', 'grey', 'scarlet'] 


#### Lists into which words are put post-analysis 
rating = 0 
rated = [] 
unrated = [] 

####### Code 

for i in words: 
    for j in range(len(data['colour'])): 
     if i == data['colour'][j]: 
      rating = rating + data['value'][j] 
      rated.append(i) 
      break 
     elif i not in unrated and i not in data.values: ### Ensures each unrated word is entered only once. 
      unrated.append(i) 

Answer 1

讓我們先從一些數學......如果你在你的DB 40000項，您需要檢查500個字（無特別明顯的規則），您將需要執行20000000個比較。這不是一項小任務。其次，假設您正在比較字符串（單詞），您還在做一些CASE操作（例如，確保「RED」，「Red」，「REd」，「ReD」，...，「red」被認爲是相同的值）。

因此，總而言之，您應該預計至少需要幾秒鐘的時間。但不是HOURS（除非你使用8086處理器:-)）。

最後，您的代碼似乎是不完整的，因此無法檢查。

Answer 2

好的，我從離線的人那裏得到了一些建議，這在這裏造成了很大的變化;對於有類似問題的人來說，這可能會很有用。看來我最大的瓶頸在於：

elif i not in unrated and i not in data.values: 

這是因爲data.values是一個數組，它需要時間來搜索。創建變量

words = set(data1['Word'].values) 

，輪流陣列成一組，並把該進入循環，而不是在陣列的下降執行時間爲1小時+至約3分鐘。這還是很慢，但比它好。

Answer 3

您需要對關鍵字建立索引，以便在O（1）時間內查找文本中的每個單詞。如果數據集可以裝入內存（並用40K的話，應該沒問題），也可以是這樣簡單：

sentiment_index = dict(zip(colour, values)) 
rated = set() 

for i in words: 
    i = i.lower() 
    rating += sentiment_index.get(i, 0) 
    rated.add(i) 

你也可以寫rating += sentiment_index[i]，這是同樣快。但是，那麼你需要一個存在檢查，我通過使用默認值get()來避免。當然，我添加了一組評價詞。如果您確實需要將查找委託給數據庫，請在數據框中添加索引以加快查找速度。