程序只在第一個程序後的運行中寫入文件

Question

該程序檢查url是否導致404，如果有，它會將用戶名寫入文件。我試圖添加多處理，以便程序運行得更快，因爲有些時候我會用1000行的文本文件輸入文本文件，這需要很長時間。但是，我第一次運行這個程序（當輸出文本文件爲空時），它不會向輸出文本文件寫入任何內容。它只能在第2,3,4 ...次運行時開始寫入輸出文件。

#program checks twitch accounts in a file. 
#writes accounts which aren't taken to another file. 
import requests 
from multiprocessing import Pool 
x = "0" 

accounts = open('accounts.txt', 'r') 
valid_accounts = open('valid accounts.txt', 'a') 

base_url = "https://www.twitch.tv/" 

def check(x): 
    for line in accounts: 
     url = base_url + line 
     twitch_r = requests.get(url) 
     if twitch_r.status_code == 404: 
      valid_accounts.write(line + "\n") 



def Main(): 
    p = Pool(processes=25) 
    p.imap(check, x) 
    accounts.close() 
    valid_accounts.close() 



if __name__ == "__main__": 
    Main() 

Answer 1

你的主要問題是，你使用imap，而不是map。 imap是非阻塞的，這意味着您的主進程在進程運行之前退出。我有點驚訝，它的工作有時，因爲我認爲它應該工作從來沒有。

這就是說，有幾個問題，你的程序：

• 的檢查方法，在不同的進程中運行，股較行一個文件處理程序和迭代。這只是偶然的工作（例如，它不會在Windows上工作），並且是不好的做法（把它放在中間）。您應該首先讀取文件，然後將這些行分配給進程
• 對寫入文件同樣適用。雖然追加到一個文件是安全的也跨越進程，但更好的設計將把它放在父進程末尾
• map和imap被認爲運行在參數列表上，然後返回結果（映射值）
• 離開了processes=20所以Python可以找出進程的最佳數量的基礎上基於這些東西你的電腦有多少個核具有

，這是代碼，我建議：

# program checks twitch accounts in a file. 
# writes accounts which aren't taken to another file. 
import requests 
from multiprocessing import Pool, Queue 

base_url = "https://www.twitch.tv/" 

def check(line): 
    twitch_r = requests.get(base_url + line) 
    if twitch_r.status_code == 404: 
     return line 

def Main(): 
    queue_in = Queue() 
    queue_out = Queue() 
    p = Pool() 

    with open('accounts.txt', 'r') as accounts: 
     lines = accounts.readlines() 

    results = p.map(check, lines) 
    results = [r for r in results if r != None] 
    with open('valid accounts.txt', 'a') as valid_accounts: 
     for result in results: 
      valid_accounts.write(result) 

if __name__ == "__main__": 
    Main() 

唯一要注意的是，您需要刪除Noneresults，因爲check(line)返回None所有的結果都不是404的網址。

更新：

用約翰的解決方案之後，該程序正在按預期

我懷疑它。由於你在windows上，每個進程都有它自己的文件處理程序，指向accounts.txt，並且將遍歷所有行。所以，你最終20次檢查每個URL和多不伺候你

我使用IMAP，因爲我讀了IMAP不返回一個列表（？）

號地圖的與IMAP在這種情況下，所不同的僅僅是地圖等待，直到所有工序均由內部完成（因此，你不需要調用join）。

關於地圖vs imap的更全面討論see here

Answer 2

你應該在Main()末調用p.close()然後p.join()。

Answer 3

你是不是通過你的帳戶池地圖

p.imap(check, accounts)