的BufferedReader的ReadLine在一個線程

Question

讀書時，我是新來的在Java併發編程。

我需要閱讀，分析和處理一個非常快速增長的日誌文件，所以我一定是 快。 我的想法是讀取文件（逐行）並且在匹配相關的行我想 傳遞者行單獨的線程，可以上線做進一步的處理。 我在下面的示例代碼中調用了這些線程「IOThread」。

我的問題是，在IOthread.run（）的BufferedReader中的readline顯然從未返回。 什麼是讀取線程內流的工作方式？ 有沒有比以下更好的方法？

import java.io.BufferedReader; 
import java.io.FileReader; 
import java.io.InputStream; 
import java.io.InputStreamReader; 
import java.io.PipedInputStream; 
import java.io.PipedOutputStream; 

class IOThread extends Thread { 
    private InputStream is; 
    private int t; 

    public IOThread(InputStream is, int t) { 
     this.is = is; 
     this.t = t; 
     System.out.println("iothread<" + t + ">.init"); 
    } 

    public void run() { 
     try { 
      System.out.println("iothread<" + t + ">.run"); 
      String line; 

      BufferedReader streamReader = new BufferedReader(new InputStreamReader(is)); 
      while ((line = streamReader.readLine()) != null) { 
       System.out.println("iothread<" + t + "> got line " + line); 
      } 
      System.out.println("iothread " + t + " end run"); 
     } catch (Exception e) { 
      e.printStackTrace(); 
     } 
    } 
} 

public class Stm { 
    public Stm(String filePath) { 
     System.out.println("start"); 

     try { 
      BufferedReader reader = new BufferedReader(new FileReader(filePath)); 

      PipedOutputStream po1 = new PipedOutputStream(); 
      PipedOutputStream po2 = new PipedOutputStream(); 
      PipedInputStream pi1 = new PipedInputStream(po1); 
      PipedInputStream pi2 = new PipedInputStream(po2); 
      IOThread it1 = new IOThread(pi1,1); 
      IOThread it2 = new IOThread(pi2,2); 

      it1.start(); 
      it2.start(); 
//   it1.join(); 
//   it2.join(); 

      String line; 
      while ((line = reader.readLine()) != null) { 
       System.out.println("got line " + line); 

       if (line.contains("aaa")) { 
        System.out.println("passing to thread 1: " + line); 
        po1.write(line.getBytes()); 
       } else if (line.contains("bbb")) { 
        System.out.println("passing to thread 2: " + line); 
        po2.write(line.getBytes()); 
       } 
      } 
      reader.close(); 
     } catch (Exception e) { 
      e.printStackTrace(); 
     } 
    } 

    public static void main(String[] args) { 
     new Stm(args[0]); 
    } 

} 

一個例子的輸入文件是：

line 1 
line 2 
line 3 aaa ... 
line 4 
line 5 bbb ... 
line 6 aaa ... 
line 7 
line 8 bbb ... 
line 9 bbb ... 
line 10 

呼叫上面的代碼與輸入文件作爲參數的文件名。

Answer 1

恕我直言，你已完成了倒退。爲「處理」內容創建多個線程，而不是從文件中讀取數據。當從文件讀取數據時，您無論如何都是瓶頸，因此擁有多個線程並沒有什麼區別。最簡單的解決方案是在給定線程中儘可能快地讀取線，並將線存儲在共享隊列中。然後可以通過任意數量的線程訪問該隊列以執行相關處理。

這樣，當I/O或讀取器線程忙於讀取/等待數據時，您實際上可以執行併發處理。如果可能，在閱讀器線程中將「邏輯」保持在最小值。只要閱讀這些行，讓工作線程完成真正的繁重工作（匹配模式，進一步處理等）。只需要一個線程安全的隊列，你應該是猶太教。

編輯：使用BlockingQueue的一些變體，無論是基於數組或基於鏈表。

Answer 2

由於以下原因，您在iothread中的讀者始終處於第一次循環的頭部： 您從STM線程傳遞讀取行的內容，但不添加新行字符（\ n）。由於緩衝讀取器等待一個新的行字符（如.readLine（）），它會一直等待。你可以修改你的代碼是這樣的：

if (line.contains("aaa")) { 
       System.out.println("passing to thread 1: " + line); 
       byte[] payload = (line+"\n").getBytes(); 
       po1.write(payload); 
      } else if (line.contains("bbb")) { 
       System.out.println("passing to thread 2: " + line); 
       byte[] payload = (line+"\n").getBytes(); 
       po2.write(payload); 
      } 

但是我不得不說，這是不是在所有的一流解決方案，你可以使用一個阻塞隊列或類似的內容提供您IOThreads東西。這樣你就可以避免把你的輸入轉換成字符串轉換爲字符串並返回字符串（不是說擺脫所有的流）。