如何將一個CSV中的一行與另一個CSV文件中的所有行進行比較？

Question

我有兩個CSV文件：

1. 其中有10個行
2. Location(Address,no,City)其中有100行

我需要提取列，並在Identity與Location CSV文件檢查no列Identity(no,name,Age) 。

從Identity CSV文件獲取單行並檢查Identity.no與Location.no在Location CSV文件中有100行。

如果匹配然後再結合name, Age, Address, City在Identity, Location

注：我需要得到第一排從Identity在Location CSV文件有100行比較，然後讓第二排與100行進行比較。在Identity CSV文件中將繼續最多10行。

並將整體結果轉換爲Json.然後將結果移入SQL Server。

在Apache Nifi中可以嗎？

任何幫助表示讚賞。

Answer 1

您可以使用DistributedMapCache功能在NiFi中執行此操作，該功能爲查找實現鍵/值存儲。該設置需要一個分佈式映射緩存，另外還有兩個流 - 一個用您的地址記錄填充緩存，另一個用no字段查找地址。

1. 的DistributedMapCache由兩個控制器服務，DistributedMapCacheServer和DistributeMapCacheClientService限定。如果你的數據集很小，你可以使用「localhost」作爲服務器。

2. 填充緩存需要讀取地址文件，拆分記錄，提取no密鑰，並將鍵/值對放入緩存。近似流程可能包括GetFile - > SplitText - > ExtractText - > UpdateAttribute - >PutDistributedMapCache。

3. 查找您的身份記錄實際上與上述流程非常相似，因爲它需要讀取身份文件，拆分記錄，提取密鑰，然後獲取地址記錄。處理器流程可能包括GetFile - > SplitText - > ExtractText - > UpdateAttribute - >FetchDistributedMapCache。

您可以從CSV全部或部分轉換成JSON與AttributesToJSON，也許ExecuteScript。