MATLAB中的ismember（）函數的快速版本

Question

我的問題是關於尋找一種替代方法來以更快的方式在MATLAB中執行什麼ismember()。

這裏是我的問題：

M [92786253*1] (a: roughly 100M rows) 
x [749*1]  (b: # of rows can vary from 100 to 10K) 

我想找到b行是共同存在於a（的行索引）。 對於不同版本的b，此操作需要重複約10M次。

的一般做法：

tic 
ind1 = ismember(M,x); 
toc 

Elapsed time is 0.515627 seconds. 

快速方法：

tic 
n = 1; 
ind2 = find(any(all(bsxfun(@eq,reshape(x.',1,n,[]),M),2),3)); 
toc 

Error using bsxfun 
Requested 92786253x1x749 (64.7GB) array exceeds maximum array size preference. 
Creation of arrays greater than this limit may take a long time and cause MATLAB to become unresponsive. 
See array size limit or preference panel for more information. 

Error in demo_ismember_fast (line 23) 
ind2 = find(any(all(bsxfun(@eq,reshape(x.',1,n,[]),M),2),3)) 

第二種方法通常比正常的速度更快的15-20倍，但是在這種情況下，我不能用它來限制內存。有沒有任何建議如何加快這一行動？感謝您與我分享專家意見！

Answer 1

如果您可以使用排序的a這裏有兩種替代方法。在開始100M迭代之前，一些需要的輸入變量和輸出變量ind被初始化，並且在每次迭代ind被修改，並且最後所有元素被設置爲false;

interp1：

s=sort(M); 
edge = [-Inf s(2:end) Inf]; 
v = [1:numel(M) numel(M)]; 
ind = false(size(M)); 
%for ... 100M iterations 
    tic 
    bin = interp1(edge,v,x,'previous'); 
    ind(bin)= ind(bin)==x; 
    toc 
    %... 
    ind(bin) = false;%at the end of each loop set all elements of ind to 0; 
%end 

histcounts：

​​

Answer 2

您可能會發現內部（內置）ismembc功能非常有用 - 它可以是一個數量級比ismember快：http://UndocumentedMatlab.com/blog/ismembc-undocumented-helper-function

不是e ismembc只適用於排序的非稀疏非Nan數字數據。