我認爲你需要read_csv
與參數sep=','
和names
的第一定義列名:
file = raw_input('\nEnter the Old CSV file: ')
file1 = raw_input('\nEnter the New CSV file: ')
cols = ['hostname','port','portname', ...]
A= pd.read_csv(file, index_col=False, header=None, sep=';', names=cols)
B= pd.read_csv(file1, index_col=False, header=None, sep=';', names=cols)
然後使用merge
與boolean indexing
比較,如果需要比較所有列:
df = pd.merge(A, B, how='outer', indicator=True)
df = df[df['_merge']=='left_only'].drop('_merge',axis=1)
df.to_csv('DIFF_'+file)
print "Completed!"
樣品:
import pandas as pd
from pandas.compat import StringIO
temp=u"""82.214.228.71;dsl-radius-02.direcpceu.com;PTR;tcp;111;rpcbind;open;;;syn-ack;;3;
82.214.228.70;dsl-radius-01.direcpceu.com;PTR;tcp;111;rpcbind;open;;;syn-ack;;3;
82.214.228.74;dsl-radius-02.direcpceu.com;PTR;tcp;111;rpcbind;open;;;syn-ack;;3;
82.214.228.75;dsl-radius-01.direcpceu.com;PTR;tcp;111;rpcbind;open;;;syn-ack;;3;"""
#after testing replace 'StringIO(temp)' to 'filename.csv'
cols = ['hostname','port','portname', 'a','b','c','d','e','f','g','h','i', 'j']
A = pd.read_csv(StringIO(temp), sep=";", names=cols)
print (A)
hostname port portname a b c \
0 82.214.228.71 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
1 82.214.228.70 dsl-radius-01.direcpceu.com PTR tcp 111 rpcbind
2 82.214.228.74 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
3 82.214.228.75 dsl-radius-01.direcpceu.com PTR tcp 111 rpcbind
d e f g h i j
0 open NaN NaN syn-ack NaN 3 NaN
1 open NaN NaN syn-ack NaN 3 NaN
2 open NaN NaN syn-ack NaN 3 NaN
3 open NaN NaN syn-ack NaN 3 NaN
temp=u"""82.214.228.75;dsl-radius-02.direcpceu.com;PTR;tcp;111;rpcbind;open;;;syn-ack;;3;
82.214.228.70;dsl-radius-01.direcpceu.com;PTR;tcp;111;rpcbind;open;;;syn-ack;;3;
82.214.228.77;dsl-radius-02.direcpceu.com;PTR;tcp;111;rpcbind;open;;;syn-ack;;3;
"""
#after testing replace 'StringIO(temp)' to 'filename.csv'
cols = ['hostname','port','portname', 'a','b','c','d','e','f','g','h','i', 'j']
B = pd.read_csv(StringIO(temp), sep=";", names=cols)
print (B)
hostname port portname a b c \
0 82.214.228.75 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
1 82.214.228.70 dsl-radius-01.direcpceu.com PTR tcp 111 rpcbind
2 82.214.228.77 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
d e f g h i j
0 open NaN NaN syn-ack NaN 3 NaN
1 open NaN NaN syn-ack NaN 3 NaN
2 open NaN NaN syn-ack NaN 3 NaN
df1 = pd.merge(A, B, how='outer', indicator=True)
print (df1)
hostname port portname a b c \
0 82.214.228.71 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
1 82.214.228.70 dsl-radius-01.direcpceu.com PTR tcp 111 rpcbind
2 82.214.228.74 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
3 82.214.228.75 dsl-radius-01.direcpceu.com PTR tcp 111 rpcbind
4 82.214.228.75 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
5 82.214.228.77 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
d e f g h i j _merge
0 open NaN NaN syn-ack NaN 3 NaN left_only
1 open NaN NaN syn-ack NaN 3 NaN both
2 open NaN NaN syn-ack NaN 3 NaN left_only
3 open NaN NaN syn-ack NaN 3 NaN left_only
4 open NaN NaN syn-ack NaN 3 NaN right_only
5 open NaN NaN syn-ack NaN 3 NaN right_only
#only values in A
df1 = df1[df1['_merge']=='left_only'].drop('_merge',axis=1)
print (df1)
hostname port portname a b c \
0 82.214.228.71 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
2 82.214.228.74 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
3 82.214.228.75 dsl-radius-01.direcpceu.com PTR tcp 111 rpcbind
d e f g h i j
0 open NaN NaN syn-ack NaN 3 NaN
2 open NaN NaN syn-ack NaN 3 NaN
3 open NaN NaN syn-ack NaN 3 NaN
#only values in B
df1 = pd.merge(A, B, how='outer', indicator=True)
df11 = df1[df1['_merge']=='right_only'].drop('_merge',axis=1)
print (df11)
hostname port portname a b c \
4 82.214.228.75 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
5 82.214.228.77 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
d e f g h i j
4 open NaN NaN syn-ack NaN 3 NaN
5 open NaN NaN syn-ack NaN 3 NaN
#same values in both dataframes
df12 = df1[df1['_merge']=='both'].drop('_merge',axis=1)
print (df12)
hostname port portname a b c \
1 82.214.228.70 dsl-radius-01.direcpceu.com PTR tcp 111 rpcbind
d e f g h i j
1 open NaN NaN syn-ack NaN 3 NaN
但如果需要只比較第一列hostname
使用isin
的面具,~
與boolean indexing
反相:
df2 = A[~A['hostname'].isin(B['hostname'])]
print (df2)
hostname port portname a b c \
0 82.214.228.71 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
2 82.214.228.74 dsl-radius-02.direcpceu.com PTR tcp 111 rpcbind
d e f g h i j
0 open NaN NaN syn-ack NaN 3 NaN
2 open NaN NaN syn-ack NaN 3 NaN
你想比較所有列,或者僅第一? – jezrael