python如何获得多列下所有行对之间的差异

我有两个CSV文件,两个文件都有多个列和行,我期待着在这两个文件的所有行中得到差异。假设 Asset Tag Number 然后在文件之间以任何形式突出显示差异(可以是粗体的值或适当的值),此外,我们这里有一个键 Serial Number 在两个文件上都是唯一的。因此,最好将行的差异放入一个新的.csv文件中,并在删除相同行的同时突出显示这些差异。

只是为了参考,我有两个超过100列的文件。。

我的实际数据列如下所示。

Columns: [Asset Tag Number_a, Serial Number_a, System Name_a, Domain_a, System manufacturer_a, Model Name_a, System Type_a, Critical Level_a, Purpose Level 1_a, Purpose2_a, ShareIndv_a, Site_a, Building_a, Room_a, Rack_a, serverCostCenter_a, User ID   BU Grp Mgr_a, OS Name_a, OS Version_a, OS Type_a, Service Pack_a, Notification Group_a, Off The Network_a, First Name_a, Last Name_a, Manager Name_a, Status_a, BU Cost Center_a, BU CC Description_a, Organization Name_a, Higher Level BU_a, Business Contact_a, Description_a, Asset Type_a, System Type SW_a, Server _a, Host ID(Unix)_a, IP Address_a, MAC Address_a, Installed RAM_a, Disk Capacity_a, Installed Disk_a, Server Status _a, High Level Status_a, Lifecycle Status_a, EndOfLifeDate_a, Last Audit_a, AltVersion_a, BIOS Vendor_a, BIOS Version_a, BIOS Release Date_a, SMBIOS Enabled_a, SMBios Version_a, Region_a, Currency_a, Acquisition Cost USD_a, Net Book Value USD_a, CPU Type_a, CPU Speed_a, Acquisition Date_a, Age_a, DateModified_a, Altiris Exception_a, Inventory Owner_a, Last Logon User_a, Inventory Owner Last Logon User_a, Client Date_a, Reporting Status_a, Contact Status_a, Comments_a, Exception Reason_a, DNR_a, Asset Tag Number_b, Serial Number_b, System Name_b, Domain_b, System manufacturer_b, Model Name_b, System Type_b, Critical Level_b, Purpose Level 1_b, Purpose2_b, ShareIndv_b, Site_b, Building_b, Room_b, Rack_b, serverCostCenter_b, User ID   BU Grp Mgr_b, OS Name_b, OS Version_b, OS Type_b, Service Pack_b, Notification Group_b, Off The Network_b, First Name_b, Last Name_b, Manager Name_b, Status_b, BU Cost Center_b, ...]
Index: []

作为一个新的熊猫学习者,我应用了fews的代码方法,但似乎不太合适,因此寻求了慷慨的帮助和建议。。

1)尝试了第一个代码。。

#!/grid/common/pkgs/python/v3.6.1/bin/python3
import pandas as pd

A = pd.read_csv('a.csv', index_col=0)
B = pd.read_csv('b.csv', index_col=0)

C = pd.merge(left=A,right=B, how='outer', left_index=True, right_index=True, suffixes=['_a', '_b'])

not_in_a = C.drop( A.index )
not_in_b = C.drop( B.index )

not_in_a.to_csv('not_in_a.csv')
not_in_b.to_csv('not_in_b.csv')

2)尝试了另一个代码,但是输出的宽度太大,很难阅读,而这个片段应该删除重复的部分,只打印有差异的部分。。

from __future__ import print_function
from signal import signal, SIGPIPE, SIG_DFL
signal(SIGPIPE,SIG_DFL)
import csv
import pandas as pd


##### Python pandas, widen output display to see more columns. ####
pd.set_option('display.height', None)
pd.set_option('display.max_rows', None)
pd.set_option('display.max_columns', None)
pd.set_option('display.width', None)
pd.set_option('expand_frame_repr', True)

a = pd.read_csv('a.csv')
b = pd.read_csv('b.csv')
c = pd.concat([a,b], axis=0)

c.drop_duplicates(keep='first', inplace=True)
c.reset_index(drop=True, inplace=True)
print(c)

我在google上搜索了一下,找到了一些关于这个主题的堆栈溢出讨论。然而,在线程中有一些不错的解决方案,但我觉得没有什么可以满足我的要求,因此我在这里张贴。

3)另一个部分工作的python集应用的代码。。

#!/grid/common/pkgs/python/v3.6.1/bin/python3
import os
orig = open('aa.csv','r')
new = open('bb.csv','r')
bigb = set(new) - set(orig)
print(bigb)
# Write to output file
with open('different.csv', 'w') as file_out:
    for line in bigb:
        file_out.write(line)
    orig.close()
    new.close()
    file_out.close()

我有以下两个样本文件供参考,它们看起来与我的数据相似,在这里我们可以 序列号 作为输出逻辑和代码的关键。

下面是我的两个csv文件file1.csv&file2.csv

文件1:

wrkStaId                     Asset Tag Number  Serial Number System Name
                                                              mac-ymatsuok2
                                                              PC-ABNER-W10
                                                              PC-ADAMLIN-W10                                                                                              
{ED0CCFFD-28D6-4170-9DE9-0DFB83F49193}    1234     ser123         sfreder
{8AEAF485-A4FF-460C-91FA-0DFCAD79DD24}    3456     ser124         10210277      
{E6204B69-DABB-4A1E-906B-0DFD2BCEDA41}    456      ser345         A313819
{445EC096-A70C-47D1-91FF-0DFE747F762A}    4485     ser900         dgs1sj

示例文件2:

    wrkStaId                Asset Tag Number Serial Number  System Name
                                                            mac-ymatsuok2
                                                            PC-Karn-W10
                                                            PC-ADAMLIN-W10
                                                            PC-ADRIANA-W10
   {ED0CCFFD-28D6-4170-9DE9-0DFB83F49193}   1234 ser123     sfreder
   {8AEAF485-A4FF-460C-91FA-0DFCAD79DD24}   3456 ser124     10210277
   {E6204B69-DABB-4A1E-906B-0DFD2BCEDA41}   1709 ser345     A313819
   {445EC096-A70C-47D1-91FF-0DFE747F762A}   4485 ser900     dgs1sj

期望结果:您希望如何表示差异,如下所示 是非数值。要打印这两行吗 不同于一个新文件,如果它们相同,则删除它们?

答复: Yes

期望输出。。

文件1中不在文件2中的差异

wrkStaId                     Asset Tag Number  Serial Number System Name
                                                              PC-ABNER-W10                                                                                                
{E6204B69-DABB-4A1E-906B-0DFD2BCEDA41}    456      ser345         A313819

文件2中的差异不在文件1中

    wrkStaId                Asset Tag Number Serial Number  System Name
                                                            PC-Karn-W10
                                                            PC-ADRIANA-W10
   {E6204B69-DABB-4A1E-906B-0DFD2BCEDA41}   1709 ser345     A313819

非常感谢@w-m,但是我仍然希望能从SO的专家那里透露更多的想法。