으로 파이썬에서 열린 나는이 항목이 큰 파일이 파이썬

Question

를 사용하여 목록에서 중복 항목을 제거 NAME1 ","UGA ","GGU ']

['DEF ','chr9 ','14855289 ', NAME19', 'UCG', 'GUC']

[ 'TTC', 'chr9 ','793946 ','NAME178 ','CAG ','GUC ']

,451,515,

[ 'ABC', 'chr9', '3468582', 'NAME272', 'UGT', 'GCU']

I에서만 고유 항목을 추출하고, COL1 동일 값 엔트리를 제거 할 필요

, COL2 및 col3. 이 경우 마지막 줄은 col1, col2 및 col3을 기준으로 한 줄 1과 같습니다.

내가 두 가지 방법을 시도했지만 실패했다

:

방법 1 :

outlist=[] 

for element in parsed_in:  
    if element[0:3] not in outlist[0:3]: 
    outlist.append(element) 

방법 2 :

outlist=[] 
parsed_list=list(parsed_in) 
for element in range(0,len(parsed_list)): 
    if parsed_list[element] not in parsed_list[element+1:]: 
    outlist.append(parsed_list[element]) 

이 둘의 기준으로 모든 항목이 아닌 고유 한 항목을 다시 제공 처음 세 개의 열.

그렇게

AK

Answer 1

당신은 아마도 자신을 추가하는 동안 요소의 전체 검사를 저장하기 위해 O (1) 조회를 사용하려면, 그리고 Caol Acain 말한 것처럼, 그것을 할 수있는 좋은 방법입니다 설정합니다. 당신은 교대로 행 키를 매핑 사전을 사용할 수도

outlist=[] 
added_keys = set() 

for row in parsed_in: 
    # We use tuples because they are hashable 
    lookup = tuple(row[:3])  
    if lookup not in added_keys: 
     outlist.append(row) 
     added_keys.add(lookup) 

, 그러나 이것은 당신이 입력의 순서를 유지하지 것이라고 경고있을 것입니다 : 뭔가처럼 당신이 원하는 무엇

입니다 따라서 목록과 키 세트를 사용하면 주문을 파일로 유지할 수 있습니다.

Answer 2

이 세트에 목록을 변환 할 날 수있는 방법을 제안하십시오!

http://docs.python.org/tutorial/datastructures.html#sets