데이터 프레임의 파이썬에서의 빠른 텍스트 처리

Question

저는 전자 상거래 데이터를 파이썬으로 작업하고 있습니다. 나는 그 데이터를 파이썬에 로딩하고 그것을 판다 데이터 프레임으로 변환했다. 이제 원하지 않는 문자, 불용어, 형태소 분석 등을 제거하는 것과 같은 데이터 처리를 수행하려고합니다. 현재 적용한 코드는 잘 작동하지만 시간이 많이 걸립니다. 나는 처리 할 데이터의 행이 약 2 백만 개이며 처리하는 데 영원히 걸립니다. 10,000 줄에 그 코드를 시도했는데 약 240 초가 걸렸습니다. 나는 이런 종류의 프로젝트를 처음으로 연구하고있다. 시간을 줄이는데 도움이 될 것입니다.

미리 감사드립니다.

from nltk.stem import PorterStemmer 
from nltk.corpus import stopwords 
import re 

def textprocessing(text): 
    stemmer = PorterStemmer() 
    # Remove unwanted characters 
    re_sp= re.sub(r'\s*(?:([^a-zA-Z0-9._\s "])|\b(?:[a-z])\b)'," ",text.lower()) 
    # Remove single characters 
    no_char = ' '.join([w for w in re_sp.split() if len(w)>1]).strip() 
    # Removing Stopwords 
    filtered_sp = [w for w in no_char.split(" ") if not w in stopwords.words('english')] 
    # Perform Stemming 
    stemmed_sp = [stemmer.stem(item) for item in filtered_sp] 
    # Converting it to string 
    stemmed_sp = ' '.join([x for x in stemmed_sp]) 
    return stemmed_sp 

는 그 dataframe에이 메서드를 호출하고 있습니다 :

files['description'] = files.loc[:,'description'].apply(lambda x: textprocessing(str(x))) 

당신은 사용자의 편의에 따라 모든 데이터를 취할 수 있습니다. 일부 정책으로 인해 데이터를 공유 할 수 없습니다.

Answer 1

당신이 형태소 분석기를 생성 한 루프를 완료하지 시도 할 수는/당신은 또한 unwant 단어 도움이 될 수 있습니다

from nltk.tokenize import RegexpTokenizer 
STEMMER = PorterStemmer() 
STOP_WORD = stopwords.words('english') 
TOKENIZER = RegexpTokenizer(r'\w+') 
def textprocessing(text): 
    return ''.join(STEMMER.stem(item) for token in TOKENIZER.tokenize(test.lower()) if token not in STOP_WORD and len(token) > 1)