파이썬 : 파일에서 토큰을 만드는 방법?

Question

저는 파이썬에서 초보자입니다. 파일에서 트위터 데이터를 토큰 화하는 방법을 알고 싶습니다.

내 코드는 다음과 같습니다

with codecs.open('example.csv', 'r',"utf-8") as f: 
    for line in f: 
     tweet = f.readlines() 
     tokens = word_tokenize(tweet["text"]) 
     print(tokens) 

그러나 오류 :

--------------------------------------------------------------------------- 
TypeError         Traceback (most recent call last) 
<ipython-input-15-98b6d77c2fcf> in <module>() 
     2  for line in f: 
     3   tweet = f.readlines() 
----> 4   tokens = word_tokenize(tweet["text"]) 
     5   print(tokens) 

TypeError: list indices must be integers or slices, not str 

가 어떻게 내 코드를 향상시킬 수 있습니까?

Answer 1

는 업데이트 :

확인, 첫 번째 것들 먼저 ... 나는 내 테스트를하기 위해 this (트윗과 sample.csv) 파일을 사용했다. 이 테스트 스크린 샷에 따라 작동하고

import codecs 
import nltk 

nltk.download('punkt') 

with codecs.open('example.csv', 'r') as f: 
    for line in f: 
     tweet = f.readlines() 

     tokenized_sents = [nltk.word_tokenize(i) for i in tweet] 
     for i in tokenized_sents: 
      print(i) 

:

---

흠 .... 당신이 문자열을 전달하는 여기에 귀하의 예에 따라, 간단한 코드입니다 짹짹 [ "텍스트"]) 하나의 인수를 정수로 받아들이는 word_tokenize.

with codecs.open('example.csv', 'r',"utf-8") as f: 
    for line in f: 
     tweet = f.readlines() 

     tokenized_sents = [word_tokenize(i) for i in tweet] 
     for i in tokenized_sents: 
      print i 

Answer 2

같은

그것이 있어야 뭔가 당신이 선을 반복 경우 readlines 메쏘드 호출 할 필요가 없습니다 : 당신이 열 "짹짹"사용과 CSV를 읽으려면

with codecs.open('example.csv', 'r',"utf-8") as f: 
    for line in f: 
     # line is each line 

을 이 : CSV module 및에

import csv 
from nltk import word_tokenize 
with open('example.csv', 'r') as csvfile: 
    reader = csv.DictReader(csvfile) 
    for row in reader: 
     tweet = row["tweet"] 
     print("Tweet: %s" % tweet) 
     tokens = word_tokenize(tweet) 
     print(tokens) 

참조 파이썬 3 설명서 0.