대용량 파일이 존재하는지 테스트하는 가장 좋은 방법

Question

대용량 파일이 메모리에로드되지 않고 있는지 테스트하는 가장 효율적인 방법은 무엇입니까? 존재하지 않거나 읽을 수없는 경우 다운로드하십시오. 목표는 팬더 DataFrame에 데이터를 업로드하는 것입니다.

작은 조각으로 테스트 한 스 니펫을 작성했습니다. 정확성과 pythonic 프로그래밍은 어떨까요?

url = "http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv" # 4.7kB 
file = "./test_file.csv" 

try: 
    df_data = pd.read_csv(file, index_col=0) 

except FileNotFoundError: 
    df_data = pd.read_csv(url, index_col=0) 
    df_data.to_csv(file) 

Answer 1

당신은 URL에서 파일이 존재하는지 확인하고로드 할 수 있습니다 .path.isfile (file)이 나에게 가장 좋은 해결책 인 것 같습니다. 거대한 파일을 다운로드하기 전에 확인하십시오 :

if not os.path.isfile(file): 
     urllib.urlretrieve(url, file) 
df_data = pd.read_csv(file, index_col=0) 

그것은 내 상황에서 (메모리에 업로드 한 후 디스크 에디터를 이용해 등) URL에서 메모리에 직접 업로드하는 것보다 느리지 만 안전합니다 ... 당신은`통과 할 수있는 모든

Answer 2

을 당신이 try을 사용하고 FileNotFoundError를 잡을 수 있다고 생각 : 그렇지 않은 경우

url = "http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv" # 4.7kB 
file = "./test_file.csv" 

try: 
    os.open(file, os.O_RDONLY) 
    df_data = pd.read_csv(file, index_col=0) 

except: 
    df_data = pd.read_csv(url, index_col=0) 
    df_data.to_csv(file) 

Answer 3

OS :

import os 
import pandas as pd 

url = "http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv" 
f = "./test.csv" 

if os.path.exists(f): 
    df = pd.read_csv(f) 
else: 
    df = pd.read_csv(url)