팬더에 시작일을 지정하지 않고 Yahoo의 모든 과거 데이터를 얻는 방법은 무엇입니까?

Question

저는 데이터 분석을 위해 python + pandas를 배우고 있습니다. 나는 연습 문제로 몇 가지 투자 아이디어를 프로그램하려고합니다. pandas는 Yahoo와 Google과 같은 온라인 소스에서 데이터를 가져 오는 io.data 모듈을 제공합니다.

def _sanitize_dates(start, end): 
from pandas.core.datetools import to_datetime 
start = to_datetime(start) 
end = to_datetime(end) 
if start is None: 
    start = dt.datetime(2010, 1, 1) 
if end is None: 
    end = dt.datetime.today() 
return start, end 

모든 주식이 다른 날짜에 IPOed 이후 : data.py

http://github.com/pydata/pandas/blob/master/pandas/io/data.py에 다음 코드에 지정된 그러나, 그들은 모두 기본적으로 "2010.01.01"입니다 시작 날짜를 필요로 역사상, 각 시세에 대해 지정하는 것은 매우 어려울 것입니다. 팬더가 모든 데이터를 읽도록하는 옵션이 있다면 좋지 않을까요? 50 세의 상장 회사의 경우에도 데이터는 ~ 50 * 200 = 10,000 행에 불과합니다. 파이썬은 그것을 처리하는 것이 좋습니다. 맞습니까?

도움 주셔서 감사합니다. Wes와 다른 판다 기고가들에 대한 나의 경례. 팬더는 위대하다!

Answer 1

간단한 해결책은 몇 가지 일반적인 시작일 (정보가 존재하지 않을 것임)을 가정하는 것입니다. 1970 년 1 월 1 일은 공정한 선택처럼 보입니다.

In [55]: from pandas.io.data import DataReader 
In [56]: from datetime import datetime 
In [57]: df_1=DataReader("AAPL", "yahoo", datetime(1970,1,1), datetime(2013,10,1)) 
In [58]: df_1 
Out[58]: 
<class 'pandas.core.frame.DataFrame'> 
DatetimeIndex: 7330 entries, 1984-09-07 00:00:00 to 2013-10-01 00:00:00 
Data columns (total 6 columns): 
Open   7330 non-null values 
High   7330 non-null values 
Low   7330 non-null values 
Close  7330 non-null values 
Volume  7330 non-null values 
Adj Close 7330 non-null values 
dtypes: float64(5), int64(1) 

이제, 우리는 1984년 9월 7일으로 시작 날짜를 선택하고 우리가 같은 DataFrame로 끝나는하여, 같은 데이터를 가져 오는 것을 준수하여야한다.

In [59]: df_2 = DataReader("AAPL", "yahoo", datetime(1984,9,7), datetime(2013,10,1)) 
In [60]: df_2 
Out [60]: 
<class 'pandas.core.frame.DataFrame'> 
DatetimeIndex: 7330 entries, 1984-09-07 00:00:00 to 2013-10-01 00:00:00 
Data columns (total 6 columns): 
Open   7330 non-null values 
High   7330 non-null values 
Low   7330 non-null values 
Close  7330 non-null values 
Volume  7330 non-null values 
Adj Close 7330 non-null values 
dtypes: float64(5), int64(1) 

Answer 2

야후 재고 데이터는 패널 일단 1962 년 1 월에 다시 가고 dataframes 당신이 날짜 인덱스로 슬라이스 수 있습니다 만든 것으로 보인다. 참고로, 멀리 과거로 돌아갈 것이기 때문에 '닫기'대신 'Adj Close'를 사용할 수 있습니다.

import numpy as np 
import pandas as pd 
from pandas.io.data import DataReader 

symbols_list = ['GE', 'IBM','MSFT'] 
d = {} 
for ticker in symbols_list: 
    d[ticker] = DataReader(ticker, "yahoo", '1950-01-01') 
pan = pd.Panel(d) 
#also use 'Open','High','Low','Adj Close' and 'Volume' 
df_closing_prices = pan.minor_xs('Close') 

# print the first 4 rows of the dataframe that has the closing prices 
print(df_closing_prices.head(4)) 

# create a dataframe with that has data on only one stock symbol 
df_individual = pan.get('GE') 

#print the first 4 rows of a dataframe that has only one stock symbol 
print(df_individual.head(4)) 

#create a dataframe for an individual ticker composed of percent changes 
df_percent_chg = df_individual.pct_change() 

#complete_sp500 = ['A', 'AA', 'AAPL', 'ABBV', 'ABC', 'ABT', 'ACE', 'ACN', 'ACT', 'ADBE', 'ADI', 'ADM', 'ADP', 'ADS', 'ADSK', 'ADT', 'AEE', 'AEP', 'AES', 'AET', 'AFL', 'AGN', 'AIG', 'AIV', 'AIZ', 'AKAM', 'ALL', 'ALLE', 'ALTR', 'ALXN', 'AMAT', 'AME', 'AMG', 'AMGN', 'AMP', 'AMT', 'AMZN', 'AN', 'ANTM', 'AON', 'APA', 'APC', 'APD', 'APH', 'ARG', 'ATI', 'AVB', 'AVGO', 'AVP', 'AVY', 'AXP', 'AZO', 'BA', 'BAC', 'BAX', 'BBBY', 'BBT', 'BBY', 'BCR', 'BDX', 'BEN', 'BF.B', 'BHI', 'BIIB', 'BK', 'BLK', 'BLL', 'BMY', 'BRCM', 'BRK.B', 'BSX', 'BWA', 'BXP', 'C', 'CA', 'CAG', 'CAH', 'CAM', 'CAT', 'CB', 'CBG', 'CBS', 'CCE', 'CCI', 'CCL', 'CELG', 'CERN', 'CF', 'CFN', 'CHK', 'CHRW', 'CI', 'CINF', 'CL', 'CLX', 'CMA', 'CMCSA', 'CME', 'CMG', 'CMI', 'CMS', 'CNP', 'CNX', 'COF', 'COG', 'COH', 'COL', 'COP', 'COST', 'COV', 'CPB', 'CRM', 'CSC', 'CSCO', 'CSX', 'CTAS', 'CTL', 'CTSH', 'CTXS', 'CVC', 'CVS', 'CVX', 'D', 'DAL', 'DD', 'DE', 'DFS', 'DG', 'DGX', 'DHI', 'DHR', 'DIS', 'DISCA', 'DISCK', 'DLPH', 'DLTR', 'DNB', 'DNR', 'DO', 'DOV', 'DOW', 'DPS', 'DRI', 'DTE', 'DTV', 'DUK', 'DVA', 'DVN', 'EA', 'EBAY', 'ECL', 'ED', 'EFX', 'EIX', 'EL', 'EMC', 'EMN', 'EMR', 'EOG', 'EQR', 'EQT', 'ESRX', 'ESS', 'ESV', 'ETFC', 'ETN', 'ETR', 'EW', 'EXC', 'EXPD', 'EXPE', 'F', 'FAST', 'FB', 'FCX', 'FDO', 'FDX', 'FE', 'FFIV', 'FIS', 'FISV', 'FITB', 'FLIR', 'FLR', 'FLS', 'FMC', 'FOSL', 'FOXA', 'FSLR', 'FTI', 'FTR', 'GAS', 'GCI', 'GD', 'GE', 'GGP', 'GILD', 'GIS', 'GLW', 'GM', 'GMCR', 'GME', 'GNW', 'GOOG', 'GOOGL', 'GPC', 'GPS', 'GRMN', 'GS', 'GT', 'GWW', 'HAL', 'HAR', 'HAS', 'HBAN', 'HCBK', 'HCN', 'HCP', 'HD', 'HES', 'HIG', 'HOG', 'HON', 'HOT', 'HP', 'HPQ', 'HRB', 'HRL', 'HRS', 'HSP', 'HST', 'HSY', 'HUM', 'IBM', 'ICE', 'IFF', 'INTC', 'INTU', 'IP', 'IPG', 'IR', 'IRM', 'ISRG', 'ITW', 'IVZ', 'JCI', 'JEC', 'JNJ', 'JNPR', 'JOY', 'JPM', 'JWN', 'K', 'KEY', 'KIM', 'KLAC', 'KMB', 'KMI', 'KMX', 'KO', 'KORS', 'KR', 'KRFT', 'KSS', 'KSU', 'L', 'LB', 'LEG', 'LEN', 'LH', 'LLL', 'LLTC', 'LLY', 'LM', 'LMT', 'LNC', 'LO', 'LOW', 'LRCX', 'LUK', 'LUV', 'LVLT', 'LYB', 'M', 'MA', 'MAC', 'MAR', 'MAS', 'MAT', 'MCD', 'MCHP', 'MCK', 'MCO', 'MDLZ', 'MDT', 'MET', 'MHFI', 'MHK', 'MJN', 'MKC', 'MLM', 'MMC', 'MMM', 'MNK', 'MNST', 'MO', 'MON', 'MOS', 'MPC', 'MRK', 'MRO', 'MS', 'MSFT', 'MSI', 'MTB', 'MU', 'MUR', 'MWV', 'MYL', 'NAVI', 'NBL', 'NBR', 'NDAQ', 'NE', 'NEE', 'NEM', 'NFLX', 'NFX', 'NI', 'NKE', 'NLSN', 'NOC', 'NOV', 'NRG', 'NSC', 'NTAP', 'NTRS', 'NU', 'NUE', 'NVDA', 'NWL', 'NWSA', 'OI', 'OKE', 'OMC', 'ORCL', 'ORLY', 'OXY', 'PAYX', 'PBCT', 'PBI', 'PCAR', 'PCG', 'PCL', 'PCLN', 'PCP', 'PDCO', 'PEG', 'PEP', 'PETM', 'PFE', 'PFG', 'PG', 'PGR', 'PH', 'PHM', 'PKI', 'PLD', 'PLL', 'PM', 'PNC', 'PNR', 'PNW', 'POM', 'PPG', 'PPL', 'PRGO', 'PRU', 'PSA', 'PSX', 'PVH', 'PWR', 'PX', 'PXD', 'QCOM', 'QEP', 'R', 'RAI', 'RCL', 'REGN', 'RF', 'RHI', 'RHT', 'RIG', 'RL', 'ROK', 'ROP', 'ROST', 'RRC', 'RSG', 'RTN', 'SBUX', 'SCG', 'SCHW', 'SE', 'SEE', 'SHW', 'SIAL', 'SJM', 'SLB', 'SNA', 'SNDK', 'SNI', 'SO', 'SPG', 'SPLS', 'SRCL', 'SRE', 'STI', 'STJ', 'STT', 'STX', 'STZ', 'SWK', 'SWN', 'SWY', 'SYK', 'SYMC', 'SYY', 'T', 'TAP', 'TDC', 'TE', 'TEG', 'TEL', 'TGT', 'THC', 'TIF', 'TJX', 'TMK', 'TMO', 'TRIP', 'TROW', 'TRV', 'TSCO', 'TSN', 'TSO', 'TSS', 'TWC', 'TWX', 'TXN', 'TXT', 'TYC', 'UA', 'UHS', 'UNH', 'UNM', 'UNP', 'UPS', 'URBN', 'URI', 'USB', 'UTX', 'V', 'VAR', 'VFC', 'VIAB', 'VLO', 'VMC', 'VNO', 'VRSN', 'VRTX', 'VTR', 'VZ', 'WAG', 'WAT', 'WDC', 'WEC', 'WFC', 'WFM', 'WHR', 'WIN', 'WM', 'WMB', 'WMT', 'WU', 'WY', 'WYN', 'WYNN', 'XEC', 'XEL', 'XL', 'XLNX', 'XOM', 'XRAY', 'XRX', 'XYL', 'YHOO', 'YUM', 'ZION', 'ZMH', 'ZTS']