我从csv创建一个DataFrame,如下所示:
stock = pd.read_csv('data_in/' + filename + '.csv', skipinitialspace=True)
DataFrame有一个日期列。有没有一种方法来创建一个新的DataFrame(或仅覆盖现有的DataFrame),该DataFrame仅包含日期值在指定日期范围内或两个指定日期值之间的行?
有两种可能的解决方案:
使用布尔型掩码,然后使用 df.loc[mask] 将日期列设置为DatetimeIndex,然后使用 df[start_date : end_date] 使用布尔型掩码:
df.loc[mask]
DatetimeIndex
df[start_date : end_date]
确保df['date']是dtype系列datetime64[ns]:
df['date']
dtype
datetime64[ns]
df['date'] = pd.to_datetime(df['date'])
制作一个布尔型面具。start_date并且end_date可以datetime.datetimeS, np.datetime64S,pd.TimestampS,甚至日期时间字符串:
start_date并且end_date
datetime.datetimeS
np.datetime64S
pd.TimestampS
#greater than the start date and smaller than the end date mask = (df['date'] > start_date) & (df['date'] <= end_date)
选择子DataFrame:
或重新分配给 df
df = df.loc[mask]
例如,
import numpy as np import pandas as pd df = pd.DataFrame(np.random.random((200,3))) df['date'] = pd.date_range('2000-1-1', periods=200, freq='D') mask = (df['date'] > '2000-6-1') & (df['date'] <= '2000-6-10') print(df.loc[mask])
输出
0 1 2 date 153 0.208875 0.727656 0.037787 2000-06-02 154 0.750800 0.776498 0.237716 2000-06-03 155 0.812008 0.127338 0.397240 2000-06-04 156 0.639937 0.207359 0.533527 2000-06-05 157 0.416998 0.845658 0.872826 2000-06-06 158 0.440069 0.338690 0.847545 2000-06-07 159 0.202354 0.624833 0.740254 2000-06-08 160 0.465746 0.080888 0.155452 2000-06-09 161 0.858232 0.190321 0.432574 2000-06-10
使用DatetimeIndex:
如果你打算按日期进行很多选择,则将·首先设置为索引可能会更快 。然后,你可以使用按日期选择行 ·。
import numpy as np import pandas as pd df = pd.DataFrame(np.random.random((200,3))) df['date'] = pd.date_range('2000-1-1', periods=200, freq='D') df = df.set_index(['date']) print(df.loc['2000-6-1':'2000-6-10'])
输出:
0 1 2 date 2000-06-01 0.040457 0.326594 0.492136 # <- includes start_date 2000-06-02 0.279323 0.877446 0.464523 2000-06-03 0.328068 0.837669 0.608559 2000-06-04 0.107959 0.678297 0.517435 2000-06-05 0.131555 0.418380 0.025725 2000-06-06 0.999961 0.619517 0.206108 2000-06-07 0.129270 0.024533 0.154769 2000-06-08 0.441010 0.741781 0.470402 2000-06-09 0.682101 0.375660 0.009916 2000-06-10 0.754488 0.352293 0.339337
相反,虽然Python列表索引(例如seq[start:end]包括start但不包括),但endPandas 如果在索引中,则在结果中df.loc[start_date : end_date]包括两个端点。但是,既不是start_date也不end_date是必须包含在索引中。
还要注意,pd.read_csv该parse_dates参数具有可用于将date列解析为datetime64s的参数。因此,如果使用parse_dates,则无需使用df['date'] = pd.to_datetime(df['date'])。
pd.read_csv
parse_dates
datetime64s