我注意到使用pandas的迭代器时性能非常差。

这是别人所经历的吗？它特定于迭代吗？对于一定大小的数据（我正在处理2-3百万行），应该避免使用此功能吗？

在GitHub上进行的讨论使我相信，这是在数据帧中混合dtypes时引起的，但是下面的简单示例显示，即使使用一个dtype（float64）也存在该问题。这在我的机器上需要36秒：

import pandas as pd
import numpy as np
import time

s1 = np.random.randn(2000000)
s2 = np.random.randn(2000000)
dfa = pd.DataFrame({'s1': s1, 's2': s2})

start = time.time()
i=0
for rowindex, row in dfa.iterrows():
    i+=1
end = time.time()
print end - start

为什么矢量化运算之类的应用这么快？我想象那里也必须进行逐行迭代。

我无法弄清楚在我的情况下如何不使用迭代（这将在以后的问题中予以保留）。因此，如果你一直能够避免这种迭代，不胜感激。我正在基于单独数据框中的数据进行计算。谢谢！

—编辑：下面添加了我要运行的简化版本—

import pandas as pd
import numpy as np

#%% Create the original tables
t1 = {'letter':['a','b'],
      'number1':[50,-10]}

t2 = {'letter':['a','a','b','b'],
      'number2':[0.2,0.5,0.1,0.4]}

table1 = pd.DataFrame(t1)
table2 = pd.DataFrame(t2)

#%% Create the body of the new table
table3 = pd.DataFrame(np.nan, columns=['letter','number2'], index=[0])

#%% Iterate through filtering relevant data, optimizing, returning info
for row_index, row in table1.iterrows():   
    t2info = table2[table2.letter == row['letter']].reset_index()
    table3.ix[row_index,] = optimize(t2info,row['number1'])

#%% Define optimization
def optimize(t2info, t1info):
    calculation = []
    for index, r in t2info.iterrows():
        calculation.append(r['number2']*t1info)
    maxrow = calculation.index(max(calculation))
    return t2info.ix[maxrow]