我选择了更多
7000万行
我想将所选数据保存到win2012 R2上的一个大型csv文件中
问:如何通过改进从MySQL检索数据以获得更好的性能?
因为当我尝试保存一个大选择时,我得到了
内存不足错误
您可以尝试使用该LIMIT功能。如果您这样做:
LIMIT
SELECT * FROM MyTable ORDER BY whatever LIMIT 0,1000
您将获得前1,000行。第一个LIMIT值(0)定义结果集中的起始行。它的索引为零,因此0表示“第一行”。第二个LIMIT值是要检索的最大行数。要获得接下来的几套1,000,请执行以下操作:
SELECT * FROM MyTable ORDER BY whatever LIMIT 1000,1000 -- rows 1,001 - 2,000 SELECT * FROM MyTable ORDER BY whatever LIMIT 2000,1000 -- rows 2,001 - 3,000
等等。当SELECT没有返回任何行时,您就完成了。
SELECT
但是,仅凭这还不够,因为在您一次处理1K行时对表所做的任何更改都将使订单无效。要及时冻结结果,请先将结果查询到临时表中:
CREATE TEMPORARY TABLE MyChunkedResult AS ( SELECT * FROM MyTable ORDER BY whatever );
附带说明:最好事先确保临时表不存在:
DROP TEMPORARY TABLE IF EXISTS MyChunkedResult;
无论如何,一旦临时表就位,从那里拉出行块:
SELECT * FROM MyChunkedResult LIMIT 0, 1000; SELECT * FROM MyChunkedResult LIMIT 1000,1000; SELECT * FROM MyChunkedResult LIMIT 2000,1000; .. and so on.
我将留给您创建逻辑,该逻辑将在每个块之后计算极限值并检查结果的结尾。我还建议使用比1000条记录大得多的数据块;这只是我空想的数字。
最后,这是在完成后删除临时表的好形式:
DROP TEMPORARY TABLE MyChunkedResult;