一尘不染

MySQL:按块检索较大的选择

mysql

我选择了更多

7000万行

我想将所选数据保存到win2012 R2上的一个大型csv文件中

问:如何通过改进从MySQL检索数据以获得更好的性能?

因为当我尝试保存一个大选择时,我得到了

内存不足错误


阅读 244

收藏
2020-05-17

共1个答案

一尘不染

您可以尝试使用该LIMIT功能。如果您这样做:

SELECT * FROM MyTable ORDER BY whatever LIMIT 0,1000

您将获得前1,000行。第一个LIMIT值(0)定义结果集中的起始行。它的索引为零,因此0表示“第一行”。第二个LIMIT值是要检索的最大行数。要获得接下来的几套1,000,请执行以下操作:

SELECT * FROM MyTable ORDER BY whatever LIMIT 1000,1000 -- rows 1,001 - 2,000
SELECT * FROM MyTable ORDER BY whatever LIMIT 2000,1000 -- rows 2,001 - 3,000

等等。当SELECT没有返回任何行时,您就完成了。

但是,仅凭这还不够,因为在您一次处理1K行时对表所做的任何更改都将使订单无效。要及时冻结结果,请先将结果查询到临时表中:

CREATE TEMPORARY TABLE MyChunkedResult AS (
  SELECT *
  FROM MyTable
  ORDER BY whatever
);

附带说明:最好事先确保临时表不存在:

DROP TEMPORARY TABLE IF EXISTS MyChunkedResult;

无论如何,一旦临时表就位,从那里拉出行块:

SELECT * FROM MyChunkedResult LIMIT 0, 1000;
SELECT * FROM MyChunkedResult LIMIT 1000,1000;
SELECT * FROM MyChunkedResult LIMIT 2000,1000;
.. and so on.

我将留给您创建逻辑,该逻辑将在每个块之后计算极限值并检查结果的结尾。我还建议使用比1000条记录大得多的数据块;这只是我空想的数字。

最后,这是在完成后删除临时表的好形式:

DROP TEMPORARY TABLE MyChunkedResult;
2020-05-17