一尘不染

导入大型SQL文件

sql

我是一名学生,正在进行一些涉及数据挖掘的研究。我有几个自愿的“节点”服务器,这些服务器收集并生成SQL文件供我导入到我的服务器上并进行分析。

问题是,这些文件很大,我需要一种快速导入它们的方法。网络最近扩展了,现在硬盘上没有足够的吞吐量供MySQL控制台将其导入时导入。时间很重要-
进行研究存在最后期限,我想积极主动地收集尽可能多的时间,并且没有等待插入的队列。

我想知道是否有更好的方法可以导入非常大的文件-每个文件的大小约为100 MB。我已经尝试过“
\。myfile.sql”,但是这非常慢。PHPMyAdmin不会占用那么大的文件。

任何的想法?谢谢!


阅读 171

收藏
2021-03-08

共1个答案

一尘不染

你有尝试过mysql -uYOU -p < myfile.sql吗?

UPD:

即使mysql -uYOU -p < myfile.sql &您有短暂的远程控制台会话

UPD2:

但是,mysqlimport正如 PinnyM
建议的那样,它是最有效的使用方式。假设name_same_as_table.txt文本文件具有DOS样式的EOL和制表符分隔的字段。字段的数量和类型必须与目标表中的相同。

mysqlimport -uYOU -p --lock-tables --lines-terminated-by="\r\n" --fields-terminated-by="\t" YOUR_DB name_same_as_table.txt
2021-03-08