今天用到一个处理650万的数据导入数据库处理的问题，在网上找了半天，终于在在三灯的博客找到办法，特此转过来以备后用，哈哈！

我执行的命令语句是mysqlimport -uroot -p123456 -L -v --fields-terminated-by=, all hongjun.txt





以下原文转载：http://blog.sina.com.cn/s/blog_406127500100jagk.html






mysqlimport -uroot -pEastlinden -L -v --fields-terminated-by=$$ searchpatentDZ D:\3.0\temp_law_en.txt




第一次使用mysqlimport工具还真是费了不少功夫。总结下来最需要注意的有两点：

1.把导入文件转换为linux格式：如果是windows下编辑的文件，需要把\r去掉，否则此\r会被导入到字段的值里；

2.导入文件的字符集一定要与对应表的字段的字符集一至，否则很 可能导成乱码；mysqlimport虽然有一个设置字符集的参数，但是不太清楚是做什么用的，设置了以后，并没有做编码转换；




大容量的文件导入MYSQL方法（LINUX系统）：
在使用MYSQLIMPORT导入大容量数据时，mysql一定会提示导入不成功，让你设置大的缓存，但是究竟设多大你也不好界定，所以我们可以从导入的原始文件入手，把他拆分为小的文件。
涉及到的工具：
1.使用MYSQL自带的导入工具MYSQLIMPORT
2.使用LINUX自带的拆分工具SPLIT
步骤：
1.使用SPLIT命令拆分源文件，拆分多大由你控制。
?? 命令格式：
???????????? split －l 行数源文件
???????????? （通过行数来控制文件的大小）
这时系统会将文件拆分成小文件，每个文件的行数是你自己定义的。拆分的文件名有系统自动生成。
2.使用MYSQLIMPORT导入数据。
?? mysqlimport的命令详解
.mysqlimport的常用选项介绍:
????选项???????????? 功能
-L???????????????? 导入本地文件
-d or --delete???? 新数据导入数据表中之前删除数据数据表中的所有信息
-f or --force???? 不管是否遇到错误，mysqlimport将强制继续插入数据
-i or --ignore???? mysqlimport跳过或者忽略那些有相同唯一关键字的行，导入文件中的数据将被忽略。
-l or -lock-tables 数据被插入之前锁住表，这样就防止了，你在更新数据库时，用户的查询和更新受到影响。
-r or -replace???? 这个选项与－i选项的作用相反；此选项将替代表中有相同唯一关键字的记录。
--fields-enclosed- by= char
??????????指定文本文件中数据的记录时以什么括起的， 很多情况下数据以双引号括起。 默认的情况下数据是没有被字符括起的。
--fields-terminated- by=char
??????????指定各个数据的值之间的分隔符，在句号分隔的文件中，分隔符是句号。您可以用此选项指定数据之间的分隔符。默认的分隔符是跳格符（Tab）
--lines-terminated- by=str
??????????此选项指定文本文件中行与行之间数据的分隔字符串或者字符。 默认的情况下mysqlimport以newline为行分隔符。
??????????您可以选择用一个字符串来替代一个单个的字符：一个新行或者一个回车。
mysqlimport命令常用的选项还有-v 显示版本（version）， -p 提示输入密码（password）等。

3）.例子：导入一个以逗号为分隔符的文件文件中行的记录格式是这样的：
1,werwer,345345,585858
命令：
./mysqlimport -u用户名 -p密码 -L -v --fields-terminated-by=, 库名表名.txt
表名.TXT这里需要注意的是，要把split拆分的文件重命名为表名.txt(在LINUX下重命名可以用mv 源文件名目的文件名),这样MYSQLIMPORT才能导入到你想导入的表中，比如库名是city,表名是sms,那么命令就应该为:./mysqlimport -u用户名 -p密码 -L -v --fields-terminated-by=, city sms.txt
经过我的测试，MYSQLIMPORT这个工具的导入速度是相当的快的2G的文件有10分钟就可以了(机器的配置是至强2.1，内存2G)




-----------------------------------------------

　1）.mysqlimport的语法介绍：

　　 mysqlimport位于mysql/bin目录中，是mysql的一个载入（或者说导入）数据的一个非常有效的工具。这是一个命令行工具。有两个参数以及大量的选项可供选择。这个工具把一个文本文件（text file）导入到你指定的数据库和表中。比方说我们要从文件Customers.txt中把数据导入到数据库Meet_A_Geek中的表 Custermers中：
　　mysqlimport Meet_A_Geek Customers.txt
　　注意：这里 Customers.txt是我们要导入数据的文本文件， 而Meet_A_Geek是我们要操作的数据库，
　　数据库中的表名是 Customers，这里文本文件的数据格式必须与Customers表中的记录格式一致，否则mysqlimport命令将会出错。其中表的名字是导入文件的第一个句号（.）前面文件字符串，另外一个例子：
　　mysqlimport Meet_A_Geek Cus.to.mers.txt
　　那么我们将把文件中的内容导入到数据库Meet_A_Geek 中的Cus表中。
　　上面的例子 中，都只用到两个参数，并没有用到更多的选项，下面介绍mysqlimport的选项
　　
　　2）.mysqlimport的常 用选项介绍:

　　选项 功能
　　-d or --delete 新数据导入数据表中之前删除数据数据表中的所有信息
　　-f or --force 不管是否遇到错误，mysqlimport将强制继续插入数据
　　-i or --ignore mysqlimport跳过或者忽略那些有相同唯一关键字的行， 导入文件中的数据将被忽略。
　　-l or -lock-tables 数据被插入之前锁住表，这样就防止了，你在更新数据库时，用户的查询和更新受到影响。
　　-r or -replace 这个选项与－i选项的作用相反；此选项将替代表中有相同唯一关键字的记录。
　　--fields-enclosed- by= char
　 　指定文本文件中数据的记录时以什么括起的， 很多情况下数据以双引号括起。 默认的情况下数据是没有被字符括起的。
　　 --fields-terminated- by=char
　　指定各个数据的值之间的分隔符，在句号分隔的文件中，分隔符是句号。您可以用此选项指定数据之间的分隔符。默认的分隔符是跳格符（Tab）
　　--lines-terminated- by=str
　　此选项指 定文本文件中行与行之间数据的分隔字符串 或者字符。 默认的情况下mysqlimport以newline为行分隔符。您可以选择用一个字符串来替代一个单个的字符： 一个新行或者一个回车。
　　mysqlimport命令常用的选项还有-v 显示版本（version）， -p 提示输入密码（password）等。
　　
　　3）.例子：导入一个以逗号为分隔符的文件

　　文件中行的记录格式是这样的：
　　"1", "ORD89876", "1 Dozen Roses", "19991226"
　　我们的任务是要把这个文件里面的数据导入到数据库Meet_A_Geek中的表格Orders中， 我们使用这个命令:
　　 bin/mysqlimport –prl –fields-enclosed-by=" –fields-terminated-by=, Meet_A_Geek Orders.txt
　　这个命令可能看起来很不爽，不过当你熟悉了之后，这是非常简单的。第一部 分，bin/mysqlimport ,告诉操作系统你要运行的命令是mysql/bin目录下的mysqlimport，选项p是要求输入密码，这样就要求你在改动数据库之前输入密码，操作起来会更安全。我们用了