MySQL批量插入效率优化手记

在用C++写一段mysql入库代码时，用的connector/c++，使用了PreparedStatement方式单条insert，然后整个插入操作放在事务中，大致如下:begintransPreparedStatementfor(要插入的数据集){setInt、setString等填充参数excute()}commit结果发现效率太低，在一台破虚拟机上每秒不到...

UU_Yang

10842人浏览 · 2018-11-13 16:41:21

UU_Yang · 2018-11-13 16:41:21 发布

在用C++写一段mysql入库代码时，用的connector/c++，使用了PreparedStatement方式单条insert，然后整个插入操作放在事务中，大致如下:

begintrans

PreparedStatement

for(要插入的数据集)

{

setInt、setString等填充参数

excute()

}

commit

结果发现效率太低，在一台破虚拟机上每秒不到200条

后来改成多值insert，一次插入1000条，性能提升立刻显现，达到2000多。继续寻找最佳条数，最后使用单次insert5000条，插入35万条耗时63秒。但是，多值insert不方便使用PreparedStatement，之前之所以没采用这种高效的方式，是考虑到参数中存在特殊字符会导致语句执行失败，另外还有二进制字段问题。

因为connector并没有提供相关函数，所以两种方案，一是自己实现，写两个函数，

一个处理字符串函数，将需要转义的进行转义，这个就需要考虑周全，不能存在漏网之鱼

一个将字节数组转为十六进制字符串，应该容易实现

后来查了mysqlAPI中其实已经有相关函数定义，在mysql.h中，方案二，使用mysqlAPI

https://dev.mysql.com/doc/dev/mysql-server/8.0.1/include_2mysql_8h.html

unsigned long STDCALL mysql_real_escape_string(MYSQL *mysql, char *to,const char *from, unsigned long length);

unsigned long STDCALL mysql_hex_string(char *to,const char *from, unsigned long from_length);

具体可以参考官方文档，下面是转载一篇mysqlAPI的基本使用

下文转自：https://www.cnblogs.com/fnlingnzb-learner/p/5829556.html

C++使用Mysql的详细步骤及各个常用方法的代码演示：select,insert,update,delete

这几天一直在学习C++下使用Mysql的方法及其中各种的问题，也看了很多Mysql的API函数，当然自己看的还是很基础的。其实对于每种数据库的操作，基本的方法都是非常类似的，大多都是connect,select,update,delete以及insert这几个操作。接下来我就将这几个步骤以代码的方式展现给大家，相信应该能对大家对mysql的编程起到一个基础模板的作用，方便大家以后对mysql数据库的了解和学习。

1.mysql的初始化initConnection:

1)mysql_init():初始化数据库

2)mysql_real_connect()(不推荐用Mysql_connect())：连接数据库

详细代码如下：

复制代码

 1 bool dataBase::initConnection() {
 2     try {
 3         if (mysql_init(&m_sqlCon) == NULL) {
 4             std::cout << "初始化数据库失败" << std::endl;
 5             return false;
 6         }
 7         // localhost:服务器 root为账号密码 test为数据库名 3306为端口    
 8         if (!mysql_real_connect(&m_sqlCon, host, user, pass,databaseName, port, NULL, 0))
 9         {
10             std::cout << "数据库连接失败" << std::endl;
11             return false;
12         }
13         std::cout << "数据库连接成功" << std::endl;
14         return true;
15     }
16     catch (...)
17     {
18         std::cout << "出错啦" << std::endl;
19         return false;
20     }
21 }

复制代码

2.mysql的查询select：

1）mysql_query()：进行查询语句

2）mysql_store_result()：获得查询结果

3)mysql_fetch_field()以及mysql_fetch_row()：获得结果集中的内容

4）mysql_free_result()

代码如下：

复制代码

 1 void dataBase::user_query() {
 2     if (mysql_query(&m_sqlCon, "select * from user")) {
 3         std::cout << "查询失败" << std::endl;
 4         return;
 5     }
 6     std::cout << "查询成功" << std::endl;
 7     MYSQL_RES *result;
 8     result = mysql_store_result(&m_sqlCon);
 9     if (result) {
10         int row_num,col_num;
11         row_num = mysql_num_rows(result);
12         col_num = mysql_num_fields(result);
13         std::cout << "共有" << row_num << "条数据，以下为其详细内容：" << std::endl;
14         MYSQL_FIELD *fd;
15         while (fd = mysql_fetch_field(result)) {
16             std::cout << fd->name << "\t";
17         }
18         std::cout << std::endl;
19         MYSQL_ROW sql_row;
20         while (sql_row = mysql_fetch_row(result)) {
21             for (int i = 0; i < col_num; i++) {
22                 if (sql_row[i] == NULL) std::cout << "NULL\t";
23                 else std::cout << sql_row[i] << "\t";
24             }
25             std::cout << std::endl;
26         }
27     }
28     if(result!=NULL)
29     mysql_free_result(result);
30 
31 }

复制代码

3.mysql的插入语句insert:

1）mysql_query()通过select判断是否已经存在（可以省略）

2)通过mysql_query()进行插入

代码如下：

复制代码

 1 void dataBase::user_insert(UserBody &body) {
 2     char select_user[255];
 3     char query[255];
 4     MYSQL_RES *result;
 5     sprintf(select_user, "select * from user where UserName='%s'", body.userName);
 6     if (mysql_query(&m_sqlCon, select_user)||!(result = mysql_store_result(&m_sqlCon))) {
 7         std::cout << "插入查询失败" << std::endl;
 8         return;
 9     }
10     if (mysql_num_rows(result)) {
11         std::cout << "用户已存在" << std::endl;
12         mysql_free_result(result);
13         return;
14     }
15     mysql_free_result(result);
16     sprintf(query, "insert into user(UserName,UserPass,ConnectionNum,UseFor) values('%s','%s',%d,%d)", body.userName, body.userPass, body.connection, body.type);
17     if (mysql_query(&m_sqlCon, query)) {
18         std::cout << "插入数据失败" << std::endl;
19         return;
20     }
21     std::cout << "插入数据成功,共插入：" <<mysql_affected_rows(&m_sqlCon)<<"行" << std::endl;
22 }

复制代码

4.mysql的修改语句update

修改与添加的步骤类似，直接贴出代码就不做赘述了。

代码如下：

复制代码

 1 void dataBase::user_update(UserBody &body) {
 2     char query[255];
 3     char select_user[255];
 4     MYSQL_RES *result;
 5     sprintf(select_user, "select * from user where UserName='%s'", body.userName);
 6     if (mysql_query(&m_sqlCon, select_user) || !(result = mysql_store_result(&m_sqlCon))) {
 7         std::cout << "修改查询失败" << std::endl;
 8         return;
 9     }
10     if (mysql_num_rows(result) == 0) {
11         std::cout << "要修改的用户不存在" << std::endl;
12         mysql_free_result(result);
13         return;
14     }
15     mysql_free_result(result);
16     sprintf(query, "update user set UserPass='%s',ConnectionNum=%d,UseFor=%d where UserName='%s'", body.userPass, body.connection, body.type, body.userName);
17     if (mysql_query(&m_sqlCon, query)) {
18         std::cout << "修改失败" << std::endl;
19         return;
20     }
21     std::cout << "修改成功，共修改：" << mysql_affected_rows(&m_sqlCon) << "行" << std::endl;
22 }

复制代码

5.mysql的删除操作delete

其实删除、修改和插入操作都是类似的，会其中一个其他应该都差不多了，我也就直接贴出代码了。

代码如下：

复制代码

 1 void dataBase::user_delete(char *userName) {
 2     char query[255];
 3     char select_user[255];
 4     MYSQL_RES *result;
 5     sprintf(select_user, "select * from user where UserName='%s'", userName);
 6     if (mysql_query(&m_sqlCon, select_user)||!(result = mysql_store_result(&m_sqlCon))) {
 7         std::cout << "删除查询失败" << std::endl;
 8         return;
 9     }
10     if (mysql_num_rows(result)==0) {
11         std::cout << "要删除的用户不存在" << std::endl;
12         mysql_free_result(result);
13         return;
14     }
15     mysql_free_result(result);
16     sprintf(query, "delete from user where UserName='%s'", userName);
17     if (mysql_query(&m_sqlCon, query)) {
18         std::cout << "删除失败" << std::endl;
19         return;
20     }
21     std::cout << "删除成功，共删除：" << mysql_affected_rows(&m_sqlCon) << "行" << std::endl;
22 }

复制代码

以上算是对Mysql中常用的一些代码的总结，有什么不完善的希望大家能够提出来，也希望这个能在平时帮到大家，起到一个模板的作用，也能方便大家对mysql的学习。我也属于一个learner，也希望能和大家在平时中相互学习。