mysql如何一秒插入10万条数据
当我们需要批量插入或者更新记录时,可以采用Java的批量更新机制,该机制允许多条语句甚至一次性提交给数据库处理。通常情况下比一句一提交处理更有效率。jdbc处理批量提交有三个方法。(需要注意的是,这三种方法都要和PreparedStatement一起使用)方法名描述addBatch(String)添加批量处理的SQL语句executeBatch()执行批量处理语句clearBatch()清理缓存为
·
当我们需要批量插入或者更新记录时,可以采用Java的批量更新机制,该机制允许多条语句甚至一次性提交给数据库处理。通常情况下比一句一提交处理更有效率。
jdbc处理批量提交有三个方法。(需要注意的是,这三种方法都要和PreparedStatement一起使用)
方法名 | 描述 |
---|---|
addBatch(String) | 添加批量处理的SQL语句 |
executeBatch() | 执行批量处理语句 |
clearBatch() | 清理缓存 |
为什么我们需要批量处理sql语句,如果我们提交100万条数据,并且是一条一条提交,这样就会造成大量的磁盘io,数据库性能因此下降,但是如果我们把执行的sql存起来,比如10万条数据提交一次,那么只需要提交10次,大大减少了磁盘io,同时提高了数据库性能。
创建数据库
CREATE TABLE name(
id INT PRIMARY KEY AUTO_INCREMENT,
NAME VARCHAR(20),
grade int(20)
);
插入100万条数据
@Test
public void insertTest04() throws SQLException, IOException, ClassNotFoundException {
long start = System.currentTimeMillis();
Connection conn = JDBCUtils.getConnection();
//1.设置为不自动提交数据
conn.setAutoCommit(false);
String sql = "insert into name(name,grade)values(?,?)";
PreparedStatement ps = conn.prepareStatement(sql);
Random rand = new Random();
for (int i = 1; i <= 1000000; i++) {
ps.setString(1, "name_" + i);
ps.setInt(2,rand.nextInt(100)+i);
//1.存sql
ps.addBatch();
if (i % 1000 == 0) {
//2.执行sql
ps.executeBatch();
//3.清空缓存
ps.clearBatch();
}
}
//2.提交数据currentTimeMillis()
conn.commit();
long end = System.currentTimeMillis();
System.out.println("花费的时间为:" + (end - start)/1000+"秒");
JDBCUtils.closeResouce(conn, ps);
}
数据库默认数据自动提交,所以在这里,我们需要使用setAutoCommit(false)设置不自动提交数据,这样我们把sql分割成1000条执行一次。注意(设置了不自动提交之后我们需要手动提交)
更多推荐
所有评论(0)
您需要登录才能发言
查看更多评论