场景

在做mysql库表同步任务的时候，其中有一张表的数据量30万条，其中有两个字段是text, longtext类型。在利用第三方的同步工具做数据同步的时，出现Io异常，效率很低。

解决方案

• 首先尝试在text，longtext类型的字段上面加索引，发现在工具中执行同步的任务，加索引起不到效率提升的作用。主要是在select a,b 这两个字段的时候，msyql底层并没有走index。
• 思路2：考虑把这个两个text类型的字段抽取到一个临时表里面，临时表中创建整型主键索引，查询效率会非常高。同步任务把这两个临时表搬迁过去。最后在数据仓库侧做一个多表关联。