关于sqlite断电或者存储空间不足造成的数据文件损坏问题-转

xp5xp6

5943人浏览 · 2016-01-17 12:00:01

xp5xp6 · 2016-01-17 12:00:01 发布

1.断电情况下数据库文件会损坏？你测试过？由于项目需要，这几天也在调查这个问题。我在虚拟机环境下插入数据过程中强制关闭虚拟机模拟断电操作，数据库没有被损坏，重新打开系统，数据库照样可以访问。给一个SQLite官方document的链接How To Corrupt An SQLite Database File(http://www.sqlite.org/howtocorrupt.html)其中第一段如下:
An SQLite database is highly resistant to corruption. If an application crash, or an operating-system crash, or even a power failure occurs in the middle of a transaction, the partially written transaction should be automatically rolled back the next time the database file is accessed. The recovery process is fully automatic and does not require any action on the part of the user or the application.
也就是说在写事务过程中断电是不会损坏数据库文件的。但并不是说断电就一定不会损坏数据库文件，只是说写事务修改数据库过程中断电SQLite的操作是不会损坏数据库文件的，如果断电对硬盘介质造成损坏或影响了文件系统，那是有可能间接造成数据库文件损坏的，这种情况下什么文件都有可能受损，是不受我们控制的。至于为什么断电不会损坏数据库，你可以调查一下hot journal或者Write-Ahead Log，在此就不多说了。
2.SD卡更操蛋。具体体现在数据从缓存中同步到磁盘过程中。
3.在问题1里说的断电不会由于SQLite写事务对数据库文件造成损坏，其实现机制就是利用了事务+日志机制，想具体了解就看hot journal或者Write-Ahead Log部分。
建议先看那篇文档，文档中描述了其它几种有可能造成数据库文件损坏的原因和解决办法。
如果我的理解有什么地方有问题欢迎探讨。

在SQLite中提供了一组用于在线数据库备份的APIs函数(C接口)，可以很好的解决上述方法存在的不足。通过该组函数，可以将源数据库中的内容拷贝到另一个数据库，同时覆盖目标数据库中的数据

一、常用备份：

    下面的方法是比较简单且常用的SQLite数据库备份方式，见如下步骤：
    1). 使用SQLite API或Shell工具在源数据库文件上加共享锁。
    2). 使用Shell工具(cp或copy)拷贝数据库文件到备份目录。
    3). 解除数据库文件上的共享锁。
    以上3个步骤可以应用于大多数场景，而且速度也比较快，然而却存在一定的刚性缺陷，如：
    1). 所有打算在源数据库上执行写操作的连接都不得不被挂起，直到整个拷贝过程结束并释放文件共享锁。
    2). 不能拷贝数据到in-memory数据库。
    3). 在拷贝过程中，一旦备份数据库所在的主机出现任何突发故障，备份数据库可能会被破坏。
    在SQLite中提供了一组用于在线数据库备份的APIs函数(C接口)，可以很好的解决上述方法存在的不足。通过该组函数，可以将源数据库中的内容拷贝到另一个数据库，同时覆盖目标数据库中的数据。整个拷贝过程可以以增量的方式完成，在此情况下，源数据库也不需要在整个拷贝过程中都被加锁，而只是在真正读取数据时加共享锁。这样，其它的用户在访问源数据库时就不会被挂起。

二、在线备份APIs简介：

    SQLite提供了以下3个APIs函数用于完成此操作，这里仅仅给出它们的基本用法，至于使用细节可以参考SQLite官方网站"APIs Reference"(http://www.sqlite.org/c3ref/backup_finish.html)。
    1). 函数sqlite3_backup_init()用于创建sqlite3_backup对象，该对象将作为本次拷贝操作的句柄传给其余两个函数。
    2). 函数sqlite3_backup_step()用于数据拷贝，如果该函数的第二个参数为-1，那么整个拷贝过程都将在该函数的一次调用中完成。
    3). 函数sqlite3_backup_finish()用于释放sqlite3_backup_init()函数申请的资源，以避免资源泄露。
    在整个拷贝过程中如果出现任何错误，我们都可以通过调用目的数据库连接的sqlite3_errcode()函数来获取具体的错误码。此外，如果sqlite3_backup_step()调用失败，由于sqlite3_backup_finish()函数并不会修改当前连接的错误码，因此我们可以在调用sqlite3_backup_finish()之后再获取错误码，从而在代码中减少了一次错误处理。见如下代码示例(来自SQLite官网)：

复制代码代码如下:

/*
** This function is used to load the contents of a database file on disk
** into the "main" database of open database connection pInMemory, or
** to save the current contents of the database opened by pInMemory into
** a database file on disk. pInMemory is probably an in-memory database,
** but this function will also work fine if it is not.
**
** Parameter zFilename points to a nul-terminated string containing the
** name of the database file on disk to load from or save to. If parameter
** isSave is non-zero, then the contents of the file zFilename are
** overwritten with the contents of the database opened by pInMemory. If
** parameter isSave is zero, then the contents of the database opened by
** pInMemory are replaced by data loaded from the file zFilename.
**
** If the operation is successful, SQLITE_OK is returned. Otherwise, if
** an error occurs, an SQLite error code is returned.
*/
int loadOrSaveDb(sqlite3 *pInMemory, const char *zFilename, int isSave){
int rc;                   /* Function return code */
sqlite3 *pFile;           /* Database connection opened on zFilename */
sqlite3_backup *pBackup; /* Backup object used to copy data */
sqlite3 *pTo;             /* Database to copy to (pFile or pInMemory) */
sqlite3 *pFrom;           /* Database to copy from (pFile or pInMemory) */

/* Open the database file identified by zFilename. Exit early if this fails
** for any reason. */
rc = sqlite3_open(zFilename, &pFile);
if( rc==SQLITE_OK ){

    /* If this is a 'load' operation (isSave==0), then data is copied
    ** from the database file just opened to database pInMemory.
    ** Otherwise, if this is a 'save' operation (isSave==1), then data
    ** is copied from pInMemory to pFile. Set the variables pFrom and
    ** pTo accordingly. */
    pFrom = (isSave ? pInMemory : pFile);
    pTo   = (isSave ? pFile     : pInMemory);

    /* Set up the backup procedure to copy from the "main" database of
    ** connection pFile to the main database of connection pInMemory.
    ** If something goes wrong, pBackup will be set to NULL and an error
    ** code and message left in connection pTo.
    **
    ** If the backup object is successfully created, call backup_step()
    ** to copy data from pFile to pInMemory. Then call backup_finish()
    ** to release resources associated with the pBackup object. If an
    ** error occurred, then an error code and message will be left in
    ** connection pTo. If no error occurred, then the error code belonging
    ** to pTo is set to SQLITE_OK.
*/
    pBackup = sqlite3_backup_init(pTo, "main", pFrom, "main");
    if( pBackup ){
      (void)sqlite3_backup_step(pBackup, -1);
      (void)sqlite3_backup_finish(pBackup);
    }
    rc = sqlite3_errcode(pTo);
}

/* Close the database connection opened on database file zFilename
** and return the result of this function. */
(void)sqlite3_close(pFile);
return rc;
}

三、高级应用技巧：

    在上面的例子中，我们是通过sqlite3_backup_step()函数的一次调用完成了整个拷贝过程。该实现方式仍然存在之前说过的挂起其它写访问连接的问题，为了解决该问题，这里我们将继续介绍另外一种更高级的实现方式--分片拷贝，其实现步骤如下：
    1). 函数sqlite3_backup_init()用于创建sqlite3_backup对象，该对象将作为本次拷贝操作的句柄传给其余两个函数。
    2). 函数sqlite3_backup_step()被调用用于拷贝数据，和之前方法不同的是，该函数的第二个参数不再是-1，而是一个普通的正整数，表示每次调用将会拷贝的页面数量，如5。
    3). 如果在函数sqlite3_backup_step()调用结束后，仍然有更多的页面需要被拷贝，那么我们将主动休眠250ms，然后再重复步骤2).
    4). 函数sqlite3_backup_finish()用于释放sqlite3_backup_init()函数申请的资源，以避免资源泄露。
    在上述步骤3)中我们主动休眠250ms，此期间，该拷贝操作不会在源数据库上持有任何读锁，这样其它的数据库连接在进行写操作时亦将不会被挂起。然而在休眠期间，如果另外一个线程或进程对源数据库进行了写操作，SQLite将会检测到该事件的发生，从而在下一次调用sqlite3_backup_step()函数时重新开始整个拷贝过程。唯一的例外是，如果源数据库不是in-memory数据库，同时写操作是在与拷贝操作同一个进程内完成，并且在操作时使用的也是同一个数据库连接句柄，那么目的数据库中数据也将被此操作同时自动修改。在下一次调用sqlite3_backup_step()时，也将不会有任何影响发生。　　
    事实上，在SQLite中仍然提供了另外两个辅助性函数backup_remaining()和backup_pagecount()，其中前者将返回在当前备份操作中还有多少页面需要被拷贝，而后者将返回本次操作总共需要拷贝的页面数量。显而易见的是，通过这两个函数的返回结果，我们可以实时显示本次备份操作的整体进度，计算公式如下：
    Completion = 100% * (pagecount() - remaining()) / pagecount()
    见以下代码示例(来自SQLite官网)：

复制代码代码如下:

/*
** Perform an online backup of database pDb to the database file named
** by zFilename. This function copies 5 database pages from pDb to
** zFilename, then unlocks pDb and sleeps for 250 ms, then repeats the
** process until the entire database is backed up.
**
** The third argument passed to this function must be a pointer to a progress
** function. After each set of 5 pages is backed up, the progress function
** is invoked with two integer parameters: the number of pages left to
** copy, and the total number of pages in the source file. This information
** may be used, for example, to update a GUI progress bar.
**
** While this function is running, another thread may use the database pDb, or
** another process may access the underlying database file via a separate
** connection.
**
** If the backup process is successfully completed, SQLITE_OK is returned.
** Otherwise, if an error occurs, an SQLite error code is returned.
*/
int backupDb(
sqlite3 *pDb,               /* Database to back up */
const char *zFilename,      /* Name of file to back up to */
void(*xProgress)(int, int) /* Progress function to invoke */
){
int rc;                     /* Function return code */
sqlite3 *pFile;             /* Database connection opened on zFilename */
sqlite3_backup *pBackup;    /* Backup handle used to copy data */

/* Open the database file identified by zFilename. */
rc = sqlite3_open(zFilename, &pFile);
if( rc==SQLITE_OK ){

    /* Open the sqlite3_backup object used to accomplish the transfer */
    pBackup = sqlite3_backup_init(pFile, "main", pDb, "main");
    if( pBackup ){

      /* Each iteration of this loop copies 5 database pages from database
      ** pDb to the backup database. If the return value of backup_step()
      ** indicates that there are still further pages to copy, sleep for
      ** 250 ms before repeating. */
      do {
        rc = sqlite3_backup_step(pBackup, 5);
        xProgress(
            sqlite3_backup_remaining(pBackup),
            sqlite3_backup_pagecount(pBackup)
        );
        if( rc==SQLITE_OK || rc==SQLITE_BUSY || rc==SQLITE_LOCKED ){
          sqlite3_sleep(250);
        }
      } while( rc==SQLITE_OK || rc==SQLITE_BUSY || rc==SQLITE_LOCKED );

      /* Release resources allocated by backup_init(). */
      (void)sqlite3_backup_finish(pBackup);
    }
    rc = sqlite3_errcode(pFile);
}

/* Close the database connection opened on database file zFilename
** and return the result of this function. */
(void)sqlite3_close(pFile);
return rc;
}