SQLite C/C++ API 笔记

                     

贡献者： addis

  • 本文处于草稿阶段。
预备知识　SQL 基础笔记

　　 这里介绍官方的 C API，可以在 C 或者 C++ 中调用。如果想要更方便的 C++ wrapper，可以见 SQLiteCpp。

1. 安装

　　 ubuntu 上用 sudo apt install libsqlite3-dev 安装

　　 另外安装命令行工具 sudo apt install sqlite3

2. 例子

　　 参考这里。注意所有的数据必须先转换成字符串才能加到数据库中。 

#include <iostream>
#include <sqlite3.h>

void test_sqlite()
{
	using namespace slisc;
#ifdef SLS_USE_SQLITE
	sqlite3* DB;
	int exit;
	file_remove("example.db");
	exit = sqlite3_open("example.db", &DB);
	if (exit) {
		cout << sqlite3_errmsg(DB) << endl;
		SLS_ERR("Error open DB!");
	}
	char* messaggeError;
	string sql = "CREATE TABLE PERSON("
					  "ID       INT     PRIMARY KEY  NOT NULL, "
					  "NAME     TEXT    NOT NULL, "
					  "SURNAME  TEXT    NOT NULL, "
					  "AGE      INT     NOT NULL, "
					  "ADDRESS  CHAR(50), "
					  "SALARY   REAL );";
	exit = sqlite3_exec(DB, sql.c_str(), NULL, 0, &messaggeError);
	if (exit != SQLITE_OK) {
		SLS_ERR("Error Create Table");
		sqlite3_free(messaggeError);
	}

	sql = "INSERT INTO PERSON"
					  "(ID, NAME, SURNAME, AGE, ADDRESS, SALARY)"
					  " VALUES "
					  "(0, 'Addis', 'Chen', 30, 'ABC Rd,
                          Manhattan, NY, 12345', 1500.03);"
		   "INSERT INTO PERSON"
					  " VALUES "
					  "(1, 'Bob', 'Chen', 31, 'DEF Ave,
                          Manhattan, NY, 12345', 4500.03);";
	exit = sqlite3_exec(DB, sql.c_str(), NULL, 0, &messaggeError);
	if (exit != SQLITE_OK) {
		SLS_ERR("Error Inserting Table :" + Str(messaggeError));
		sqlite3_free(messaggeError);
	}

	sqlite3_close(DB);
#else
	cout << "---------- disabled! ----------" << endl;
#endif
}

　　 另一个挺有用的小程序是（修改自官方教程），可以在命令行对任意数据库文件执行任意 SQL 命令。编译：g++ -o sqcmd sqcmd.cpp -l sqlite3。使用方法如 ./sqcmd example.db "SELECT * FROM PERSON" 

#include <stdio.h>
#include <sqlite3.h>

static int callback(void *NotUsed, int argc, char **argv, char **col_name){
  int i;
  for(i=0; i<argc; i++){
    printf("%s = %s\n", col_name[i], argv[i] ? argv[i] : "NULL");
  }
  printf("\n");
  return 0;
}

int main(int argc, char **argv){
  sqlite3 *db;
  char *zErrMsg = 0;
  int ret;

  if( argc!=3 ){
    fprintf(stderr, "Usage: %s DATABASE SQL-STATEMENT\n", argv[0]);
    return(1);
  }
  ret = sqlite3_open(argv[1], &db);
  if( ret ){
    fprintf(stderr, "Can't open database: %s\n", sqlite3_errmsg(db));
    sqlite3_close(db);
    return(1);
  }
  ret = sqlite3_exec(db, argv[2], callback, 0, &zErrMsg);
  if( ret!=SQLITE_OK ){
    fprintf(stderr, "SQL error: %s\n", zErrMsg);
    sqlite3_free(zErrMsg);
  }
  sqlite3_close(db);
  return 0;
}

　　 sqlite3 的数据库文件是二进制的，可以用 sqlite3 命令行 dump 出一个通用的文本文件 

sqlite> .output example.sql
sqlite> .dump
sqlite> .exit

3. binding

　　 当然也不需要把所有数据类型都转换成 string 那么蠢。这就要用到 binding，参考这里。

4. sqlite3 命令

5. GUI 浏览器

6. SQLiteCpp 库（第三方）

7. 关于锁

8. CRUD 之繁琐

　　 CRUD（create, read, update, delete） 总的来说是一件很繁琐的事情。

　　 例如很常见的一个情况是，想把数据库的某个表中所有（或满足某个条件的）记录删除再重新写入新的版本。但这样会导致程序很慢，尤其是如果有很多记录且新版本只修改了少数几条记录。另一个坏处就是会导致 dump 出来的 sql 文本文件有大量改动，即使一模一样的记录 dump 后位置也会改变，不利于版本管理。sqlite 没有一个稳定的 dump 算法，需要借助第三方工具。

　　 高性能的做法需要复杂得多的编程：首先把整个表读到程序中（读比写快得多），在程序中鉴定三种情况：新记录、要更改的记录、要删除的记录。然后把使用 INSERT，UPDATE，DELETE 三种不同的命令分别处理。如果要把这个过程通过函数模板实现则更难。

　　 更优化的做法是先读所有 primary key 用于判断哪些被删除，检查记录是否改变时再读其他字段进行对比。

　　 sqlite 提供 INSERT OR UPDATE，但没有做优化，以至于即使记录一模一样也会重新写一遍数据，速度仍然慢且同样导致 dump 不稳定。而且无法判断哪些记录被删除。

　　 一个伪代码草稿（使用 SQLiteCPP）： 

// delete a table (or sub table satisfying a condition)
    // and insert new records are slow, when there are lots of
	// unchanged records
// this is a optimized version

template <class Tdat, class Trec, class Tpk>
// Trec is a tuple, one element of Tdat
inline void update_table(
	Str_I table, vecStr_I columns, Str_I condition,
	Long_I primary_key1, Long_I primary_key2,
	const Tdat &data, // new records: container of tuple that's iterable
	// (e.g. unordered_map, map, vector, set, ...)
	// assuming `data` doesn't have repeated primary keys
	// assuming `data` satisfy `condition`
	SQLite::Database &db_rw
) {
	SQLite::Statement stmt_select(db_rw,
		R"(SELECT primary_key1, primary_key2 FROM table WHERE condition;)");
	SQLite::Statement stmt_insert(db_rw,
		R"(INSERT INTO table (col1, col2, ...) VALUES (val1, val2, ...);)");
	SQLite::Statement stmt_update(db_rw,
	    R"(UPDATE table SET col1=?, col2=?, ...;)");
	SQLite::Statement stmt_delete(db_rw,
	    R"(DELETE FROM table WHERE primary_key1=? AND primary_key2=?;)");

	unordered_set<Tpk> deleted;
	unordered_map<Trec> data_db;
	
	while (stmt_select.executeStep()) {
		deleted.insert(make_tuple(stmt_select.getColumn(primary_key1_ind), 
			stmt_select.getColumn(primary_key2_ind)))
	}

	for (auto &record : data) {
		Tpk pk = make_tuple(record.key1, record.key2);
		if (!deleted.count(pk)) {
			// insert
		}
		else { // record exist
			deleted.erase(pk);
			// get all columns of record
			// check change
			if (/*changed*/) {
				// update record
			}
		}
	}

	for (auto &pk : deleted) {
		// delete record
	}
}

                     

© 小时科技 保留一切权利