SQLite C/C++ API 笔记

                     

贡献者: addis

  • 本文处于草稿阶段。
预备知识 SQL 基础笔记

   这里介绍官方的 C API,可以在 C 或者 C++ 中调用。如果想要更方便的 C++ wrapper,可以见 SQLiteCpp

1. 安装

   ubuntu 上用 sudo apt install libsqlite3-dev 安装

   另外安装命令行工具 sudo apt install sqlite3

2. 例子

   参考这里。注意所有的数据必须先转换成字符串才能加到数据库中。

#include <iostream>
#include <sqlite3.h>

void test_sqlite()
{
	using namespace slisc;
#ifdef SLS_USE_SQLITE
	sqlite3* DB;
	int exit;
	file_remove("example.db");
	exit = sqlite3_open("example.db", &DB);
	if (exit) {
		cout << sqlite3_errmsg(DB) << endl;
		SLS_ERR("Error open DB!");
	}
	char* messaggeError;
	string sql = "CREATE TABLE PERSON("
					  "ID       INT     PRIMARY KEY  NOT NULL, "
					  "NAME     TEXT    NOT NULL, "
					  "SURNAME  TEXT    NOT NULL, "
					  "AGE      INT     NOT NULL, "
					  "ADDRESS  CHAR(50), "
					  "SALARY   REAL );";
	exit = sqlite3_exec(DB, sql.c_str(), NULL, 0, &messaggeError);
	if (exit != SQLITE_OK) {
		SLS_ERR("Error Create Table");
		sqlite3_free(messaggeError);
	}

	sql = "INSERT INTO PERSON"
					  "(ID, NAME, SURNAME, AGE, ADDRESS, SALARY)"
					  " VALUES "
					  "(0, 'Addis', 'Chen', 30, 'ABC Rd,
                          Manhattan, NY, 12345', 1500.03);"
		   "INSERT INTO PERSON"
					  " VALUES "
					  "(1, 'Bob', 'Chen', 31, 'DEF Ave,
                          Manhattan, NY, 12345', 4500.03);";
	exit = sqlite3_exec(DB, sql.c_str(), NULL, 0, &messaggeError);
	if (exit != SQLITE_OK) {
		SLS_ERR("Error Inserting Table :" + Str(messaggeError));
		sqlite3_free(messaggeError);
	}

	sqlite3_close(DB);
#else
	cout << "---------- disabled! ----------" << endl;
#endif
}

   另一个挺有用的小程序是(修改自官方教程),可以在命令行对任意数据库文件执行任意 SQL 命令。编译:g++ -o sqcmd sqcmd.cpp -l sqlite3。使用方法如 ./sqcmd example.db "SELECT * FROM PERSON"

#include <stdio.h>
#include <sqlite3.h>

static int callback(void *NotUsed, int argc, char **argv, char **col_name){
  int i;
  for(i=0; i<argc; i++){
    printf("%s = %s\n", col_name[i], argv[i] ? argv[i] : "NULL");
  }
  printf("\n");
  return 0;
}

int main(int argc, char **argv){
  sqlite3 *db;
  char *zErrMsg = 0;
  int ret;

  if( argc!=3 ){
    fprintf(stderr, "Usage: %s DATABASE SQL-STATEMENT\n", argv[0]);
    return(1);
  }
  ret = sqlite3_open(argv[1], &db);
  if( ret ){
    fprintf(stderr, "Can't open database: %s\n", sqlite3_errmsg(db));
    sqlite3_close(db);
    return(1);
  }
  ret = sqlite3_exec(db, argv[2], callback, 0, &zErrMsg);
  if( ret!=SQLITE_OK ){
    fprintf(stderr, "SQL error: %s\n", zErrMsg);
    sqlite3_free(zErrMsg);
  }
  sqlite3_close(db);
  return 0;
}

   sqlite3 的数据库文件是二进制的,可以用 sqlite3 命令行 dump 出一个通用的文本文件

sqlite> .output example.sql
sqlite> .dump
sqlite> .exit

3. binding

   当然也不需要把所有数据类型都转换成 string 那么蠢。这就要用到 binding,参考这里

4. sqlite3 命令

5. GUI 浏览器

6. SQLiteCpp 库(第三方)

7. 关于锁

8. CRUD 之繁琐

   CRUD(create, read, update, delete) 总的来说是一件很繁琐的事情。

   例如很常见的一个情况是,想把数据库的某个表中所有(或满足某个条件的)记录删除再重新写入新的版本。但这样会导致程序很慢,尤其是如果有很多记录且新版本只修改了少数几条记录。另一个坏处就是会导致 dump 出来的 sql 文本文件有大量改动,即使一模一样的记录 dump 后位置也会改变,不利于版本管理。sqlite 没有一个稳定的 dump 算法,需要借助第三方工具。

   高性能的做法需要复杂得多的编程:首先把整个表读到程序中(读比写快得多),在程序中鉴定三种情况:新记录要更改的记录要删除的记录。然后把使用 INSERTUPDATEDELETE 三种不同的命令分别处理。如果要把这个过程通过函数模板实现则更难。

   更优化的做法是先读所有 primary key 用于判断哪些被删除,检查记录是否改变时再读其他字段进行对比。

   sqlite 提供 INSERT OR UPDATE,但没有做优化,以至于即使记录一模一样也会重新写一遍数据,速度仍然慢且同样导致 dump 不稳定。而且无法判断哪些记录被删除。

   一个伪代码草稿(使用 SQLiteCPP):

// delete a table (or sub table satisfying a condition)
    // and insert new records are slow, when there are lots of
	// unchanged records
// this is a optimized version

template <class Tdat, class Trec, class Tpk>
// Trec is a tuple, one element of Tdat
inline void update_table(
	Str_I table, vecStr_I columns, Str_I condition,
	Long_I primary_key1, Long_I primary_key2,
	const Tdat &data, // new records: container of tuple that's iterable
	// (e.g. unordered_map, map, vector, set, ...)
	// assuming `data` doesn't have repeated primary keys
	// assuming `data` satisfy `condition`
	SQLite::Database &db_rw
) {
	SQLite::Statement stmt_select(db_rw,
		R"(SELECT primary_key1, primary_key2 FROM table WHERE condition;)");
	SQLite::Statement stmt_insert(db_rw,
		R"(INSERT INTO table (col1, col2, ...) VALUES (val1, val2, ...);)");
	SQLite::Statement stmt_update(db_rw,
	    R"(UPDATE table SET col1=?, col2=?, ...;)");
	SQLite::Statement stmt_delete(db_rw,
	    R"(DELETE FROM table WHERE primary_key1=? AND primary_key2=?;)");

	unordered_set<Tpk> deleted;
	unordered_map<Trec> data_db;
	
	while (stmt_select.executeStep()) {
		deleted.insert(make_tuple(stmt_select.getColumn(primary_key1_ind), 
			stmt_select.getColumn(primary_key2_ind)))
	}

	for (auto &record : data) {
		Tpk pk = make_tuple(record.key1, record.key2);
		if (!deleted.count(pk)) {
			// insert
		}
		else { // record exist
			deleted.erase(pk);
			// get all columns of record
			// check change
			if (/*changed*/) {
				// update record
			}
		}
	}

	for (auto &pk : deleted) {
		// delete record
	}
}


致读者: 小时百科一直以来坚持所有内容免费无广告,这导致我们处于严重的亏损状态。 长此以往很可能会最终导致我们不得不选择大量广告以及内容付费等。 因此,我们请求广大读者热心打赏 ,使网站得以健康发展。 如果看到这条信息的每位读者能慷慨打赏 20 元,我们一周就能脱离亏损, 并在接下来的一年里向所有读者继续免费提供优质内容。 但遗憾的是只有不到 1% 的读者愿意捐款, 他们的付出帮助了 99% 的读者免费获取知识, 我们在此表示感谢。

                     

友情链接: 超理论坛 | ©小时科技 保留一切权利