Hierarchical Data Format（HDF） 笔记

贡献者： addis

• 广泛用于科学计算：高能物理、天文、生物信息
• 由 HDF Group 开发
• 支持文件夹结构，多维数组，图片，表格，文字，支持大数据量，支持数据压缩，支持小部分读写（例如数组的某列）
• 支持 C, C++, Fortran, Java, Python, MATLAB
• HDFView 是一个 GUI 程序可以查看 HDF5 文件。

1. HDF C++ API

• 这是官方提供的 C++ API
• Ubuntu 安装：sudo apt install libhdf5-dev

　　 常识：

• DataSet：文件中的一个数、矩阵、字符串等变量。
• DataSet::write(内存地址, 元素类型, 内存矩阵DataSpace, 文件矩阵DataSpace)：把内存中一个矩阵的一部分（用 DataSpace 表示）写入文件中一个矩阵的一部分
• DataSpace：内存中或文件中矩阵的 layout
• DataSpace::selectHyperslab 选取一个子矩阵
• hsize_t 用于表示矩阵尺寸的整型
• 文件中的矩阵只支持行主序（row major）储存
• 对内存中的 row major 密矩阵，可以直接用一个 write 命令写整个矩阵
• 对内存中的 column major 矩阵，需要用 Hyperslab 一列一列的写
• 更灵活地，可以每次写入一个任意尺寸子矩阵，甚至单个元素。
• 支持的矩阵元类型：H5::PredType::NATIVE_DOUBLE（双精度），NATIVE_CHAR 有符号字符，NATIVE_UCHAR 无符号字符，NATIVE_INT，NATIVE_UINT，NATIVE_FLOAT
• hdf 并不直接支持复数矩阵元，一般需要写成两个矩阵再合并。或者把实矩阵的行数乘以 2，每两个相邻的矩阵元表示一个复数。
• hdf5 支持文件夹的概念，也就是一个数据文件中可以有多层文件夹。所以存矩阵最通用的办法可能就是一个矩阵一个文件夹，数据全部存成一个一维矢量，然后用额外的 dataset 表示行数、列数等额外信息。

#include <iostream>
#include <vector>
#include <H5Cpp.h>

// Use the standard HDF5 namespaces
using namespace H5;
using namespace std;

int main() {
	vector<double> data = {1., 2., 3., 4., 5., 6.};

	// H5F_ACC_TRUNC: replace file if exist
	H5File file("testfile.h5", H5F_ACC_TRUNC);

	hsize_t dims[2] = {2, 3}; // array size (ROW major!)
	DataSpace dataspace(2, dims);

	// use Predfined Type (PredType), double
	DataSet dataset = file.createDataSet("myDoubleArray",
		PredType::NATIVE_DOUBLE, dataspace);

	dataset.write(data.data(), PredType::NATIVE_DOUBLE);

	// will be auto called in destructors
	dataset.close(); dataspace.close(); file.close();
}

• 可以用 dpkg -L libhdf5-dev 来查看所有头文件和 lib 文件的安装路径。
• 编译：g++ test_hdf5.cpp -o test_hdf5.x -I/usr/include/hdf5/serial/ -L/usr/lib/x86_64-linux-gnu/hdf5/serial/ -lhdf5_cpp -lhdf5
• 运行：test_hdf5.x
• 注意储存的矩阵是行主序的！
• 默认不开启压缩，要让上面代码进行压缩，在创建 dataset 时添加一个 DSetCreatPropList（property list）：

DSetCreatPropList plist;
plist.setDeflate(6); // compression level from 0 to 9
DataSet dataset = file.createDataSet("myDoubleArray",
	PredType::NATIVE_DOUBLE, dataspace, plist);