MPI 笔记（C 语言）

贡献者： addis

　　 本文参考一个教程，入门例程，如何配置集群。

1. 安装 MPICH

• mpich 虚拟机亲测成功，然而在组里的服务器上不成功（ubuntu 系统不同，apt 中的 mpich 版本也不同，不想自己编译了）
• 安装 sudo apt install libmpich-dev，自动选择的版本是 3.3a2。安装完如果找不到 mpiexec，就退出 shell 再重新打开。
• 要再每台机器把 s0 到 s3 的 ip 放到 /etc/localhost 里面！ 确保可以 ping，然后用 mpiexec -np 4 -host s0,s1,s2,s3 ./quad_mpi，不能用 localhost 注意 ./ 不能少。

2. 安装 OpenMPI

• 检查 OpenMPI 版本用 mpiexec --version，目前是 4.1.x，mpicxx --version 只会给出 g++ 的版本号。
• sudo apt install openmpi-bin libopenmpi-dev 然而 apt 的版本是非常老的，2.x.x，目前的版本是 4.1.4。笔者用 2.x.x 在多台机器上从来没成功过。其实 4.1.4 也没有成功¹²。
• 要安装比 apt 更新的版本，复制 https://www.open-mpi.org/software/ompi/v4.1/ 里面的压缩包链接，用 wget 下载，然后解压如 tar -xzvf openmpi-4.1.4.tar.gz（要几分钟）。进入解压文件夹，./configure，make all -j20，sudo make install 即可。如果 mpicxx --version 说找不到 so 文件，就用 sudo ldconfig 即可。
• sudo make uninstall 卸载

3. 安装 Intel MPI

• 【更新】现在 Intel 已经包括在 Intel OneAPI 中了。编译器，MKL，MPI 等（Parallel Studio 中的一切），商用和非商用都已经免费。组里的服务器亲测成功，mpiexec -np 2 --host server1,server2 ./可执行文件
• intel MPI 和 MKL 一样是免费的，google 一下，下载安装包即可，运行 sudo ./install.sh 安装，过程和 MKL 差不多
• 如果已经安装了 MKL，可能会提示目录已经存在（不确定 MKL 是否已经包含 MPI）
• 安装好以后同样需要在 ~/.bashrc 中添加路径，即在文件最后加入命令 source /opt/intel/compilers_and_libraries_2020.1.217/linux/mpi/intel64/bin/mpivars.sh
• 重启一下 shell，运行 mpicxx --help，如果进入帮助页面就说明成功了
• mpicxx 或者 mpigxx 都是 g++ 的一个 wraper，和 g++ 一样使用即可
• 所有的机器都需要使用同一个版本的 MPI。

4. 基本语法

• # include <mpi.h>
• 编译完以后，如果直接运行程序只会有一个 process，需要用例如 mpiexec -np 4 ./main.x 指定进程数量。mpirun 也基本一样，但并不在 MPI 标准中，不建议使用。
• MPI_Init(&argc, &argv); 开始 MPI，MPI_Finalize(); 结束。
• MPI_Comm_size(MPI_Comm comm, &size); 获取指定 communicator 的进程数
• MPI_Comm_rank(MPI_Comm comm, &rank); 获取当前进程的 id，称为 rank。
• int MPI_Send(const void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm) 其中 dest 是进程 id，tag 是一个编号用于区分不同的消息，comm 一般是 MPI_COMM_WORLD（所有进程）。
• 常用的 MPI_Datatype 有 MPI_CHAR，MPI_UNSIGNED_CHAR，MPI_INT，MPI_UNSIGNED，MPI_LONG，MPI_LONG_LONG，MPI_FLOAT，MPI_DOUBLE，MPI_LONG_DOUBLE，MPI_COMPLEX，MPI_REAL16，MPI_COMPLEX32。
• count 是 buf 中有几个数据，即数组的长度。
• int MPI_Recv(void *buf, int count, MPI_Datatype datatype, int source, int tag, MPI_Comm comm, MPI_Status *status)，接收信息。status 可以用于获取更多信息，其他参数同理。
• int MPI_Bcast(void *buffer, int count, MPI_Datatype datatype, int root, MPI_Comm comm) 只从 id 为 root 的进程调用，对所有其他进程中的 buffer 赋值。这相当于分别对每个进程用 MPI_Send() 和 MPI_Recv()。
• double MPI_Wtime() 返回当前进程的时间（从任意起点开始，单位秒）。
• int MPI_Reduce(const void* send_buffer, void* receive_buffer, int count, MPI_Datatype datatype, MPI_Op operation, int root, MPI_Comm communicator); 把每个进程中的某个变量相加或相乘等，赋值给 id 为 root 的某个变量。其中 operation 可以是 MPI_MAX, MPI_MIN, MPI_SUM, MPI_PROD
• int MPI_Allreduce(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op, MPI_Comm comm); 和 MPI_Reduce 一样，但结果会返回到所有进程。
• int MPI_Barrier(MPI_Comm comm) 可以同步所有的进程到某个点。
• Scatter()（未完成）
• Gather()（未完成）

5. 配置集群

• 配置 host 文件（给每个 ip 一个名称），设置免密码 ssh。
• 设置一个共享网络文件夹（应该方法不限），把 mpicxx 编译的可执行文件放到里面
• mpirun -np 5 -host localhost,worker1,... ./可执行文件

1. ^ WARNING: Open MPI accepted a TCP connection from what appears to be a another Open MPI process but cannot find a corresponding process entry for that peer.
2. ^ WARNING: Open MPI failed to TCP connect to a peer MPI process. This should not happen. ... connect() to 10.0.2.4:1024 failed