NBD 共享存储

Network Block Device (NBD) 是一种网络协议，可以在多个主机间共享块存储设备。NBD 被设计为 Client-Server 的架构，因此至少需要两台物理机来部署。

以两台物理机环境为例，本小节介绍基于 NBD 共享存储的实例构建方法大体如下：

首先，两台主机通过 NBD 共享一个块设备；
然后，两台主机上均部署 PolarDB File System (PFS) 来初始化并挂载到同一个块设备；
最后，在两台主机上分别部署 PolarDB for PostgreSQL 内核，构建主节点、只读节点以形成简单的一写多读实例。

::: warning 以上步骤在 CentOS 7.5 上通过测试。 :::

安装 NBD

为操作系统下载安装 NBD 驱动

::: tip 操作系统内核需要支持 NBD 内核模块，如果操作系统当前不支持该内核模块，则需要自己通过对应内核版本进行编译和加载 NBD 内核模块。 :::

从 CentOS 官网下载对应内核版本的驱动源码包并解压：

rpm -ihv kernel-3.10.0-862.el7.src.rpm
cd ~/rpmbuild/SOURCES
tar Jxvf linux-3.10.0-862.el7.tar.xz -C /usr/src/kernels/
cd /usr/src/kernels/linux-3.10.0-862.el7/

NBD 驱动源码路径位于：drivers/block/nbd.c。接下来编译操作系统内核依赖和组件：

cp ../$(uname -r)/Module.symvers ./
make menuconfig # Device Driver -> Block devices -> Set 'M' On 'Network block device support'
make prepare && make modules_prepare && make scripts
make CONFIG_BLK_DEV_NBD=m M=drivers/block

检查是否正常生成驱动：

modinfo drivers/block/nbd.ko

拷贝、生成依赖并安装驱动：

cp drivers/block/nbd.ko /lib/modules/$(uname -r)/kernel/drivers/block
depmod -a
modprobe nbd # 或者 modprobe -f nbd 可以忽略模块版本检查

检查是否安装成功：

# 检查已安装内核模块
lsmod | grep nbd
# 如果NBD驱动已经安装，则会生成/dev/nbd*设备（例如：/dev/nbd0、/dev/nbd1等）
ls /dev/nbd*

安装 NBD 软件包

yum install nbd

使用 NBD 来共享块设备

服务端部署

拉起 NBD 服务端，按照同步方式（sync/flush=true）配置，在指定端口（例如 1921）上监听对指定块设备（例如 /dev/vdb）的访问。

nbd-server -C /root/nbd.conf

配置文件 /root/nbd.conf 的内容举例如下：

[generic]
    #user = nbd
    #group = nbd
    listenaddr = 0.0.0.0
    port = 1921
[export1]
    exportname = /dev/vdb
    readonly = false
    multifile = false
    copyonwrite = false
    flush = true
    fua = true
    sync = true

客户端部署

NBD 驱动安装成功后会看到 /dev/nbd* 设备, 根据服务端的配置把远程块设备映射为本地的某个 NBD 设备即可：

nbd-client x.x.x.x 1921 -N export1 /dev/nbd0
# x.x.x.x是NBD服务端主机的IP地址

准备分布式文件系统

参阅格式化并挂载 PFS。

NBD共享存储