NBD 共享存储

Network Block Device (NBD) 是一种网络协议,可以在多个主机间共享块存储设备。NBD 被设计为 Client-Server 的架构,因此至少需要两台物理机来部署。

以两台物理机环境为例,本小节介绍基于 NBD 共享存储的实例构建方法大体如下:

  • 首先,两台主机通过 NBD 共享一个块设备;
  • 然后,两台主机上均部署 PolarDB File System (PFS) 来初始化并挂载到同一个块设备;
  • 最后,在两台主机上分别部署 PolarDB for PostgreSQL 内核,构建主节点、只读节点以形成简单的一写多读实例。

::: warning 以上步骤在 CentOS 7.5 上通过测试。 :::

安装 NBD

为操作系统下载安装 NBD 驱动

::: tip 操作系统内核需要支持 NBD 内核模块,如果操作系统当前不支持该内核模块,则需要自己通过对应内核版本进行编译和加载 NBD 内核模块。 :::

CentOS 官网 下载对应内核版本的驱动源码包并解压:

rpm -ihv kernel-3.10.0-862.el7.src.rpm
cd ~/rpmbuild/SOURCES
tar Jxvf linux-3.10.0-862.el7.tar.xz -C /usr/src/kernels/
cd /usr/src/kernels/linux-3.10.0-862.el7/

NBD 驱动源码路径位于:drivers/block/nbd.c。接下来编译操作系统内核依赖和组件:

cp ../$(uname -r)/Module.symvers ./
make menuconfig # Device Driver -> Block devices -> Set 'M' On 'Network block device support'
make prepare && make modules_prepare && make scripts
make CONFIG_BLK_DEV_NBD=m M=drivers/block

检查是否正常生成驱动:

modinfo drivers/block/nbd.ko

拷贝、生成依赖并安装驱动:

cp drivers/block/nbd.ko /lib/modules/$(uname -r)/kernel/drivers/block
depmod -a
modprobe nbd # 或者 modprobe -f nbd 可以忽略模块版本检查

检查是否安装成功:

# 检查已安装内核模块
lsmod | grep nbd
# 如果NBD驱动已经安装,则会生成/dev/nbd*设备(例如:/dev/nbd0、/dev/nbd1等)
ls /dev/nbd*

安装 NBD 软件包

yum install nbd

使用 NBD 来共享块设备

服务端部署

拉起 NBD 服务端,按照同步方式(sync/flush=true)配置,在指定端口(例如 1921)上监听对指定块设备(例如 /dev/vdb)的访问。

nbd-server -C /root/nbd.conf

配置文件 /root/nbd.conf 的内容举例如下:

[generic]
    #user = nbd
    #group = nbd
    listenaddr = 0.0.0.0
    port = 1921
[export1]
    exportname = /dev/vdb
    readonly = false
    multifile = false
    copyonwrite = false
    flush = true
    fua = true
    sync = true

客户端部署

NBD 驱动安装成功后会看到 /dev/nbd* 设备, 根据服务端的配置把远程块设备映射为本地的某个 NBD 设备即可:

nbd-client x.x.x.x 1921 -N export1 /dev/nbd0
# x.x.x.x是NBD服务端主机的IP地址

准备分布式文件系统

参阅 格式化并挂载 PFS

results matching ""

    No results matching ""