...
目前所有机器都有光纤，但只有8,9,10号机器是有IB网卡的。
系统版本
| 节点名称 | 系统版本 | 光纤IP和hostname | IB网卡IP |
|---|---|---|---|
| GPC-06 | Ubuntu20.04 | 192.168.32.16 GPC-06-FIBRE | - |
| GPC-07 | Ubuntu20.04 | 192.168.32.17 GPC-07-FIBRE | - |
| GPC-08 | Ubuntu22.04 | 192.168.32.178 GPC-08-FIBRE | 192.168.128.80 GPC-08-IB |
| GPC-09 | Ubuntu22.04 | 192.168.32.47 GPC-09-FIBRE | 192.168.128.90 GPC-09-IB |
| GPC-10 | Ubuntu22.04 | 192.168.32.147 GPC-10-FIBRE | 192.168.128.10 GPC-10-IB |
方法
第一步：安装需要的依赖（需要在所有机器上上配置）
...
注意，默认的beeGFS在8.2版本中自动启用了RDMA，然而6,7号并没有IB网卡，这里先禁用一下客户端的RDMA功能，否则会启动失败。
第六步：创建连接认证
在管理节点上创建一个文件即可，执行如下步骤：
...
自签名执行：sudo openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -days 3650 -nodes -subj "/CN=beegfs-cluster"mgmt" -addext "subjectAltName = DNS:beegfs-mgmt,IP:192.168.32.178"
注意：DNS:beegfs-mgmt,IP:192.168.32.178是必须的，这是8号机的IP，之后在使用管理节点增加/删除节点的时候会用到，否则会报TSL认证的错误。
第七步：启动
sudo systemctl start beegfs-mgmtd # 在管理节点执行
sudo systemctl start beegfs-meta # 在元节点执行
sudo systemctl start beegfs-storage # 在存储节点执行
sudo systemctl start beegfs-client # 在每个机器上执行
...
右侧是9号机的负载，左侧是8号机的网络负载，可以看到大文件拷贝速度在234M/s差不多能吃满万兆，单个节点的网络在33M/s，说明beeGFS自动均衡了网络负载。
总结
本文基于现有集群的硬件、网络资源，在不花钱的情况下，搭建了一个并行文件系统。在使用方式上和以往的nas共享路径没差别，完美兼容现有工作流。
...