^{操作方法 / 操作手順}ストレージ / ファイルシステムマウント

ファイルシステムマウント(GPUサーバー)

(1) 以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) がUP状態であることを確認する

# ip addr show

(2) 以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) をDOWNさせる

# sudo ifdown enP6p3s0f0np0 # sudo ifdown enP22p3s0f0np0

(3) 以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) がDOWN状態であることを確認する

# ip addr show

(4) 以下のコマンドを実行し、ネットワーク設定ファイル(ifcfg-enP6p3s0f0np0)を編集する

# vi /etc/network/interfaces.d/ifcfg-enP6p3s0f0np0

(5)ファイル末尾に下記を追加し、変更し保存する

　<ストレージNW>：コントロールパネルの[GPUサーバー管理]→対象GPUサーバー→[ネットワーク接続情報一覧]を参照する

　<ストレージIP> ：上記ストレージNWから1つアサインする（重複しないようにアサイン）

post-up ip rule add from <ストレージIP>/32 table 101 priority 1001 post-up ip route add <ストレージNW>/22 dev enP6p3s0f0np0 src <ストレージIP> table 101 pre-down ip route del <ストレージNW>/22 dev enP6p3s0f0np0 table 101 || true pre-down ip rule del from <ストレージIP>/32 table 101 priority 1001 || true

・設定例

# This section of this file was automatically generated by cmd. Do not edit manually! # BEGIN AUTOGENERATED SECTION -- DO NOT REMOVE auto enP6p3s0f0np0 iface enP6p3s0f0np0 inet static address XXX.XXX.XXX.XXX netmask 255.255.252.0 mtu 9000 # END AUTOGENERATED SECTION -- DO NOT REMOVE post-up ip rule add from <ストレージIP>/32 table 101 priority 1001 post-up ip route add <ストレージNW>/22 dev enP6p3s0f0np0 src 100.66.28.1 table 101 pre-down ip route del <ストレージNW>/22 dev enP6p3s0f0np0 table 101 || true pre-down ip rule del from <ストレージIP>/32 table 101 priority 1001 || true

(6) 同様に以下のコマンドを実行し、ネットワーク設定ファイル(ifcfg-enP22p3s0f0np0)を編集する

# vi /etc/network/interfaces.d/ifcfg-enP22p3s0f0np0

(7) ファイル末尾に下記を追加し、変更し保存する

　<ストレージNW>：コントロールパネルの[GPUサーバー管理]→対象GPUサーバー→[ネットワーク接続情報一覧]を参照する

　<ストレージIP> ：上記ストレージNWから1つアサインする（重複しないようにアサイン）

post-up ip rule add from <ストレージIP>/32 table 102 priority 1002 post-up ip route add <ストレージNW>/22 dev enP22p3s0f0np0 src <ストレージIP> table 102 pre-down ip route del <ストレージNW>/22 dev enP22p3s0f0np0 table 102 || true pre-down ip rule del from <ストレージIP>/32 table 102 priority 1002 || true

(8) 以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) がDOWN状態であることを確認する

# ip addr show

(9) 以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) をUPさせる

# sudo ifup enP6p3s0f0np0 # sudo ifup enP22p3s0f0np0

(10)以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) がUP状態であることを確認する

# ip addr show

(11) 以下のコマンドを実施し、想定通り設定が入っていることを確認する

# ip rule show

・設定例

0: from all lookup local 1001: from <(5)で設定したストレージIP> lookup 101 1002: from <(7)で設定したストレージIP> lookup 102 32766: from all lookup main 32767: from all lookup default

(12) 以下のコマンドを実施し、想定通り設定が入っていることを確認する

# ip route show table 101

・設定例

<⑤で設定したストレージNW>/22 dev enP6p3s0f0np0 scope link src <(5)で設定したストレージIP>

(13) 以下のコマンドを実施し、想定通り設定が入っていることを確認する

# ip route show table 102

・設定例

<⑦で設定したストレージNW>/22 dev enP22p3s0f0np0 scope link src <(7)で設定したストレージIP>

(14) 以下のコマンドを実行し、storage-ip-rule-up.sh設定ファイルを編集する

# vi /usr/local/sbin/storage-ip-rule-up.sh

・設定例

#!/bin/sh WAIT_TIME=30 IF1=enP6p3s0f0np0 SRC_IP1=<⑤で設定したストレージIP> TABLE1=101 PRIORITY1=1001 IF2=enP22p3s0f0np0 SRC_IP2=<⑦で設定したストレージIP> TABLE2=102 PRIORITY2=1002 SEGMENT=“<⑤/⑦で設定したストレージNW>/22" wait_link_and_addr() { IF=$1 SRC_IP=$2 # Wait of link up for i in $(seq 1 $WAIT_TIME); do if ip link show dev "$IF" 2>/dev/null | grep -q "state UP"; then break fi sleep 1 done # Wait of IP address assigning for i in $(seq 1 $WAIT_TIME); do if ip addr show dev "$IF" 2>/dev/null | grep -q "$SRC_IP"; then break fi sleep 1 done } wait_link_and_addr "$IF1" "$SRC_IP1" ip rule add from ${SRC_IP1} table ${TABLE1} priority ${PRIORITY1} || true ip route add ${SEGMENT} dev ${IF1} src ${SRC_IP1} table ${TABLE1} || true wait_link_and_addr "$IF2" "$SRC_IP2" ip rule add from ${SRC_IP2} table ${TABLE2} priority ${PRIORITY2} || true ip route add ${SEGMENT} dev ${IF2} src ${SRC_IP2} table ${TABLE2} || true exit

(15) 以下のコマンドを実行し有効化する

# systemctl enable --now storage-ip-rule.service

(16)ストレージのクライアントソフトウェアをダウンロードおよびインストールする

<STR_IP>：<STR_PORT>
コントロールパネルの[ストレージ管理]→対象ストレージ→[ストレージ詳細]を参照し、ストレージエンドポイントの中から任意のものを選択（外部マウントポイントは選択不可）

# curl -k https://<STR_IP>:<STR_PORT>/dist/v1/install | WEKA_CGROUPS_MODE=force_v2 sh

(17)マウントポイントを作成する（以下は /mnt 配下に weka というマウントポイントを作成した例）

# mkdir -p /mnt/weka

(18)マウントコマンドを実行する

　<ストレージIP1> ：(5)で設定したストレージIPアドレス

　<ストレージIP2> ：(7)で設定したストレージIPアドレス

　<STR_IP#1>:<STR_PORT> ～ <STR_IP#3>:<STR_PORT>

　：(16)同様にコントロールパネルのストレージエンドポイントを参照

（フローティングIPはNG）

　<ファイルシステム名>：コントロールパネルで確認可能なファイルシステム名を指定

　<マウントポイント> ：(17)で設定したマウントポイントを指定

# mount -t wekafs -o forcedirect,num_cores=16,net:ha=enP6p3s0f0np0,net:ha=enP22p3s0f0np0,mgmt_ip=<ストレージIP1>+<ストレージIP2> \ -o dpdk_base_memory_mb=16 <STR_IP#1>:<STR_PORT>,<STR_IP#2>:<STR_PORT>,<STR_IP#3>:<STR_PORT>/<ファイルシステム名> \ <マウントポイント>

(19)ファイルシステム確認コマンドで正常にマウントされていることを確認する

# df -H

ファイルシステムマウント永続化のために以下の作業も続けて行う

ファイルシステムマウント(GPUサーバー)永続化

(1)BCMにログインする(注1)

注1) BCMへのログイン方法はこちらをご確認ください。

(2)トップページから[Devices]⇒[All Devices]を押下する

(3)永続化するGPUサーバーのAction[↗]を押下する

(4)GPUサーバーのDeviceページより[Settings]を押下する

(5)SettingsページよりFilesystem mounts項目のFilesystem mountsのAction[↗]を押下する

(6)FSMount Entitiesページより[Add]を押下する

(7)FSMount – Settingsページより下記の項目を設定する

Device: <STR_IP#1>:<STR_PORT>,<STR_IP#2>:<STR_PORT>,<STR_IP#3>:<STR_PORT>/<ファイルシステム名> Filesystem: wekafs Mountpoint: /mnt/weka Dump: オフ RDMA: オフ Filesystem check NONE Mount options nofail,forcedirect,num_cores=16,net:ha=enP6p3s0f0np0,net:ha=enP22p3s0f0np0,mgmt_ip=<ストレージIP1>+<ストレージIP2>,dpdk_base_memory_mb=16,x-systemd.after=weka-agent.service,x-systemd.count-timeout=600,_netdev