^{操作方法 / 操作手順}ストレージ / ファイルシステムマウント

ファイルシステムマウント(GPUサーバー)

(1) 以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) がUP状態であることを確認する

# ip addr show

(2) 以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) をDOWNさせる

# sudo ifdown enP6p3s0f0np0
# sudo ifdown enP22p3s0f0np0

(3) 以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) がDOWN状態であることを確認する

# ip addr show

(4) 以下のコマンドを実行し、ネットワーク設定ファイル(ifcfg-enP6p3s0f0np0)を編集する

# vi /etc/network/interfaces.d/ifcfg-enP6p3s0f0np0

(5)ファイル末尾に下記を追加し、変更し保存する

　<ストレージNW>：コントロールパネルの[GPUサーバー管理]→対象GPUサーバー→[ネットワーク接続情報一覧]を参照する

　<ストレージIP>  ：上記ストレージNWから1つアサインする（重複しないようにアサイン）

post-up ip rule add from <ストレージIP>/32 table 101 priority 1001
post-up ip route add <ストレージNW>/22 dev enP6p3s0f0np0 src <ストレージIP> table 101
pre-down ip route del <ストレージNW>/22 dev enP6p3s0f0np0 table 101 || true
pre-down ip rule del from <ストレージIP>/32 table 101 priority 1001 || true


・設定例

# This section of this file was automatically generated by cmd. Do not edit manually!
# BEGIN AUTOGENERATED SECTION -- DO NOT REMOVE
auto enP6p3s0f0np0
iface enP6p3s0f0np0 inet static
address XXX.XXX.XXX.XXX
netmask 255.255.252.0
mtu 9000
# END AUTOGENERATED SECTION -- DO NOT REMOVE
post-up ip rule add from <ストレージIP>/32 table 101 priority 1001
post-up ip route add <ストレージNW>/22 dev enP6p3s0f0np0 src 100.66.28.1 table 101
pre-down ip route del <ストレージNW>/22 dev enP6p3s0f0np0 table 101 || true
pre-down ip rule del from <ストレージIP>/32 table 101 priority 1001 || true


(6) 同様に以下のコマンドを実行し、ネットワーク設定ファイル(ifcfg-enP22p3s0f0np0)を編集する

# vi /etc/network/interfaces.d/ifcfg-enP22p3s0f0np0

(7) ファイル末尾に下記を追加し、変更し保存する

　<ストレージNW>：コントロールパネルの[GPUサーバー管理]→対象GPUサーバー→[ネットワーク接続情報一覧]を参照する

　<ストレージIP>  ：上記ストレージNWから1つアサインする（重複しないようにアサイン）

post-up ip rule add from <ストレージIP>/32 table 102 priority 1002
post-up ip route add <ストレージNW>/22 dev enP22p3s0f0np0 src <ストレージIP> table 102
pre-down ip route del <ストレージNW>/22 dev enP22p3s0f0np0 table 102 || true
pre-down ip rule del from <ストレージIP>/32 table 102 priority 1002 || true


(8) 以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) がDOWN状態であることを確認する

# ip addr show

(9) 以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) をUPさせる

# sudo ifup enP6p3s0f0np0
# sudo ifup enP22p3s0f0np0

(10)以下のコマンドを実行し、インタフェース (enP6p3s0f0np0, enP22p3s0f0np0) がUP状態であることを確認する

# ip addr show

(11) 以下のコマンドを実施し、想定通り設定が入っていることを確認する

# ip rule show

・設定例

0: from all lookup local
1001: from <⑤で設定したストレージIP> lookup 101
1002: from <⑦で設定したストレージIP> lookup 102
32766: from all lookup main
32767: from all lookup default


(12) 以下のコマンドを実施し、想定通り設定が入っていることを確認する

# ip route show table 101

・設定例

<⑤で設定したストレージNW>/22 dev enP6p3s0f0np0 scope link src <⑤で設定したストレージIP>


(13) 以下のコマンドを実施し、想定通り設定が入っていることを確認する

# ip route show table 102

・設定例

<⑦で設定したストレージNW>/22 dev enP22p3s0f0np0 scope link src <⑦で設定したストレージIP>

(14) 以下のコマンドを実行し、storage-ip-rule-up.sh設定ファイルを編集する

# vi /usr/local/sbin/storage-ip-rule-up.sh

・設定例

#!/bin/sh

WAIT_TIME=30

IF1=enP6p3s0f0np0
SRC_IP1=<⑤で設定したストレージIP>
TABLE1=101
PRIORITY1=1001

IF2=enP22p3s0f0np0
SRC_IP2=<⑦で設定したストレージIP>
TABLE2=102
PRIORITY2=1002

SEGMENT=“<⑤/⑦で設定したストレージNW>/22"

wait_link_and_addr() {
IF=$1
SRC_IP=$2

# Wait of link up
for i in $(seq 1 $WAIT_TIME); do
if ip link show dev "$IF" 2>/dev/null | grep -q "state UP"; then
break
fi
sleep 1
done

# Wait of IP address assigning
for i in $(seq 1 $WAIT_TIME); do
if ip addr show dev "$IF" 2>/dev/null | grep -q "$SRC_IP"; then
break
fi
sleep 1
done
}

wait_link_and_addr "$IF1" "$SRC_IP1"
ip rule add from ${SRC_IP1} table ${TABLE1} priority ${PRIORITY1} || true
ip route add ${SEGMENT} dev ${IF1} src ${SRC_IP1} table ${TABLE1} || true

wait_link_and_addr "$IF2" "$SRC_IP2"
ip rule add from ${SRC_IP2} table ${TABLE2} priority ${PRIORITY2} || true
ip route add ${SEGMENT} dev ${IF2} src ${SRC_IP2} table ${TABLE2} || true

exit

(15) 以下のコマンドを実行し有効化する

# systemctl enable --now storage-ip-rule.service

(16)ストレージのクライアントソフトウェアをダウンロードおよびインストールする

<STR_IP>：<STR_PORT>
コントロールパネルの[ストレージ管理]→対象ストレージ→[ストレージ詳細]を参照し、ストレージエンドポイントの中から任意のものを選択（外部マウントポイントは選択不可）

# curl -k https://<STR_IP>:<STR_PORT>/dist/v1/install | WEKA_CGROUPS_MODE=force_v2 sh

(17)マウントポイントを作成する（以下は /mnt 配下に weka というマウントポイントを作成した例）

# mkdir -p /mnt/weka

(18)マウントコマンドを実行する

　<ストレージIP1>       ：⑤で設定したストレージIPアドレス

　<ストレージIP2>       ：⑦で設定したストレージIPアドレス

　<STR_IP#1>:<STR_PORT> ～ <STR_IP#3>:<STR_PORT>

　                               ：⑯同様にコントロールパネルのストレージエンドポイントを参照

                                   （フローティングIPはNG）

　<ファイルシステム名>：コントロールパネルで確認可能なファイルシステム名を指定

　<マウントポイント>   ：⑰で設定したマウントポイントを指定

　

# mount -t wekafs -o num_cores=16,net:ha=enP6p3s0f0np0,net:ha=enP22p3s0f0np0,mgmt_ip=<ストレージIP1>+<ストレージIP2> \
-o dpdk_base_memory_mb=16 <STR_IP#1>:<STR_PORT>,<STR_IP#2>:<STR_PORT>,<STR_IP#3>:<STR_PORT>/<ファイルシステム名> \
<マウントポイント>


(19)ファイルシステム確認コマンドで正常にマウントされていることを確認する

# df -H

操作方法

操作手順・ストレージ