CV・NLPハマりどころメモ

画像認識と自然言語処理を研究する中でうまくいかなかったことと、その対策をまとめる自分用メモが中心。

EC2インスタンスのストレージ増設方法

手順としては大まかに2つあり, ひとつはAWS マネジメントコンソール上でストレージをアタッチすること, もうひとつが任意のフォルダにストレージをマウントすることである.

では早速手順にはいる.

EC2 Management Console > ELASTIC BLOCK STORE > Volumes を選択

Create Volume で所望の容量でストレージを作成

この時, ストレージの接続場所をメモしとくと良い(例 /dev/sdf)

ストレージが作成されたことを確認したら, Actions > Attach Volume でストレージを接続したいEC2インスタンスを選択.

選択後, インスタンスを再起動.

ここからは公式のドキュメント(https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ebs-using-volumes.html)に沿って作業を行う.

再起動後, インスタンスコマンドプロンプト上でlsblkコマンドを使用し, 使用可能なディスクデバイスとマウントポイント (該当する場合) を表示.

ubuntu@ip-xxx-xx-xx-xxx:~$ lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
xvda    202:0    0    8G  0 disk 
└─xvda1 202:1    0    8G  0 part /
xvdf    202:80   0  300G  0 disk 
loop0     7:0    0 12.7M  1 loop /snap/amazon-ssm-agent/495
loop1     7:1    0 87.9M  1 loop /snap/core/5328
loop2     7:2    0 16.5M  1 loop /snap/amazon-ssm-agent/784
loop3     7:3    0 87.9M  1 loop /snap/core/5742

xvdfに先ほど作成したストレージが確かにあることがわかった.

ボリュームにファイルシステムを作成する必要があるかどうかを確認. 下記コマンドを打って, 出力にデバイスのdataだけ表示されるはず. dataだけ表示された場合は, ボリュームにファイルシステムを作成する必要がある.

ubuntu@ip-xxx-xx-xx-xxx:~$ sudo file -s /dev/xvdf
/dev/xvdf: data

ボリュームに ext4 ファイルシステムを作成.

$ sudo mkfs -t ext4 /dev/xvdf

任意の場所マウントポイントディレクトリを作成し, 作成した場所にストレージをマウント.

$ sudo mkdir ~/disk
$ sudo mount /dev/xvdf ~/disk

次に, システムブート時に常に, このストレージをマウントする為の設定を行う.

バイスの UUID を見つける為, dfコマンドを使う.

ubuntu@ip-172-31-19-116:~$ df
Filesystem     1K-blocks    Used Available Use% Mounted on
udev            62901564       0  62901564   0% /dev
tmpfs           12582728    8996  12573732   1% /run
/dev/xvda1       8065444 5171944   2877116  65% /
tmpfs           62913636       0  62913636   0% /dev/shm
tmpfs               5120       0      5120   0% /run/lock
tmpfs           62913636       0  62913636   0% /sys/fs/cgroup
/dev/loop0         13056   13056         0 100% /snap/amazon-ssm-agent/495
/dev/loop1         90112   90112         0 100% /snap/core/5328
/dev/loop2         16896   16896         0 100% /snap/amazon-ssm-agent/784
/dev/loop3         89984   89984         0 100% /snap/core/5742
tmpfs           12582728       0  12582728   0% /run/user/1000
/dev/xvdf      309506048   64344 293696680   1% /home/ubuntu/disk

次に, 2 つのコマンドのいずれかの出力を調べて, /dev/xvdf の UUID を見つける.

$ sudo file -s /dev/xvdf
$ ls -al /dev/disk/by-uuid/

fstabにエントリを追加

$ sudo vim /etc/fstab

見つけたUUIDを下のように追加

UUID=d7216092-b9d1-4df8-a714-b4626a229bd5   /home/ubuntu/disk   ext4   defaults,discard    0 0

sudo mount -a コマンドを実行し, /etc/fstabにすべてのファイルシステムをマウントする.

$ sudo mount -a

上のコマンドでエラーが出なければ, 増設が完了.