CV・NLPハマりどころメモ

画像認識と自然言語処理を研究する中でうまくいかなかったことと、その対策をまとめる自分用メモが中心。

Docker

Dockerのコンテナ・イメージの保存場所を変更[Docker]

Docker のイメージやコンテナは標準設定だと /var/lib/docker に格納される. しかし, それではメインストレージの容量が膨らんでしまったときに収集がつかなくなってしまうので, サブのストレージに格納したい. まずはdockerを止める. $ sudo service docke…

BERTコンテナを作ってDockerHubで公開してみた[Docker][BERT]

最近,AWSやスパコンに触れる機会が多くなったので,スペックのベンチマーク用に汎用言語モデルBERTのDockerコンテナを作ってみることにした. BERTコンテナの仕込み 以下にBERTコンテナを構築するまでの流れを淡々と述べる. Tensorflow公式が提供するコン…

Docker Hubに自作Imageをアップする[Docker]

まずはじめに,Docker Hubでアカウントを作成. 次に,イメージのIDを確認し,タグ付けを行う. docker tag xxxx yyyy/zzzz:latest xxxx: イメージID yyyy: Docker HubのID zzzz: イメージ名 Docker Hubにログイン. docker login --username=yyyy パスワー…

dockerコマンドを打つのは時間がかかるのでエイリアスを活用しよう[Docker]

Dockerを使うときにいちいちdocker ... と毎回打つのはめんどくさいですよね。 なので、エイリアスを活用してコマンドを短縮しましょう。 そして筆者は以下の4つのエイリアスを追加してみました。結果、作業がすごく捗っています。 他のブログなどを見てい…

docker: Error response from daemonが出てハマった時の話[Mac][Docker]

Macにdockerをインストールし、docker run --rm hello-world を打ち込むと、 docker: Error response from daemon: Get https://registry-1.docker.io/v2/library/hello-world/manifests/latest: unauthorized: incorrect username or password. のエラーが…

コンテナとホストのフォルダを共有[Docker]

Dockerを使っていて最初に行き詰まるのは,コンテナとホストのファイルの共有をどうするかだろう. フォルダを共有するためには -v コマンドの後に ホストのフォルダパス : コンテナのフォルダパス を書く. 実行後,指定したコンテナのフォルダパスに共有用…

MobaXtermでEC2インスタンス上のDockerコンテナとポートフォワーディング[MobaXterm][EC2][AWS]

本記事は,前回の記事の続きです. vastee.hatenablog.com 前回の記事では,EC2のインスタンスにjupyterを介してアクセスする為に,MobaXtermのポートフォワーディング機能を使った. 今回は話を更に発展させて,EC2のインスタンス上にdockerのコンテナがあ…

DockerでJuliaのv1.0環境を構築[Docker][Julia]

同僚から急遽動かすように言われたJuliaの対応バージョンが1.0であった.しかし,11月時点でJuliaはv1.1にアップデートされている.v1.0はgithubからcheckoutすれば手に入るのだが,素直にmakeしただけでは動かなかった.試行錯誤の末,なんとかv1.0をインス…

CUDAとcuDNNとUbuntuのバージョンを指定してコンテナを立てる[nvidia-docker2]

docker run -it --runtime=nvidia nvidia/cuda:8.0-cudnn5-devel-ubuntu16.04 --runtime=nvidia を忘れるとnvidia-smiが使えないので忘れないように cuDNN5.1などのイメージは用意されていない フレーバーはdevelにセットしておくのが無難 runtimeではnvccが…

runtimeではnvccが使えないので注意[nvidia-docker2]

教訓 nvidia-dockerで環境を立てるときには、develを選ぶのが吉 説明 さて、nvidia-docker2を使ってコンテナを作成しようとしたのだが $ docker run -it --runtime=nvidia nvidia/cuda:8.0-cudnn5-runtime-ubuntu16.04 いざ、コンテナ内でCUDAのバージョンを…

Dockerインストール時にNo module named 'apt_pkg'

対処法 シンボリックリンクを張る。 $ cd /usr/lib/python3/dist-packages $ sudo ln -s apt_pkg.cpython-{35m,36m}-x86_64-linux-gnu.so 以下,だらだらと詳細を述べる. ~~~ 問題が起きた環境 Python3.6 問題発生 Dockerの公式インストール手順4を実行中に…