CV・NLPハマりどころメモ

画像認識と自然言語処理を研究する中でうまくいかなかったことと、その対策をまとめる自分用メモが中心。

画像ギャラリーをワンクリックで作成[HTML]

Arles Image Explorer をダウンロードする Webサイト用の画像ギャラリーを生成するツール「Arles Image Explorer」を下記のサイトからダウンロードし,インストールする. https://www.digitaldutch.com/arles/ 対応OSはWindows Arles Image Explorerを開く…

NLTKでアノテーター間の合意度(Inter Annotator Agreement)[NLTK]

NERに使うタグ付けデータをアウトソースにより作成したのだが,アノテーションの信頼度が分からない. このため,NLTKでアノテーター間の合意度を算出した.これはその時のメモである. 3人のアノテーターが付けたラベルに対し,Cohen's kappa(1960)とKripp…

Git LFS のインストール手順[Git]

Git

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get install git-lfs git lfs install 上の3ステップでインストール完了 そして、以下みたいなファイルがある場所で version https://git-lfs.gi…

学習を複数回繰り返した際にOMMがでたときの対処法[GPU]

GPU

対処法 nvidia-smi からプロセスのPIDを確認し、kill コマンドでプロセスを消すと解消。 nvidia-smiコマンドを入力すると、下の方にプロセスがPID付で一覧表示される。あとは、kill PIDでプロセスを削除し、メモリを解放する。 上の画面だと、1252Mもメモリ…

ラズパイを固定IP化するときは手持ちのルーターでDHCP固定割当をする[raspi]

LAN(ローカル)環境でラズパイを使うときは,ルーターで設定をおこなうことでIPの固定化ができる. Buffaloのルーターでのやりかた www.buffalo.jp

sudo dpkg-reconfigure keyboard-configurationが再起動の度にリセットされる[Ubuntu]

困りごと sudo dpkg-reconfigure keyboard-configuration Ubuntu16.04で上のコマンドをうちこんでも再起動の度に設定がリセットされてしまう。 対象法 設定ファイルを直接変更 /usr/share/ibus/component/mozc.xml <layout>○○<layout>を<layout>jp</layout> /etc/default/keyboard XKBMODEL=◯◯</layout></layout>…

nvccとnvidia-smiのCUDAバージョンが違う[CUDA]

下記に記事を見つけたので、後でまとめる。 stackoverflow.com

CrossRefAPIを使ってみる[CrossRefAPI]

論文からのテキストマイニングをしてみたくなったので,様々な出版社のDOI情報を取得可能なCrossRefAPIを使ってみる. しかし,今は時間がないのでざっくりとまとめる. インストール方法 pip install crossrefapi クエリの指定方法 from crossref.restful i…

failed: libcuda.so.1: cannot open shared object file: no such file or directory

対処法 sudo apt-get install libcuda1-415 libcuda.so.1が無いことが原因。 github.com

JSONファイルを綺麗に表示する[JSON]

まずは,jqをインストール. brew install jq 表示 cat result.json | jq . { "hoge": { "precision": 0.9999999999990001, "recall": 0.9999999999990001, "f1_score": 0.9999999999940001 }, "hoge2": { "precision": 0.9999999999983333, "recall": 0.999…

Spyderでタブ補完でインデントされるときの対処法[Spyder][Python]

Spyderを使っていて,TABキーを押したとき,補完ではなくインデントされる場合は, Preferences > Editor > Tab always indent のチェックを外す.

Jupyter labをDockerコンテナで使うときのコマンド[Jupyter]

jupyter lab --ip 0.0.0.0 --allow-root

Flairでお気軽にNERを試す[Flair][NLP][NER]

CoNll2013のデータセットを使ってNERを実行するまでを雑にメモする. Flairが入ったDockerfileをcloneしてくる. git clone https://github.com/poteha/docker-nlp.git DockerfileからFlairのImageを作成 docker build -t nlp-gpu -f ./Dockerfile.gpu . 作…

Dockerのコンテナ・イメージの保存場所を変更[Docker]

Docker のイメージやコンテナは標準設定だと /var/lib/docker に格納される. しかし, それではメインストレージの容量が膨らんでしまったときに収集がつかなくなってしまうので, サブのストレージに格納したい. まずはdockerを止める. $ sudo service docke…

BERTコンテナを作ってDockerHubで公開してみた[Docker][BERT]

最近,AWSやスパコンに触れる機会が多くなったので,スペックのベンチマーク用に汎用言語モデルBERTのDockerコンテナを作ってみることにした. BERTコンテナの仕込み 以下にBERTコンテナを構築するまでの流れを淡々と述べる. Tensorflow公式が提供するコン…

Docker Hubに自作Imageをアップする[Docker]

まずはじめに,Docker Hubでアカウントを作成. 次に,イメージのIDを確認し,タグ付けを行う. docker tag xxxx yyyy/zzzz:latest xxxx: イメージID yyyy: Docker HubのID zzzz: イメージ名 Docker Hubにログイン. docker login --username=yyyy パスワー…

CUDAのパスを通す2行

$ export CUDA_HOME=/usr/local/cuda $ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${CUDA_HOME}/lib64

CUDA-cuDNN, Tensorflow-cuDNNの対応表

Tensorflow - cuDNN https://www.tensorflow.org/install/source#common_installation_problems CUDA - cuDNN https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

Your server does not have third-party cookies enabled [Cloud9][iPad Pro][AWS]

### 回避法ブラウザをSafariに変更。 「サイト越えトラッキングを防ぐ」という設定をオフにする。 https://support.apple.com/ja-jp/guide/safari/sfri40732/mac ※iOSの場合、上の設定は Chromeでは不可 https://support.google.com/chrome/answer/2790761?c…

AWS-ECRでプライベートなDockerイメージを管理する[AWS-ECR]

会社で研究をしていると社外へは決して出してはいけないコンテナを作ってしまうことがある. 世の中には,作成したコンテナをイメージ化して共有するDocker Hubなるサービスがある.しかし,Docker Hubは基本的にオープンなサービスなので,社秘のコンテナを…

産総研のスパコンでPythonを使ってみた[HPC][ABCI]

ABCIとは? 利用手順 事務処理 公開鍵の登録 ターミナルを開き,ポートフォワーディング 別のターミナルを開き,ABCIのログインノードに入る (参考)ポートフォワーディングとログインコマンドは./ssh/configに書いておくと楽 ABCIでPythonを利用してみる ABCI…

MBPとAWSでAE-modelの学習速度比較[ML]

ML

Macbook Proを機械学習のローカル開発環境に使えないかと思ったのだが,学習速度が遅すぎると不便なので,GPU環境と比べてどれくらい遅くなるのかを事前に検証してみた. 検証するにあたって比較したのは,Macbook Pro (2018) とAWS EC2である. AWS-EC2 g3.…

CUDA10.0ではなく10.1がインストールされてしまう[CUDA]

TensorflowがCUDA10.0にしか対応していないので,最新の10.1では無い方をインストールした時の話. https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type=debnetwork の…

汎用言語モデルBERTのpre-trainingを試す[NLP][BERT]

本記事では,2018年秋に登場し話題になったBERTのpre-trainingをとりあえず動かしてみるまでをレポート. 今回は,google-researchのリポジトリのサンプルテキストを使って動かすまでを紹介する.今後,自作のテキストを使ってpre-trainingする予定があるの…

BERTにおけるテキストクレンジングを紹介[BERT]

汎用言語モデルBERTを使用する際に,テキストクレンジングを行う関数を見つけ,読んでみると勉強になったので記事にしてみた. 参考にしたのは,Google Researchの実装である. github.com まず,BERTのコード(tokenization.pyのFullTokenizerクラスのtokeni…

「データマイニング・機械学習分野の概要」を読んで参考になったこと[ML]

ML

神嶌 敏弘さんがご自身のHPで公開している「データマイニング・機械学習分野の概要」という資料が,深層学習の歴史と,国際会議の動向を知る上で大変役に立ったため,本記事では,スライドを読んで参考になったことをまとめてみる. まずは,資料へのリンク…

EC2のGPU付インスタンスでCloud9を使う[AWS][Cloud9]

Cloud9を構築する際にデフォルトで選択できるインスタンスはCPUのものしかない. このため,筆者はGPU付きのインスタンスを別でたてて,そこにCloud9をインストールをしたのだが,色々とハマりポイントがあり,1週間ほどこの作業に費やしてしまったの…

EC2で環境を構築する際にNo space left on deviceになったときの対処法[AWS]

AWS

AWSのEC2でKaggle用計算サーバーを構築しようと思い,Nvidiaのドライバをインストールすると,No space left on deviceのエラーがでた. df コマンドで容量を確認すると,ディスク上のファイル占有率が100%になっていた. これは困った.ディスクを小さくし…

LightsailでCloud9を構築[AWS][Cloud9]

ブラウザで動くCloud9が使いやすいということを知り,好奇心に駆られインストールしてみることにした. AWS Lightsailでレンタルサーバーを借りる(有料) サーバーにNode.jsをインストールする(勿論無料) AWS Cloud9で新しいIDEをサーバー上に構築(無料…

Herokuを試す際に大変役に立ったサイト[Heroku]

自宅のデスクトップPCでスクレイピングのプログラムを回していたら,CPUクーラーの稼働音がうるさくて嫌になったので,サーバー上でプログラムを動かすことを決意. そして,以下のブログに載っている手順が非常にわかりやすかったので,忘れないようにメ…