CV・NLPハマりどころメモ

画像認識と自然言語処理を研究する上でうまくいかなかったことと,その対策をまとめる自分用のメモが中心.

自作データで学習したモデルを再度読み込んで2回目の学習を実行[Flair]

自作データを使って2回以上の学習を回したときにハマったのでまとめる. 筆者が自作データでNERの学習を行なったときに,1回目に学習したモデルを2回目の学習に引き継ぎたいと思った. しかしながら,その方法は公式ドキュメントには書いていなかったので,…

f-stringを使ってスマートにパスを生成する[Python]

Python3.6から使えるようになったf-stringを使って,スマートにパスを生成しよう. かっこ悪いパスの生成 from datetime import datetime now = datetime.now().strftime("%Y%m%d%H%M%S") dst = "/root/output/" + now + "_result/hoge.txt" print(dst) >> /…

pipでパッケージの最新版をインストールする[git]

git

git hub の最新版のコードを使いたいときのコマンド. 以下に,NLPライブラリFlairの最新版をインストールするときのコマンドを示す. インストール前にflairがあっても,最新版に更新してくれる. ただし,最新版は,バグやら不具合が多くて不安定なので,…

容量が一杯になってしまった時にでるエラー[AWS][EC2]

apt update を実行して以下のエラー こんな時は,df -h で容量を調べてみよう.きっとディスクがパンパンになっているはずだ. Error writing to output file - write (28: No space left on device) Error writing to file - write (28: No space left on d…

\cite, \citet, \citepの違いは?[Latex]

\citetと\citepでは,括弧の位置が異なる. *を付けるとet al.で省略しない. \citeと\citet, \citepの使い分けはまだわからない. \citet{jon90} --> Jones et al. (1990) \citep{jon90} --> (Jones et al., 1990) \citet*{jon90} --> Jones, Baker, and Wi…

章番号を参照した時に「1. 章」とドットが付く問題の解決法[Latex]

問題: \ref で参照すると不要なドットが付く 電◯情報通信学会の日本語原稿を執筆していると,章番号を\refで参照した際に,不要なドットがついてしまう. \ref{sec:conclusion}章でまとめと今後の課題を述べる. ↓ 6. 章でまとめと今後の課題を述べる. ぐぬ…

起動中のコンテナに別ターミナルからアクセス[Docker]

docker exec -it my-container /bin/bash あるコンテナで学習を回すと,そのコンテナが結果出力で占有させてしまったので上のコマンドで, 2つ目のコンソールを立ちあげて,学習とLinuxの設定を同時に実施した.

CUIに出力を表示させずに起動[Jupyter]

jupyter lab --no-browser --port=8888 --ip=0.0.0.0 --allow-root & Control+C を押してもサーバーが止まることは無くなる. しかし,Jupyter lab上でアクションがあると,ターミナル上に結果が吐き出される.

初期設定[JupyterLab]

pip install jupyterlab Node.jsの導入 curl -sL https://deb.nodesource.com/setup_12.x | sudo -E bash - sudo apt-get install -y nodejs Variable Inspectorの導入 jupyter labextension install @lckr/jupyterlab_variableinspector

研究をするのにオススメなDockerImage[随時更新][Docker]

自然言語処理にオススメ github.com FlairやSpacyなどが含まれている GPUにも対応している Flairを使う場合,pip install -U pip と pip install -U flairでアップデートを行う必要がある.

NextCloudにコマンドラインでアクセス[NextCloud]

今回は,NextCloudにコマンドラインでアクセスし,共有フォルダ内の情報参照とファイルのダウンロード・アップロードとファイルの共有リンクの発行を行う方法を紹介する. 共有フォルダ内の情報参照 LinuxやUnixのコマンドラインでcurlを使って情報を取得す…

jupyter-notebookを起動する時のコマンド[jupyter]

jupyter notebook --port=8888 --ip=0.0.0.0 --allow-root

画像ギャラリーをワンクリックで作成[HTML]

Arles Image Explorer をダウンロードする Webサイト用の画像ギャラリーを生成するツール「Arles Image Explorer」を下記のサイトからダウンロードし,インストールする. https://www.digitaldutch.com/arles/ 対応OSはWindows Arles Image Explorerを開く…

NLTKでアノテーター間の合意度(Inter Annotator Agreement)[NLTK]

NERに使うタグ付けデータをアウトソースにより作成したのだが,アノテーションの信頼度が分からない. このため,NLTKでアノテーター間の合意度を算出した.これはその時のメモである. 3人のアノテーターが付けたラベルに対し,Cohen's kappa(1960)とKripp…

Git LFS のインストール手順[Git]

Git

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get install git-lfs git lfs install 上の3ステップでインストール完了 そして、以下みたいなファイルがある場所で version https://git-lfs.gi…

学習を複数回繰り返した際にOMMがでたときの対処法[GPU]

GPU

対処法 nvidia-smi からプロセスのPIDを確認し、kill コマンドでプロセスを消すと解消。 nvidia-smiコマンドを入力すると、下の方にプロセスがPID付で一覧表示される。あとは、kill PIDでプロセスを削除し、メモリを解放する。 上の画面だと、1252Mもメモリ…

ラズパイを固定IP化するときは手持ちのルーターでDHCP固定割当をする[raspi]

LAN(ローカル)環境でラズパイを使うときは,ルーターで設定をおこなうことでIPの固定化ができる. Buffaloのルーターでのやりかた www.buffalo.jp

sudo dpkg-reconfigure keyboard-configurationが再起動の度にリセットされる[Ubuntu]

困りごと sudo dpkg-reconfigure keyboard-configuration Ubuntu16.04で上のコマンドをうちこんでも再起動の度に設定がリセットされてしまう。 対象法 設定ファイルを直接変更 /usr/share/ibus/component/mozc.xml <layout>○○<layout>を<layout>jp</layout> /etc/default/keyboard XKBMODEL=◯◯</layout></layout>…

nvccとnvidia-smiのCUDAバージョンが違う[CUDA]

下記に記事を見つけたので、後でまとめる。 stackoverflow.com

CrossRefAPIを使ってみる[CrossRefAPI]

論文からのテキストマイニングをしてみたくなったので,様々な出版社のDOI情報を取得可能なCrossRefAPIを使ってみる. しかし,今は時間がないのでざっくりとまとめる. インストール方法 pip install crossrefapi クエリの指定方法 from crossref.restful i…

failed: libcuda.so.1: cannot open shared object file: no such file or directory

対処法 sudo apt-get install libcuda1-415 libcuda.so.1が無いことが原因。 github.com

JSONファイルを綺麗に表示する[JSON]

まずは,jqをインストール. brew install jq 表示 cat result.json | jq . { "hoge": { "precision": 0.9999999999990001, "recall": 0.9999999999990001, "f1_score": 0.9999999999940001 }, "hoge2": { "precision": 0.9999999999983333, "recall": 0.999…

Spyderでタブ補完でインデントされるときの対処法[Spyder][Python]

Spyderを使っていて,TABキーを押したとき,補完ではなくインデントされる場合は, Preferences > Editor > Tab always indent のチェックを外す.

Jupyter labをDockerコンテナで使うときのコマンド[Jupyter]

jupyter lab --ip 0.0.0.0 --allow-root

Flairでお気軽にNERを試す[Flair][NLP][NER]

CoNll2013のデータセットを使ってNERを実行するまでを雑にメモする. Flairが入ったDockerfileをcloneしてくる. git clone https://github.com/poteha/docker-nlp.git DockerfileからFlairのImageを作成 docker build -t nlp-gpu -f ./Dockerfile.gpu . 作…

Dockerのコンテナ・イメージの保存場所を変更[Docker]

Docker のイメージやコンテナは標準設定だと /var/lib/docker に格納される. しかし, それではメインストレージの容量が膨らんでしまったときに収集がつかなくなってしまうので, サブのストレージに格納したい. そこで本記事では,Dockerのコンテナ・イメー…

BERTコンテナを作ってDockerHubで公開してみた[Docker][BERT]

最近,AWSやスパコンに触れる機会が多くなったので,スペックのベンチマーク用に汎用言語モデルBERTのDockerコンテナを作ってみることにした. BERTコンテナの仕込み 以下にBERTコンテナを構築するまでの流れを淡々と述べる. Tensorflow公式が提供するコン…

Docker Hubに自作Imageをアップする[Docker]

まずはじめに,Docker Hubでアカウントを作成. 次に,イメージのIDを確認し,タグ付けを行う. docker tag xxxx yyyy/zzzz:latest xxxx: イメージID yyyy: Docker HubのID zzzz: イメージ名 Docker Hubにログイン. docker login --username=yyyy パスワー…

CUDAのパスを通す2行

$ export CUDA_HOME=/usr/local/cuda $ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${CUDA_HOME}/lib64

CUDA-cuDNN, Tensorflow-cuDNNの対応表

Tensorflow - cuDNN https://www.tensorflow.org/install/source#common_installation_problems CUDA - cuDNN https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html