CV・NLPハマりどころメモ

画像認識と自然言語処理を研究する上でうまくいかなかったことと,その対策をまとめる自分用のメモが中心.

初期設定[JupyterLab]

pip install jupyterlab Node.jsの導入 curl -sL https://deb.nodesource.com/setup_12.x | sudo -E bash - sudo apt-get install -y nodejs Variable Inspectorの導入 jupyter labextension install @lckr/jupyterlab_variableinspector

研究をするのにオススメなDockerImage[随時更新][Docker]

自然言語処理にオススメ github.com FlairやSpacyなどが含まれている GPUにも対応している Flairを使う場合,pip install -U pip と pip install -U flairでアップデートを行う必要がある.

NextCloudにコマンドラインでアクセス[NextCloud]

今回は,NextCloudにコマンドラインでアクセスし,共有フォルダ内の情報参照とファイルのダウンロード・アップロードとファイルの共有リンクの発行を行う方法を紹介する. 共有フォルダ内の情報参照 LinuxやUnixのコマンドラインでcurlを使って情報を取得す…

jupyter-notebookを起動する時のコマンド[jupyter]

jupyter notebook --port=8888 --ip=0.0.0.0 --allow-root

画像ギャラリーをワンクリックで作成[HTML]

Arles Image Explorer をダウンロードする Webサイト用の画像ギャラリーを生成するツール「Arles Image Explorer」を下記のサイトからダウンロードし,インストールする. https://www.digitaldutch.com/arles/ 対応OSはWindows Arles Image Explorerを開く…

NLTKでアノテーター間の合意度(Inter Annotator Agreement)[NLTK]

NERに使うタグ付けデータをアウトソースにより作成したのだが,アノテーションの信頼度が分からない. このため,NLTKでアノテーター間の合意度を算出した.これはその時のメモである. 3人のアノテーターが付けたラベルに対し,Cohen's kappa(1960)とKripp…

Git LFS のインストール手順[Git]

Git

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get install git-lfs git lfs install 上の3ステップでインストール完了 そして、以下みたいなファイルがある場所で version https://git-lfs.gi…

学習を複数回繰り返した際にOMMがでたときの対処法[GPU]

GPU

対処法 nvidia-smi からプロセスのPIDを確認し、kill コマンドでプロセスを消すと解消。 nvidia-smiコマンドを入力すると、下の方にプロセスがPID付で一覧表示される。あとは、kill PIDでプロセスを削除し、メモリを解放する。 上の画面だと、1252Mもメモリ…

ラズパイを固定IP化するときは手持ちのルーターでDHCP固定割当をする[raspi]

LAN(ローカル)環境でラズパイを使うときは,ルーターで設定をおこなうことでIPの固定化ができる. Buffaloのルーターでのやりかた www.buffalo.jp JessieのRaspiでの設定 /etc/dhcpcd.conf をvimなどで開く 以下の内容を追記 interface wlan0 static ip_addr…

sudo dpkg-reconfigure keyboard-configurationが再起動の度にリセットされる[Ubuntu]

困りごと sudo dpkg-reconfigure keyboard-configuration Ubuntu16.04で上のコマンドをうちこんでも再起動の度に設定がリセットされてしまう。 対象法 設定ファイルを直接変更 /usr/share/ibus/component/mozc.xml <layout>○○<layout>を<layout>jp</layout> /etc/default/keyboard XKBMODEL=◯◯</layout></layout>…

nvccとnvidia-smiのCUDAバージョンが違う[CUDA]

下記に記事を見つけたので、後でまとめる。 stackoverflow.com

CrossRefAPIを使ってみる[CrossRefAPI]

論文からのテキストマイニングをしてみたくなったので,様々な出版社のDOI情報を取得可能なCrossRefAPIを使ってみる. しかし,今は時間がないのでざっくりとまとめる. インストール方法 pip install crossrefapi クエリの指定方法 from crossref.restful i…

failed: libcuda.so.1: cannot open shared object file: no such file or directory

対処法 sudo apt-get install libcuda1-415 libcuda.so.1が無いことが原因。 github.com

JSONファイルを綺麗に表示する[JSON]

まずは,jqをインストール. brew install jq 表示 cat result.json | jq . { "hoge": { "precision": 0.9999999999990001, "recall": 0.9999999999990001, "f1_score": 0.9999999999940001 }, "hoge2": { "precision": 0.9999999999983333, "recall": 0.999…

Spyderでタブ補完でインデントされるときの対処法[Spyder][Python]

Spyderを使っていて,TABキーを押したとき,補完ではなくインデントされる場合は, Preferences > Editor > Tab always indent のチェックを外す.

Jupyter labをDockerコンテナで使うときのコマンド[Jupyter]

jupyter lab --ip 0.0.0.0 --allow-root

FlairでNERを試す[Flair][NLP][NER]

CoNll2013のデータセットを使ってNERを実行するまでを雑にメモする. Flairが入ったDockerfileをcloneしてくる. git clone https://github.com/poteha/docker-nlp.git DockerfileからFlairのImageを作成 docker build -t nlp-gpu -f ./Dockerfile.gpu . 作…

Dockerのコンテナ・イメージの保存場所を変更[Docker]

Docker のイメージやコンテナは標準設定だと /var/lib/docker に格納される. しかし, それではメインストレージの容量が膨らんでしまったときに収集がつかなくなってしまうので, サブのストレージに格納したい. そこで本記事では,Dockerのコンテナ・イメー…

BERTコンテナを作ってDockerHubで公開してみた[Docker][BERT]

最近,AWSやスパコンに触れる機会が多くなったので,スペックのベンチマーク用に汎用言語モデルBERTのDockerコンテナを作ってみることにした. BERTコンテナの仕込み 以下にBERTコンテナを構築するまでの流れを淡々と述べる. Tensorflow公式が提供するコン…

Docker Hubに自作Imageをアップする[Docker]

まずはじめに,Docker Hubでアカウントを作成. 次に,イメージのIDを確認し,タグ付けを行う. docker tag xxxx yyyy/zzzz:latest xxxx: イメージID yyyy: Docker HubのID zzzz: イメージ名 Docker Hubにログイン. docker login --username=yyyy パスワー…

CUDAのパスを通す2行

$ export CUDA_HOME=/usr/local/cuda $ export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${CUDA_HOME}/lib64

CUDA-cuDNN, Tensorflow-cuDNNの対応表

Tensorflow - cuDNN https://www.tensorflow.org/install/source#common_installation_problems CUDA - cuDNN https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

Your server does not have third-party cookies enabled [Cloud9][iPad Pro][AWS]

### 回避法ブラウザをSafariに変更。 「サイト越えトラッキングを防ぐ」という設定をオフにする。 https://support.apple.com/ja-jp/guide/safari/sfri40732/mac ※iOSの場合、上の設定は Chromeでは不可 https://support.google.com/chrome/answer/2790761?c…

AWS-ECRでプライベートなDockerイメージを管理する[AWS-ECR]

会社で研究をしていると社外へは決して出してはいけないコンテナを作ってしまうことがある. 世の中には,作成したコンテナをイメージ化して共有するDocker Hubなるサービスがある.しかし,Docker Hubは基本的にオープンなサービスなので,社秘のコンテナを…

産総研のスパコンでPythonを使ってみた[HPC][ABCI]

ABCIとは? 利用手順 事務処理 公開鍵の登録 ターミナルを開き,ポートフォワーディング 別のターミナルを開き,ABCIのログインノードに入る (参考)ポートフォワーディングとログインコマンドは./ssh/configに書いておくと楽 ABCIでPythonを利用してみる ABCI…

MBPとAWSでAE-modelの学習速度比較[ML]

ML

Macbook Proを機械学習のローカル開発環境に使えないかと思ったのだが,学習速度が遅すぎると不便なので,GPU環境と比べてどれくらい遅くなるのかを事前に検証してみた. 検証するにあたって比較したのは,Macbook Pro (2018) とAWS EC2である. AWS-EC2 g3.…

CUDA10.0ではなく10.1がインストールされてしまう[CUDA]

TensorflowがCUDA10.0にしか対応していないので,最新の10.1では無い方をインストールした時の話. https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type=debnetwork の…

汎用言語モデルBERTのpre-trainingを試す[NLP][BERT]

本記事では,2018年秋に登場し話題になったBERTのpre-trainingをとりあえず動かしてみるまでをレポート. 今回は,google-researchのリポジトリのサンプルテキストを使って動かすまでを紹介する.今後,自作のテキストを使ってpre-trainingする予定があるの…

BERTにおけるテキストクレンジングを紹介[BERT]

汎用言語モデルBERTを使用する際に,テキストクレンジングを行う関数を見つけ,読んでみると勉強になったので記事にしてみた. 参考にしたのは,Google Researchの実装である. github.com まず,BERTのコード(tokenization.pyのFullTokenizerクラスのtokeni…

「データマイニング・機械学習分野の概要」を読んで参考になったこと[ML]

ML

神嶌 敏弘さんがご自身のHPで公開している「データマイニング・機械学習分野の概要」という資料が,深層学習の歴史と,国際会議の動向を知る上で大変役に立ったため,本記事では,スライドを読んで参考になったことをまとめてみる. まずは,資料へのリンク…