CV・NLPハマりどころメモ

画像認識と自然言語処理を研究する上でうまくいかなかったことと,その対策をまとめる自分用のメモが中心.

BERT

BERTコンテナを作ってDockerHubで公開してみた[Docker][BERT]

最近,AWSやスパコンに触れる機会が多くなったので,スペックのベンチマーク用に汎用言語モデルBERTのDockerコンテナを作ってみることにした. BERTコンテナの仕込み 以下にBERTコンテナを構築するまでの流れを淡々と述べる. Tensorflow公式が提供するコン…

汎用言語モデルBERTのpre-trainingを試す[NLP][BERT]

本記事では,2018年秋に登場し話題になったBERTのpre-trainingをとりあえず動かしてみるまでをレポート. 今回は,google-researchのリポジトリのサンプルテキストを使って動かすまでを紹介する.今後,自作のテキストを使ってpre-trainingする予定があるの…

BERTにおけるテキストクレンジングを紹介[BERT]

汎用言語モデルBERTを使用する際に,テキストクレンジングを行う関数を見つけ,読んでみると勉強になったので記事にしてみた. 参考にしたのは,Google Researchの実装である. github.com まず,BERTのコード(tokenization.pyのFullTokenizerクラスのtokeni…

汎用言語モデルBERTをつかってNERを動かしてみる

本記事は,2018秋にバズった汎用言語モデルBERTをとりあえずつかってみたときのレポートである. このBERTというモデルをpre-trainingに用いると,様々なNLPタスクで高精度がでるようだ.詳細に関しては以下のリンクを参照. [1810.04805] BERT: Pre-trainin…