huggingfaceのtransformersが日本語の事前学習モデルを追加してくれました。
そのおかげで日本語のbertを簡単に試す出来るようになりました。
これでまた、自然言語の機械学習をしやすくなったと言えます。
今回は、colaboratory上で日本語のbertを使って、元の文章を別の文章(単語を入れ替える)にしてみます。
ためしたこと
今回は、colaboratoryで、日本語のBertを使って日本語の文章の一部をMASKして別の文章を作るのを試します。
bertは、ライブラリーをインストールすればjupyter notebookでも動きますが、ローカルPCへのライブラリーインストールは意外に面倒なので、より手軽に試せるcolaboratoryで動くようにしました。
日本語bertを使って単語の予測をするまでの流れ
- mecabなどの形態素ライブラリーをインストールする
- pythonからmecabを呼び出せるようにmecab-python3をインストールする
- fugashi,ipadicのインストール
- transformersのインストール
- 日本語の事前学習モデルを読み込む
- tokenizerを使って文字列をベクトル化する
- 学習済みモデルを使って予測(Predict)
- ベクトル化されたものを元の文字列に戻す
- 予測された単語を得ることが出来る
日本語のモデル情報
https://huggingface.co/cl-tohoku/bert-base-japanese-whole-word-masking
詳細な説明は、実際のコードを使いながら解説！
ここからは、実装例を示します。
まとめ
以上、huggingfaceのtransformersを使った日本語のBertの使い方例でした。
次回は、fine-tuningを使って実際にtwitterの感情分類をしてみたいと思います！
- 👑👑Aidemy Premium Plan・AIを基礎から学ぶPython特化型プログラミングスクール
受講期間中ならAI、WEB開発、データサイエンスなどの多くの技術を身につけられる！
開発環境がすでに用意されているから、すぐに学習に取り組める！ - テックアカデミー・最短4週間から学べるスクール
週2回のメンタリングでモチベーションを持続できる
受講料が10万円台からとお財布に優しい！ - 侍エンジニア・専属メンターと二人三脚でオリジナルサービス開発を実現
オリジナルカリキュラムであなたの目的にあった技術を学べる！
あなた専属のメンターが、入学から卒業まで学習をサポート
入会するか悩むのは無料カウンセリング後で十分間に合います！無料カウンセリングは、スクール名のリンクから申し込みできます。
＞＞より詳しく5つのスクールについて知りたい方は、以下をクリック！