IT系のネタや知識をアウトプットしたかった

Knowledge-IO

IT系 機械学習・ディープラーニング

事前学習済みのBERTベクトルを取得する

投稿日:

 

事前学習済みのBERTから、文のベクトルを抽出します。

今回は、Googleの多言語モデル(multilingual)を利用します。

 

まずはmultilingual model(cased)をダウンロード。

解凍

 

この後必要なbert_configや学習済みモデル、語彙ファイルなどが入っています。

gitからプログラム類をダウンロード

 

ベクトルの取得には、extract_features.pyを利用します。
ベクトルを取得するテキストファイルを作成。複数文ある場合は|||で区切ります。

BERTベクトルの取得。output_fileに指定したPATHにベクトルが出力されます。

確認

 

以上です。

 

 

-IT系, 機械学習・ディープラーニング

Copyright© Knowledge-IO , 2023 All Rights Reserved Powered by STINGER.