-
-
事前学習済みのBERTベクトルを取得する
2020/06/07 -IT系, 機械学習・ディープラーニング
事前学習済みのBERTから、文のベクトルを抽出します。 今回は、Googleの多言語モデル(multilingual)を利用します。 まずはmultilingual mod …
-
-
【Python】Pickleで巨大データの読み込みを高速化する
2020/06/06 -IT系, 機械学習・ディープラーニング
はじめに CSVファイルなどの巨大データを読み込む際、読み込みだけでなくパース処理なども行われるので、非常に時間がかかります。 Pythonでは、DataFrameやその他オブジェクトを …
-
-
OptunaでLightGBMのパラメータを自動でチューニングする
2020/06/06 -IT系, 機械学習・ディープラーニング
OptunaにLightGBMが組み込まれて、より簡単に利用できるようになったので試してみました。 (ちなみに、オプチューナーと読むのが正しいようです。) 基本的に、LightGBMのimport文を …
-
-
リモートマシンのJupyterNotebook環境を使う
2018/09/08 -IT系, 機械学習・ディープラーニング
こんにちは。 最近は機械学習分野に関わることが多いのですが、この分野ではJupyter Notebookが大活躍です。 私のマシン環境はMacBookPro1台、GPU付き …
-
-
【手順】Ubuntu18.04 + CUDA + CuDNN + Chainerの環境構築
2018/08/12 -IT系, Linux, 機械学習・ディープラーニング
こんにちは。 Ubuntu18.04LTSにGPU版のChainerをインストールしたので、手順を残しておきます。 Ubuntu18向けのCUDAが無かったり、悩む箇所が多かったです。 …