自然言語処理

transformersでT5モデル間で日本語文章要約の比較をしてみました。

transformers+deepspeed(ZeRO-2)のconfigを詳しくみてみる

transformers+deepspeed(ZeRO-2)で大きめモデルを1GPUで学習してみます

transformers+deepspeedで大きめモデルを1GPUで学習してみます

transformersの日本語も対応している多言語モデルのパラメタ数などを調べてみました。