Published on

transformers v4.8.1のリリース

Author
株式会社イエローバックの機械学習エンジニアです

はじめに

先週 v4.7.0 がリリースされたばかりなのに、HuggingFace の transformers v4.8.0 そして パッチリリースの v4.8.1 と立て続けにリリースされました。 リリースノートをもとに v4.8 系の変更点を確認していきます。

Hugging Face Hub との統合

Trainer Hub integration

trainer や example ディレクトリのスクリプトで--push_to_hubオプションを使って hub へプッシュできるようになりました。

Visualizing Training metrics on huggingface.co (based on Tensorboard)

tensorboard 用のログが hub へプッシュできるようになり、push されたメトリックはモデルページの Training Metrics ペインで見られるようになりました。

Model card generation

model カードが yaml 形式になったようです。

Model, tokenizer and configurations

model, tokenizer, configuration のpush_to_hub()メソッドやsave_pretrained()のpush_to_hub引数などの API が変更されました。

Flax/JAX サポート

既存のモデルに加えていくつかのモデルの Flax/JAX 実装が追加されました。 現状では、bert, electra, roberta, gpt2, big_bird, vit, clip, bart, t5 が存在しているようです。

参照: https://huggingface.co/transformers/#supported-frameworks

その他

  • その他もろもろ

まとめ

v4.8 系へのアップデートは Hugging Face Hub まわりや Flax/JAX まわりがメインでした。 単なる利用者にとってはあまり関係なさそうです。

Discuss on Twitter