transformers v4.19.0のリリース

はじめに

HuggingFace transformers の v4.19.0, v4.19.1, v4.19.2 がリリースされました。アップデートはほぼ一ヶ月ぶりです。

リリースノートをもとに v4.19 系の変更点を確認していきます。

サポート Python

本リリースから Python 3.7 以上が必要となります。

モデル

OPT

OPT は Meta による GPT-3 ライクな言語処理用のモデルです。 トークナイザは GPT-2 と同等の BPE で、軽く試したところ日本語も通るようです。

huggingface model hub では、Meta(facebook)から 125M, 350M, 1.3B, 2.7B, 6.7B, 13B, 30B の 7 種類のパラメタ数のチェックポイントが公開されています。175B はリクエストベースで取得できるようです。

FLAVA

Meta による画像処理+言語処理のモデルです。

YOLOS

華中科技大学による画像処理用のモデルです。

RegNet

Meta による画像処理用のモデルです。

TAPEX

Microsoft によるテーブル事前学習モデルです。

Data2Vec: vision

Meta による、音声、画像、言語処理の統合モデル Data2Vec に、v4.19 では画像処理モデルが追加されました。

FSDP integration in Trainer

Meta 提供の分散最適化の FSDP(Fully Shareded Data Parallel)が Pytorch に取り込まれました。 これを Trainer から利用できるための変更が追加されました。

学習用スクリプト

画像分類や、画像セグメンテーションの学習用のサンプルスクリプトが追加されました。

スペイン語ドキュメント

Transformers のドキュメントを英語以外でも提供しようとしています。 まずはスペイン語を提供しました。

その他

いろいろ改善や修正などがありました。

まとめ

v4.19 は言語処理系では OPT モデルの追加が大きなトピックです。