transformers v4.7.0のリリース

はじめに

HuggingFace の transformers v4.7.0 がリリースされました。 リリースノートによると、新たに DETR,Roformer,ByT5,HuBERT が追加されました。それぞれざっくりと確認してみました。

DETR

用途: 画像処理

Facebook AI による transformer を用いた物体検出用のモデルです。

以下のチェックポイントが Hugging Face Hub で公開されています。

• facebook/detr-resnet-50 (物体検出)
• facebook/detr-resnet-50-panoptic (画像セグメンテーション)

ByT5

用途: 自然言語処理

Google Research によるトークン化を行わないバイトレベルのトークナイザです。誤字などに強いようです。 モデルは T5 が使われます。

以下のチェックポイントが Hugging Face Hub で公開されています。

• google/byt5-small
• google/byt5-base
• google/byt5-large
• google/byt5-xl
• google/byt5-xxl

Roformer

用途: 自然言語処理

深センの ZhuiYi Technology という AI スタートアップによる BERT の派生モデルのひとつです。 position embedding を工夫することにより長文タスクで性能改善するそうです。

以下のチェックポイントが Hugging Face Hub で公開されています。現状では中国語メインのようです。

• junnyu/roformer_chinese_base
• junnyu/roformer_chinese_char_base
• junnyu/roformer_chinese_small
• junnyu/roformer_small_generator
• junnyu/roformer_small_discriminator

HuBERT

用途: 音声処理

Facebook による音声認識用のモデルです。

以下のチェックポイントが Hugging Face Hub で公開されています。

• facebook/hubert-large-ls960-ft
• facebook/hubert-xlarge-ls960-ft
• facebook/hubert-base-ls960
• facebook/hubert-large-ll60k
• facebook/hubert-xlarge-ll60k

その他

• PyTorch 1.9 サポート
• Flax,JAX 関連
• deepspeed 関連
• その他もろもろ