Published on

transformers v4.7.0のリリース

Author
株式会社イエローバックの機械学習エンジニアです

はじめに

HuggingFace の transformers v4.7.0 がリリースされました。 リリースノートによると、新たに DETR,Roformer,ByT5,HuBERT が追加されました。それぞれざっくりと確認してみました。

DETR

用途: 画像処理

Facebook AI による transformer を用いた物体検出用のモデルです。

以下のチェックポイントが Hugging Face Hub で公開されています。

  • facebook/detr-resnet-50 (物体検出)
  • facebook/detr-resnet-50-panoptic (画像セグメンテーション)

ByT5

用途: 自然言語処理

Google Research によるトークン化を行わないバイトレベルのトークナイザです。誤字などに強いようです。 モデルは T5 が使われます。

以下のチェックポイントが Hugging Face Hub で公開されています。

  • google/byt5-small
  • google/byt5-base
  • google/byt5-large
  • google/byt5-xl
  • google/byt5-xxl

Roformer

用途: 自然言語処理

深センの ZhuiYi Technology という AI スタートアップによる BERT の派生モデルのひとつです。 position embedding を工夫することにより長文タスクで性能改善するそうです。

以下のチェックポイントが Hugging Face Hub で公開されています。現状では中国語メインのようです。

  • junnyu/roformer_chinese_base
  • junnyu/roformer_chinese_char_base
  • junnyu/roformer_chinese_small
  • junnyu/roformer_small_generator
  • junnyu/roformer_small_discriminator

HuBERT

用途: 音声処理

Facebook による音声認識用のモデルです。

以下のチェックポイントが Hugging Face Hub で公開されています。

  • facebook/hubert-large-ls960-ft
  • facebook/hubert-xlarge-ls960-ft
  • facebook/hubert-base-ls960
  • facebook/hubert-large-ll60k
  • facebook/hubert-xlarge-ll60k

その他

  • PyTorch 1.9 サポート
  • Flax,JAX 関連
  • deepspeed 関連
  • その他もろもろ