MITのカイミング・ヘーのチームが、45Bの学習トークンでELF言語拡散モデルをリリース

Beating によると、MITのKaiming Heのチームが最近 ELF（Embedded Language Flows）をリリースしました。これは、GPT 系モデルが用いる自己回帰的な「次のトークンを予測する」アプローチから逸脱した言語拡散モデルです。代わりに、ELF は最終ステップでのみ離散トークンへ変換し、連続的な埋め込み空間でテキスト生成を行います。

OpenWebText の無条件生成ベンチマークでは、105M パラメータの ELF-B が、32 ステップのサンプリングで約 24.1 の生成ペルプレキシティ（Gen. PPL）を達成し、複数の離散および連続の拡散言語モデルのベースラインを上回りました。特に、ELF-B は約 450億の学習トークンしか必要とせず、通常 5,000億トークンを超える同等の手法よりも、およそ 1 桁少ない規模でした。