فريق كايمنغ هي من MIT يُصدر نموذجًا لتوسيع اللغة ELF بتدريب على 45 مليار رمز تدريب

بحسب Beating، أصدرت مؤخرًا فرق كيمينغ هي من معهد ماساتشوستس للتكنولوجيا نموذج ELF (Embedded Language Flows)، وهو نموذج لنشر اللغة ينحرف عن أسلوب التنبؤ التتابعي بـ"التنبؤ بالرمز التالي" المستخدم في نماذج من نمط GPT. وبدلًا من ذلك، يجري ELF توليد النص في فضاء تضمينات مستمر، ولا يحوِّله إلى رموز متقطعة إلا في الخطوة الأخيرة.

في اختبارات التوليد غير المشروط ضمن OpenWebText، حقق ELF-B، الذي يضم 105M من المعلمات، حوالي 24.1 من مقلوبية التوليد (Gen. PPL) مع أخذ عينات على 32 خطوة، متفوقًا على عدة نماذج أساسية في اللغات القائمة على الانتشار المتقطع والمستمر. وعلى نحو لافت، احتاج ELF-B إلى نحو 45 مليار رمز تدريبي فقط، أي أقل بحوالي رتبة واحدة من الطرق المماثلة التي عادةً تتجاوز 500 مليار رمز.