14 декабря, 2023 
adminGWP Унівeрситeт Джoнсa Гoпкінсa прeдстaвив іннoвaційний підхід поперед оптимізації багатомовних мовних моделей (MLM), який дозволяє значно зменшити їхній обсяг за исключением. Ant. с втрати продуктивності. MLM забезпечують здатність генерувати та аналізувати тексти у різних мовах, але зі збільшенням кількості мов вони втрачають ефективність после «мовну інтерференцію».
У відміну від традиційних методів, коль для кожної мови створюється окрема нейромережа, вчені використовують матриці з низьким рангом. Цей підхід дозволяє стиснути дані та зменшити кількість параметрів, необхідних с целью додавання нових мов у натура.
Як пояснює Водан із авторів, Хаоран Сюй (Haoran Xu), це аналогічно обмеженій палітрі кольорів про художника. Замість того, щоб кожному учневі в класі виділяти власний набір фарб, використовується загальна палітра з трьох кольорів. Це значно зменшує потребу в параметрах возле масштабуванні моделі.
Дослідники протестували свій метода на 95 мовах, показавши відмінні результати из-за використання значно меншої кількості параметрів. Це відкриває перспективи в целях створення компактних і ефективних MLM, зауважують вчені.
Ради їхніми словами, з время от времени з’являться мобільні додатки з штучним інтелектом, здатні працювати для сотнях мов однаково ефективно. Остаточна метина полягає в застосуванні нового методу чтобы стиснення великих MLM безо втрати їхньої продуктивності.
Опубликовано в рубрике