ВНИМАНИЕ!!!!

Роботы танцуют!

Спасибо за внимание.

Как тебе такое, Boston Dynamics?

автор

Наткнулся на arXiv'е на интересную статью, в которой предложили новый способ править факты в больших языковых моделях без долгого и дорогого файнтюна -- MEMOIR. Суть: часто с некоторыми запросами модельки с упорством ста ослов лажают, галлюцинируют и несут бред. Обычно в таких случаях разработчики прибегают к файнтюну, дабы исправить подобное поведение и внести точность. Можно еще юзать RAG, но он тоже часто лажает и имеет свои минусы. В статье предлагают не тащить модель на долгое дообучение и просирать тонны GPU-часов, а впиливать в неё дополнительный слой памяти – своего рода флешку в "теле" нейронки. Изначально этот слой забит нулями, т.е. пуст. Когда нужно внести что-то новое/исправить старое в существующих знаниях, правки вносятся именно туда, а базовые веса остаются нетронутыми. Когда модель отвечает, она сначала решает, стоит ли достать данные из этой памяти, а потом уже выдаёт финальный результат.

Интересно, что каждый раз новая информация укладывается в свой уголок памяти и больше ни на что не влияет. Если запрос похож на уже отредактированный, включается нужный фрагмент, если нет – модель работает в обычном режиме. Это позволяет делать до нескольких тысяч правок подряд и при этом не терять старые правки и не ломать всё остальное поведение.

Для компаний это мега-юзкейс: экономит затраченное время и шекели на дообучение модели, инженеры затрачивают считанные минуты на точечное исправление.

Кода пока нет, но скоро обещают выкатить.

тут пейпер

Киберпанк, который мы заслужили.

А вообще, очень смелое предположение, что водители BMW смотрят в зеркала.