Смотрите, что сделали в Стенфорде: STORM — утилита для генерации научных репортов на заданную тему (бесплатно)
Работает очень просто: вы задаете тему (например, "Challenges and open questions in the topic of Uncertainty Estimation"), STORM идет в интернет, находит статьи, код и другие ссылки с информацией по этой теме, и в итоге собирает все в один большой репорт. Репорт во многом похож на survey статью по этой теме, но в более свободном формате: скорее, как очень подробный и тщательно собранный репорт в Notion. Есть ссылки на все источники.
По сути, это такая обертка над LLM, которая позволяет без подбора просптов генерить достаточно точные, достоверные и обстоятельные обзоры. У STORM есть статья и код. В статье описывается, как строилась утилита и приводятся метрики. В частности, пишут, что при моделировании процесса сборки репорта фокусировались на следующих вещах:
- рассмотрение различных точек зрения при исследовании заданной темы (это вот про академию/индустрию и т.п.)
- моделирование бесед, в которых авторы, представляющие разные точки зрения, задают вопросы эксперту по заданной теме. Эксперт при этом основывается на надежных интернет-источниках
- отбор собранной информации для создания плана репорта.
Если нажать на кнопку "See BrainSTORMing Process", там как раз будет видно, что сборка итогового репорта основана на использовании LLM с разными промптами от лица разного типа юзеров (academic/ubdustry/etc).
Ссылки:
- попробовать STORM (он бесплатный. Ну, по крайней мере, пока что)
- статья
- код
P.S. Нашла STORM в посте из Твиттера, и там было написано "STORM writes research papers like a PhD". Но репорты по теме — это не любая PhD статья, так что с таким заявлением не соглашусь, имхо оно вводит в заблуждение
Работает очень просто: вы задаете тему (например, "Challenges and open questions in the topic of Uncertainty Estimation"), STORM идет в интернет, находит статьи, код и другие ссылки с информацией по этой теме, и в итоге собирает все в один большой репорт. Репорт во многом похож на survey статью по этой теме, но в более свободном формате: скорее, как очень подробный и тщательно собранный репорт в Notion. Есть ссылки на все источники.
По сути, это такая обертка над LLM, которая позволяет без подбора просптов генерить достаточно точные, достоверные и обстоятельные обзоры. У STORM есть статья и код. В статье описывается, как строилась утилита и приводятся метрики. В частности, пишут, что при моделировании процесса сборки репорта фокусировались на следующих вещах:
- рассмотрение различных точек зрения при исследовании заданной темы (это вот про академию/индустрию и т.п.)
- моделирование бесед, в которых авторы, представляющие разные точки зрения, задают вопросы эксперту по заданной теме. Эксперт при этом основывается на надежных интернет-источниках
- отбор собранной информации для создания плана репорта.
Если нажать на кнопку "See BrainSTORMing Process", там как раз будет видно, что сборка итогового репорта основана на использовании LLM с разными промптами от лица разного типа юзеров (academic/ubdustry/etc).
Ссылки:
- попробовать STORM (он бесплатный. Ну, по крайней мере, пока что)
- статья
- код
P.S. Нашла STORM в посте из Твиттера, и там было написано "STORM writes research papers like a PhD". Но репорты по теме — это не любая PhD статья, так что с таким заявлением не соглашусь, имхо оно вводит в заблуждение