Habr<p>Предсказать ошибку. Как методы оценки неопределенности помогают повышать качество seq2seq-моделей</p><p>Всем привет! Меня зовут Артём Важенцев , я аспирант в Сколтехе и младший научный сотрудник AIRI. Наша группа занимается исследованием и разработкой новых методов оценивания неопределенности для языковых моделей. Этим летом мы опубликовали две статьи на ACL 2023 . Про одну из них я уже рассказывал в одном из предыдущих текстов — там мы описали новый гибридный метод оценивания неопределенности для задачи выборочной классификации текстов. Другая же статья про то, как мы адаптировали современные методы оценивания неопределенности на основе скрытого представления модели для задачи генерации текста, а так же показали их высокое качество и скорость работы для задачи обнаружения примеров вне обучающего распределения. Ниже я хотел бы подробнее рассказать об используемых методах и результатах, которые мы получили.</p><p><a href="https://habr.com/ru/companies/airi/articles/787340/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/airi/art</span><span class="invisible">icles/787340/</span></a></p><p><a href="https://zhub.link/tags/uncertainty_estimation" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>uncertainty_estimation</span></a> <a href="https://zhub.link/tags/natural_language_processing" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>natural_language_processing</span></a> <a href="https://zhub.link/tags/machine_translation" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>machine_translation</span></a> <a href="https://zhub.link/tags/question_answering" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>question_answering</span></a> <a href="https://zhub.link/tags/summarization" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>summarization</span></a> <a href="https://zhub.link/tags/seq2seq" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>seq2seq</span></a></p>