Habr<p>Готовимся к собесу: positional encodings в 2025 году</p><p>Если вы до сих пор считаете, что positional encoding в трансформерах — это знаменитые sin/cos из статьи 2017 года, то боюсь, что собеседование для вас закончится автоматическим реджектом. Позиционное кодирование заметно эволюционировало с момента появления оригинальной статьи о трансформерах. В современных LLM и моделях компьютерного зрения, таких как FLUX, уже давно не используется классическое sin/cos-кодирование.</p><p><a href="https://habr.com/ru/articles/926368/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/926368/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/gpt" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>gpt</span></a> <a href="https://zhub.link/tags/deeplearning" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>deeplearning</span></a> <a href="https://zhub.link/tags/nlp" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>nlp</span></a> <a href="https://zhub.link/tags/%D1%81%D0%BE%D0%B1%D0%B5%D1%81%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>собеседование</span></a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%B4%D0%B3%D0%BE%D1%82%D0%BE%D0%B2%D0%BA%D0%B0_%D0%BA_%D1%81%D0%BE%D0%B1%D0%B5%D1%81%D0%B5%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8E" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>подготовка_к_собеседованию</span></a> <a href="https://zhub.link/tags/%D0%B2%D1%85%D0%BE%D0%B4_%D0%B2_it" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>вход_в_it</span></a> <a href="https://zhub.link/tags/computer_vision" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>computer_vision</span></a></p>