Mastodon

Habr[Перевод] Ни одна реализация элементарных функций не соответствует стандарту IEEE 754Введённый в 1985 году стандарт IEEE-754 для чисел с плавающей запятой был предназначен для решения проблемы разнородности реализаций чисел с плавающей запятой, мешавших портируемости кода, а также для повышения стабильности между платформами. Он получил широкое применение и многократно пересматривался в течение прошедших лет. Если вы когда-нибудь работали с любыми вещественными числами в своих приложениях, то они, вероятно, отвечали этому стандарту. Моя работа в течение последнего года заключалась в анализе погрешности различных математических функций, накопления этой погрешности и способов её уменьшения при помощи различных программных паттернов. Одной из исследованных мной тем были базовые математические функции, используемые в функциях активации нейронных сетей, а также способы их аппроксимации для повышения производительности . В процессе работы нам пришлось столкнуться с противодействием со стороны людей, активно стремящихся к корректной реализации математических функций и к соответствию их стандартам, в частности, к соблюдению обеспечения корректности одной наименее значимой единицы измерения (unit in last place, ULP) для элементарных функций. Я был заинтересован в дальнейшей работе по аппроксимации этих функций, поэтому приступил к исследованию того, каким образом они гарантируют корректность, и если они корректны только на 1 ULP, то где располагаются ошибки в области определения функции. В процессе изучения я обнаружил, что ни одна из популярных математических библиотек, используемых во множестве сфер вычислений, на самом деле не выполняет корректное округление в соответствии с требованиями любой версии IEEE 754 после первой редакции 1985 года.<a href="https://habr.com/ru/companies/ruvds/articles/881698/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/ruvds/articles/881698/</a><a href="https://zhub.link/tags/%D1%87%D0%B8%D1%81%D0%BB%D0%B0_%D1%81_%D0%BF%D0%BB%D0%B0%D0%B2%D0%B0%D1%8E%D1%89%D0%B5%D0%B9_%D0%B7%D0%B0%D0%BF%D1%8F%D1%82%D0%BE%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#числа_с_плавающей_запятой</a> <a href="https://zhub.link/tags/floating_point" class="mention hashtag" rel="nofollow noopener" target="_blank">#floating_point</a> <a href="https://zhub.link/tags/ieee_754" class="mention hashtag" rel="nofollow noopener" target="_blank">#ieee_754</a> <a href="https://zhub.link/tags/%D0%BF%D0%BB%D0%B0%D0%B2%D0%B0%D1%8E%D1%89%D0%B0%D1%8F_%D0%B7%D0%B0%D0%BF%D1%8F%D1%82%D0%B0%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#плавающая_запятая</a> <a href="https://zhub.link/tags/%D0%BF%D0%BB%D0%B0%D0%B2%D0%B0%D1%8E%D1%89%D0%B0%D1%8F_%D1%82%D0%BE%D1%87%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#плавающая_точка</a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D0%B3%D1%80%D0%B5%D1%88%D0%BD%D0%BE%D1%81%D1%82%D0%B8_%D0%BE%D0%BA%D1%80%D1%83%D0%B3%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#погрешности_округления</a> <a href="https://zhub.link/tags/fpu" class="mention hashtag" rel="nofollow noopener" target="_blank">#fpu</a> <a href="https://zhub.link/tags/ruvds_%D1%81%D1%82%D0%B0%D1%82%D1%8C%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#ruvds_статьи</a>

HabrТочность позиционирования объектов в играх: возможные ошибки- Чем чревато брать float или double в качестве типа данных для хранения позиций объектов? - Как это может повлиять на наличие багов в игре и ошибки синхронизации сетевой игры или реплеев? Об этом вы узнаете в этом гайде с наглядными гифками и пруфом на C++<a href="https://habr.com/ru/articles/876816/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/876816/</a><a href="https://zhub.link/tags/float" class="mention hashtag" rel="nofollow noopener" target="_blank">#float</a> <a href="https://zhub.link/tags/floating_point" class="mention hashtag" rel="nofollow noopener" target="_blank">#floating_point</a> <a href="https://zhub.link/tags/precision" class="mention hashtag" rel="nofollow noopener" target="_blank">#precision</a> <a href="https://zhub.link/tags/%D1%82%D0%BE%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#точность_вычислений</a> <a href="https://zhub.link/tags/gamedev" class="mention hashtag" rel="nofollow noopener" target="_blank">#gamedev</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B8%D0%B3%D1%80" class="mention hashtag" rel="nofollow noopener" target="_blank">#разработка_игр</a> <a href="https://zhub.link/tags/c" class="mention hashtag" rel="nofollow noopener" target="_blank">#c</a>++ <a href="https://zhub.link/tags/%D0%BA%D0%BE%D0%BC%D0%BF%D0%B8%D0%BB%D1%8F%D1%82%D0%BE%D1%80_%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#компилятор_оптимизация</a> <a href="https://zhub.link/tags/%D0%B4%D0%B2%D0%B8%D0%B6%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#движки</a> <a href="https://zhub.link/tags/%D0%B8%D0%B3%D1%80%D0%BE%D0%B2%D0%BE%D0%B9_%D0%B4%D0%B2%D0%B8%D0%B6%D0%BE%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#игровой_движок</a>

HabrFP32, FP16, BF16 и FP8 — разбираемся в основных типах чисел с плавающей запятойПривет, Хабр! Сегодня давайте поговорим о том, как современные вычисления на GPU стали более гибкими и эффективными благодаря различным форматам чисел с плавающей запятой ( FP64 , FP32 , FP16 , BFLOAT16 и FP8 ). Эти форматы не просто числа — за каждым из них стоит конкретная область применения. В разных ситуациях мы сталкиваемся с задачами, где важны либо скорость, либо точность, и правильно выбранный тип floating point помогает оптимизировать ресурсы. Давайте разберём всё это на примерах и поймём, в каких задачах каждый из этих форматов будет наиболее полезен.<a href="https://habr.com/ru/companies/serverflow/articles/847068/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/serverflow/articles/847068/</a><a href="https://zhub.link/tags/FP16" class="mention hashtag" rel="nofollow noopener" target="_blank">#FP16</a> <a href="https://zhub.link/tags/fp32" class="mention hashtag" rel="nofollow noopener" target="_blank">#fp32</a> <a href="https://zhub.link/tags/FP64" class="mention hashtag" rel="nofollow noopener" target="_blank">#FP64</a> <a href="https://zhub.link/tags/BF16" class="mention hashtag" rel="nofollow noopener" target="_blank">#BF16</a> <a href="https://zhub.link/tags/floating_point" class="mention hashtag" rel="nofollow noopener" target="_blank">#floating_point</a> <a href="https://zhub.link/tags/%D0%BF%D0%BB%D0%B0%D0%B2%D0%B0%D1%8E%D1%89%D0%B0%D1%8F_%D0%B7%D0%B0%D0%BF%D1%8F%D1%82%D0%B0%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#плавающая_запятая</a> <a href="https://zhub.link/tags/fp8" class="mention hashtag" rel="nofollow noopener" target="_blank">#fp8</a> <a href="https://zhub.link/tags/%D1%87%D0%B8%D1%81%D0%BB%D0%B0_%D1%81_%D0%BF%D0%BB%D0%B0%D0%B2%D0%B0%D1%8E%D1%89%D0%B5%D0%B9_%D0%B7%D0%B0%D0%BF%D1%8F%D1%82%D0%BE%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#числа_с_плавающей_запятой</a> <a href="https://zhub.link/tags/%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%82_%D1%81_%D0%BF%D0%BB%D0%B0%D0%B2%D0%B0%D1%8E%D1%89%D0%B5%D0%B9_%D0%B7%D0%B0%D0%BF%D1%8F%D1%82%D0%BE%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#формат_с_плавающей_запятой</a>

HabrМалые числа, большие возможности: как плавающая запятая ускоряет ИИ и технологииПривет, Хабр! С вами снова ServerFlow, и сегодня мы решили погрузиться в увлекательный мир чисел с плавающей запятой . Вы когда-нибудь задумывались, почему существуют разные виды этих чисел и как они влияют на производительность наших процессоров и видеокарт? Как малые числа с плавающей запятой помогают развивать нейросети и искусственный интеллект? Давайте вместе разберемся в этих вопросах, раскроем тайны стандарта IEEE 754 и узнаем, какое значение имеют большие и маленькие числа с плавающей запятой в современных вычислениях.<a href="https://habr.com/ru/companies/serverflow/articles/846732/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/serverflow/articles/846732/</a><a href="https://zhub.link/tags/%D0%BF%D0%BB%D0%B0%D0%B2%D0%B0%D1%8E%D1%89%D0%B0%D1%8F_%D0%B7%D0%B0%D0%BF%D1%8F%D1%82%D0%B0%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#плавающая_запятая</a> <a href="https://zhub.link/tags/fp32" class="mention hashtag" rel="nofollow noopener" target="_blank">#fp32</a> <a href="https://zhub.link/tags/fp16" class="mention hashtag" rel="nofollow noopener" target="_blank">#fp16</a> <a href="https://zhub.link/tags/INT8" class="mention hashtag" rel="nofollow noopener" target="_blank">#INT8</a> <a href="https://zhub.link/tags/%D0%BA%D0%B2%D0%B0%D0%BD%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#квантизация</a> <a href="https://zhub.link/tags/%D0%A2%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D0%BD%D1%8B%D0%B5_%D1%8F%D0%B4%D1%80%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#Тензорные_ядра</a> <a href="https://zhub.link/tags/fpu" class="mention hashtag" rel="nofollow noopener" target="_blank">#fpu</a> <a href="https://zhub.link/tags/floatingpoint" class="mention hashtag" rel="nofollow noopener" target="_blank">#floatingpoint</a> <a href="https://zhub.link/tags/floating_point" class="mention hashtag" rel="nofollow noopener" target="_blank">#floating_point</a> <a href="https://zhub.link/tags/ieee_754" class="mention hashtag" rel="nofollow noopener" target="_blank">#ieee_754</a>

HabrЧто такое Decimal64 из Decimal floating point из IEEE 754 или точные десятичные числа с плавающей запятой в компьютереБолее 90% всех программистов знают, что такое обычные числа с плавающей запятой: binary32/binary64/binary128, их часто называют float, double и т.д. соответсвенно, есть много информации о том почему 0,1 не может существовать в бинарном виде, что при большом количестве значащих цифр будут недостаток точности, даже, если ты не выходишь за рамки 16 цифр, зато они быстрые… Но почти нет информации о том, что прекрасное решение, которое сохраняет все достоинства и исправляет недостатки есть, даже в самом обновленном стандарте плавающих чисел IEEE 754-2008 уже больше 15 лет, это decimal floating point(DFP) . Для начала вспомним устройство обычного binary64: 1 бит знака, 11 битов экспоненты, 52 бита мантиссы. Давайте лучше картинку покажу:<a href="https://habr.com/ru/articles/839524/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/839524/</a><a href="https://zhub.link/tags/%D0%BF%D0%BB%D0%B0%D0%B2%D0%B0%D1%8E%D1%89%D0%B0%D1%8F_%D0%B7%D0%B0%D0%BF%D1%8F%D1%82%D0%B0%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#плавающая_запятая</a> <a href="https://zhub.link/tags/%D0%BF%D0%BB%D0%B0%D0%B2%D0%B0%D1%8E%D1%89%D0%B0%D1%8F_%D1%82%D0%BE%D1%87%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#плавающая_точка</a> <a href="https://zhub.link/tags/dpd" class="mention hashtag" rel="nofollow noopener" target="_blank">#dpd</a> <a href="https://zhub.link/tags/decimal" class="mention hashtag" rel="nofollow noopener" target="_blank">#decimal</a> <a href="https://zhub.link/tags/float" class="mention hashtag" rel="nofollow noopener" target="_blank">#float</a> <a href="https://zhub.link/tags/floating_point" class="mention hashtag" rel="nofollow noopener" target="_blank">#floating_point</a> <a href="https://zhub.link/tags/ieee754" class="mention hashtag" rel="nofollow noopener" target="_blank">#ieee754</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#математика</a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#технологии</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D0%BC%D0%BF%D1%8C%D1%8E%D1%82%D0%B5%D1%80" class="mention hashtag" rel="nofollow noopener" target="_blank">#компьютер</a>

HabrСлияние словарей в PyTorch: зачем нужно и подводные камниСейчас нейросети стали настолько большими, что обучение большой сети на 1 видеокарте технически невозможно или займёт десятки и сотни лет. Кроме того, на большой обучающей выборке всплывают проблемы забывания сетью того, чему её учили вначале. Одним из способов решения этих проблем является разбивка датасета на куски, и обучение одной и той же нейросети параллельно на разных устройствах. Потом, очевидно, нужно каким-то образом слить обученные нейросети в одну. Обсудим в этой статье детальнее, зачем это вообще может быть нужно, и как это сделать более-менее правильно. Сливаем клонов!<a href="https://habr.com/ru/companies/ruvds/articles/825950/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/ruvds/articles/825950/</a><a href="https://zhub.link/tags/ruvds_%D1%81%D1%82%D0%B0%D1%82%D1%8C%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#ruvds_статьи</a> <a href="https://zhub.link/tags/PyTorch" class="mention hashtag" rel="nofollow noopener" target="_blank">#PyTorch</a> <a href="https://zhub.link/tags/%D0%BF%D0%B5%D1%80%D0%B5%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#переобучение</a> <a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#машинное_обучение</a> <a href="https://zhub.link/tags/%D1%81%D0%BB%D0%BE%D0%B2%D0%B0%D1%80%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#словари</a> <a href="https://zhub.link/tags/floating_point" class="mention hashtag" rel="nofollow noopener" target="_blank">#floating_point</a>

HabrC++26 — прогресс и новинки от ISO C++Работа в комитете по стандартизации языка C++ активно кипит. Недавно состоялось очередное заседание. Как один из участников, поделюсь сегодня с Хабром свежими новостями и описанием изменений, которые планируются в С++26. До нового стандарта C++ остаётся чуть больше года, и вот некоторые новинки, которые попали в черновик стандарта за последние две встречи: запрет возврата из функции ссылок на временное значение, [[indeterminate]] и уменьшение количества Undefined Behavior, диагностика при =delete; , арифметика насыщения, линейная алгебра (да-да! BLAS и немного LAPACK), индексирование variadic-параметров и шаблонов ...[42] , вменяемый assert(...) , и другие приятные мелочи. Помимо этого, вас ждут планы и прогресс комитета по большим фичам и многое другое. Рассмотрим новинки на примерах<a href="https://habr.com/ru/companies/yandex/articles/801115/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/yandex/articles/801115/</a><a href="https://zhub.link/tags/c" class="mention hashtag" rel="nofollow noopener" target="_blank">#c</a>++ <a href="https://zhub.link/tags/%D1%81" class="mention hashtag" rel="nofollow noopener" target="_blank">#с</a>++ <a href="https://zhub.link/tags/constexpr" class="mention hashtag" rel="nofollow noopener" target="_blank">#constexpr</a> <a href="https://zhub.link/tags/c" class="mention hashtag" rel="nofollow noopener" target="_blank">#c</a>++26 <a href="https://zhub.link/tags/%D1%81" class="mention hashtag" rel="nofollow noopener" target="_blank">#с</a>++26 <a href="https://zhub.link/tags/numeric" class="mention hashtag" rel="nofollow noopener" target="_blank">#numeric</a> <a href="https://zhub.link/tags/floating_point" class="mention hashtag" rel="nofollow noopener" target="_blank">#floating_point</a> <a href="https://zhub.link/tags/float" class="mention hashtag" rel="nofollow noopener" target="_blank">#float</a> <a href="https://zhub.link/tags/double" class="mention hashtag" rel="nofollow noopener" target="_blank">#double</a> <a href="https://zhub.link/tags/iso" class="mention hashtag" rel="nofollow noopener" target="_blank">#iso</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#программирование</a> <a href="https://zhub.link/tags/span" class="mention hashtag" rel="nofollow noopener" target="_blank">#span</a> <a href="https://zhub.link/tags/functions" class="mention hashtag" rel="nofollow noopener" target="_blank">#functions</a> <a href="https://zhub.link/tags/function" class="mention hashtag" rel="nofollow noopener" target="_blank">#function</a> <a href="https://zhub.link/tags/blas" class="mention hashtag" rel="nofollow noopener" target="_blank">#blas</a> <a href="https://zhub.link/tags/lapack" class="mention hashtag" rel="nofollow noopener" target="_blank">#lapack</a> <a href="https://zhub.link/tags/atomic" class="mention hashtag" rel="nofollow noopener" target="_blank">#atomic</a> <a href="https://zhub.link/tags/linear_algebra" class="mention hashtag" rel="nofollow noopener" target="_blank">#linear_algebra</a> <a href="https://zhub.link/tags/variadic_templates" class="mention hashtag" rel="nofollow noopener" target="_blank">#variadic_templates</a>

:rss: Hacker NewsThe most copied StackOverflow snippet of all time is flawed <a href="https://programming.guide/worlds-most-copied-so-snippet.html" rel="nofollow noopener" translate="no" target="_blank">https://programming.guide/worlds-most-copied-so-snippet.html</a> <a href="https://rss-mstdn.studiofreesia.com/tags/ycombinator" class="mention hashtag" rel="nofollow noopener" target="_blank">#ycombinator</a> <a href="https://rss-mstdn.studiofreesia.com/tags/bug" class="mention hashtag" rel="nofollow noopener" target="_blank">#bug</a> <a href="https://rss-mstdn.studiofreesia.com/tags/floating_point" class="mention hashtag" rel="nofollow noopener" target="_blank">#floating_point</a> <a href="https://rss-mstdn.studiofreesia.com/tags/stackoverflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#stackoverflow</a> <a href="https://rss-mstdn.studiofreesia.com/tags/copy_paste" class="mention hashtag" rel="nofollow noopener" target="_blank">#copy_paste</a>

Recent searches

Search options

Administered by:

Server stats:

#floating_point