mastodon.world is one of the many independent Mastodon servers you can use to participate in the fediverse.
Generic Mastodon server for anyone to use.

Server stats:

8.1K
active users

#apache_kafka

1 post1 participant0 posts today
Habr<p>Apache Kafka в гарантиях или как надежно доставить сообщение</p><p>Apache Kafka — это основа современных распределенных систем, обрабатывающий триллионы событий ежедневно. Но что происходит, если сообщение потерялось, пришло дважды или нарушилась логика бизнес‑процесса? Гарантии доставки в Kafka — это страховка от хаоса в условиях высокой нагрузки и сбоев. В этой статье мы разберем три вида гарантий доставки сообщений на примерах.</p><p><a href="https://habr.com/ru/companies/otus/articles/930372/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/otus/art</span><span class="invisible">icles/930372/</span></a></p><p><a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/%D0%B4%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%BA%D0%B0_%D1%81%D0%BE%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>доставка_сообщений</span></a> <a href="https://zhub.link/tags/%D1%81%D0%B5%D0%BC%D0%B0%D0%BD%D1%82%D0%B8%D0%BA%D0%B0_%D0%B4%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>семантика_доставки</span></a> <a href="https://zhub.link/tags/%D0%B3%D0%B0%D1%80%D0%B0%D0%BD%D1%82%D0%B8%D1%8F_%D0%B4%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>гарантия_доставки</span></a> <a href="https://zhub.link/tags/AtMostOnce" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>AtMostOnce</span></a> <a href="https://zhub.link/tags/AtLeastOnce" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>AtLeastOnce</span></a> <a href="https://zhub.link/tags/ExactlyOnce" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ExactlyOnce</span></a> <a href="https://zhub.link/tags/Kafka_%D1%82%D1%80%D0%B0%D0%BD%D0%B7%D0%B0%D0%BA%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Kafka_транзакции</span></a> <a href="https://zhub.link/tags/%D0%B8%D0%B4%D0%B5%D0%BC%D0%BF%D0%BE%D1%82%D0%B5%D0%BD%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C_Kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>идемпотентность_Kafka</span></a></p>
Habr<p>«Зачем нужна шина данных, если есть Apache Kafka?» и еще 3 популярных аргумента против ESB</p><p>На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Недавно получил такой комментарий к одному из обзоров ESB : «Я считаю, что интеграционные платформы больше не нужны», а спустя время в Телеграм-сообществе «Шины не для машины» развернулась дискуссия на тему «Паттерн ESB безнадежно устарел». Решил собрать в одной статье популярные вопросы по теме и ответить на них.</p><p><a href="https://habr.com/ru/companies/w_code/articles/923708/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/w_code/a</span><span class="invisible">rticles/923708/</span></a></p><p><a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/apache_nifi" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_nifi</span></a> <a href="https://zhub.link/tags/open_source" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>open_source</span></a> <a href="https://zhub.link/tags/esb" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>esb</span></a> <a href="https://zhub.link/tags/%D1%88%D0%B8%D0%BD%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>шина_данных</span></a> <a href="https://zhub.link/tags/%D0%B1%D1%80%D0%BE%D0%BA%D0%B5%D1%80%D1%8B_%D1%81%D0%BE%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>брокеры_сообщений</span></a> <a href="https://zhub.link/tags/apache" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache</span></a></p>
Habr<p>Часть 2: Как я реализовал взаимодействие микросервисов — Kafka и gRpc</p><p>Привет! Меня зовут Бромбин Андрей, и сегодня я продолжаю цикл статей о создании микросервисного приложения с нуля. В этом выпуске мы сосредоточимся на взаимодействии между микросервисами, используя два подхода: асинхронный с помощью Kafka и синхронный через gRPC. Независимо от вашего опыта, этот туториал предоставит вам готовые решения и ценные знания для создания Java Spring Microservices. Начинающие разработчики получат чёткое пошаговое руководство, а опытные специалисты — новые идеи, практические примеры и возможности для обмена опытом с коллегами. Разрабатывайте микросервисы эффективно и достигайте отличных результатов!</p><p><a href="https://habr.com/ru/companies/ruvds/articles/912502/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/ruvds/ar</span><span class="invisible">ticles/912502/</span></a></p><p><a href="https://zhub.link/tags/ruvds_%D1%81%D1%82%D0%B0%D1%82%D1%8C%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ruvds_статьи</span></a> <a href="https://zhub.link/tags/spring_framework" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>spring_framework</span></a> <a href="https://zhub.link/tags/java" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>java</span></a> <a href="https://zhub.link/tags/backend%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>backendразработка</span></a> <a href="https://zhub.link/tags/Apache_Kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Apache_Kafka</span></a> <a href="https://zhub.link/tags/gRpc" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>gRpc</span></a> <a href="https://zhub.link/tags/%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BD%D0%BE%D0%B5_%D0%B2%D0%B7%D0%B0%D0%B8%D0%BC%D0%BE%D0%B4%D0%B5%D0%B9%D1%81%D1%82%D0%B2%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>микросервисное_взаимодействие</span></a></p>
Habr<p>DLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секунды</p><p>Привет, Хабр! Сегодня рассмотрим, как построить Kafka-консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ).</p><p><a href="https://habr.com/ru/companies/otus/articles/905810/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/otus/art</span><span class="invisible">icles/905810/</span></a></p><p><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka</span></a> <a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/kafka_consumer" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka_consumer</span></a> <a href="https://zhub.link/tags/dlq" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>dlq</span></a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D1%82%D0%BE%D0%BA%D0%BE%D0%B2%D0%B0%D1%8F_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>потоковая_обработка_данных</span></a> <a href="https://zhub.link/tags/stream_processing" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>stream_processing</span></a></p>
Habr<p>Policy as Code в Apache Kafka: опыт внедрения Open Policy Agent</p><p>Статья рассматривает внедрение Open Policy Agent (OPA) для управления авторизацией в кластерах Apache Kafka на bare metal‑серверах. В рамках статьи проанализированы ограничения стандартных ACL и предложено решение на основе Open Policy Agent (OPA), обеспечивающее декларативное управление доступом через Policy as Code (PaaC). Особое внимание уделено обновлению OPA Kafka Plugin: создан pull request, в котором устранены уязвимости превносимые в OPA библиотекой Guava и реализован переход на более производительную библиотеку Caffeine. Описан процесс интеграции OPA с Kafka, включая автоматизацию доставки политик через Bundle API и S3-хранилище.</p><p><a href="https://habr.com/ru/companies/t2/articles/901488/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/t2/artic</span><span class="invisible">les/901488/</span></a></p><p><a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/open_policy_agent" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>open_policy_agent</span></a> <a href="https://zhub.link/tags/opa" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>opa</span></a> <a href="https://zhub.link/tags/kerberos" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kerberos</span></a> <a href="https://zhub.link/tags/cicd" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>cicd</span></a></p>
Habr<p>Настройка Apache Kafka для высоконагруженных систем</p><p>Apache Kafka является одной из самых популярных платформ для обработки потоков данных, обеспечивая высокую пропускную способность и низкие задержки при передаче сообщений. В высоконагруженных системах, где необходимо обрабатывать миллионы сообщений в секунду, важность правильной настройки Kafka трудно переоценить. Без оптимизации её параметров можно столкнуться с серьёзными проблемами, такими как рост задержек, потеря сообщений и переполнение очередей. Эффективная настройка Kafka критична для обеспечения бесперебойной работы в условиях высокой нагрузки и стабильной обработки данных в реальном времени. Цель этой статьи — рассмотреть основные аспекты настройки Apache Kafka, которые влияют на производительность системы. Мы сосредоточимся на оптимизации параметров брокеров и продюсеров для достижения максимальной пропускной способности, минимальных задержек и надежности. Также рассмотрим важность мониторинга и тестирования системы для своевременного выявления и устранения узких мест.</p><p><a href="https://habr.com/ru/articles/901200/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/901200/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/nosql" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>nosql</span></a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>распределенные_системы</span></a> <a href="https://zhub.link/tags/%D0%B2%D1%8B%D1%81%D0%BE%D0%BA%D0%BE%D0%BD%D0%B0%D0%B3%D1%80%D1%83%D0%B6%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>высоконагруженные_проекты</span></a> <a href="https://zhub.link/tags/%D0%B2%D1%8B%D1%81%D0%BE%D0%BA%D0%B0%D1%8F_%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>высокая_производительность</span></a> <a href="https://zhub.link/tags/highload" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>highload</span></a> <a href="https://zhub.link/tags/%D0%B2%D1%8B%D1%81%D0%BE%D0%BA%D0%B0%D1%8F_%D0%BD%D0%B0%D0%B3%D1%80%D1%83%D0%B7%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>высокая_нагрузка</span></a> <a href="https://zhub.link/tags/%D0%B2%D1%8B%D1%81%D0%BE%D0%BA%D0%BE%D0%BD%D0%B0%D0%B3%D1%80%D1%83%D0%B6%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>высоконагруженные_приложения</span></a> <a href="https://zhub.link/tags/%D0%B2%D1%8B%D1%81%D0%BE%D0%BA%D0%B0%D1%8F_%D0%B4%D0%BE%D1%81%D1%82%D1%83%D0%BF%D0%BD%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>высокая_доступность</span></a></p>
Habr<p>ОС против Kafka: битва за map-области: история одного неочевидного лимита</p><p>Добрый день! Меня зовут Богдан, я тимлид в одном из отечественных финтехов. Сегодня я хочу поделиться нашей историей: как нам удалось, ненарочно, зашедулить падение всех нод одного из наших кластеров Kafka. В один из холодных февральских дней пришло сообщение от мониторинга с виртуальных машин кластера Kafka: «Свободное дисковое пространство достигло значения &lt; 15%» . Было решено исследовать, нужно ли добавлять дискового пространства или же можно потюнить настройки ретеншена данных. Тут стоит немного вспомнить теорию. Как известно, в Kafka сообщения распределяются по партициям, а каждая партиция на брокере представлена набором сегментов. Число сегментов у партиций может быть разным — оно варьируется в зависимости от интенсивности записи и настроек размера сегмента. Сегмент (если упростить) — это лог-файл, в который просто пишутся данные в конец. По достижении временного предела либо его размера он ротируется: создается новый сегмент, и запись идет уже в него. Держа вышесказанное в голове, мы отправились смотреть настройки хранения сегментов в нашем кластере Kafka..</p><p><a href="https://habr.com/ru/articles/900094/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/900094/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka</span></a> <a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/messagebroker" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>messagebroker</span></a></p>
Habr<p>12 событий апреля, которые нельзя пропустить</p><p>Мы собрали для вас серию открытых уроков, которые пройдут в апреле и помогут не просто разобраться в сложных темах, а применить знания на практике. Будущее AI агентов на основе LLM, Prometheus для мониторинга, как избежать хаоса в IT-проектах и как обучить модель понимать языки — на эти и не только темы поговорим с экспертами в IT. Рассмотрим реальные кейсы, обсудим опыт и получим понимание того, как внедрять эти технологии в проекты.</p><p><a href="https://habr.com/ru/companies/otus/articles/899644/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/otus/art</span><span class="invisible">icles/899644/</span></a></p><p><a href="https://zhub.link/tags/AI_%D0%B0%D0%B3%D0%B5%D0%BD%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>AI_агенты</span></a> <a href="https://zhub.link/tags/Scrum" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Scrum</span></a> <a href="https://zhub.link/tags/seq2seq" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>seq2seq</span></a> <a href="https://zhub.link/tags/%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>автоматизация_тестирования</span></a> <a href="https://zhub.link/tags/Docker" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Docker</span></a> <a href="https://zhub.link/tags/Apache_Kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Apache_Kafka</span></a> <a href="https://zhub.link/tags/%D0%A1%D0%BC%D0%B0%D1%80%D1%82%D0%BA%D0%BE%D0%BD%D1%82%D1%80%D0%B0%D0%BA%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Смартконтракты</span></a> <a href="https://zhub.link/tags/data_science" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>data_science</span></a> <a href="https://zhub.link/tags/prometheus" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>prometheus</span></a></p>
Habr<p>Apache Kafka и EDA</p><p>Архитектура, управляемая событиями (Event Driven Architecture, EDA) получила широкое распространение при разработке программного обеспечения, способного легко масштабироваться и обрабатывать большие объемы данных в режиме реального времени. В этой статье мы подробно рассмотрим EDA и продемонстрируем, как распределенная потоковая платформа Apache Kafka, может быть использована для создания масштабируемых систем.</p><p><a href="https://habr.com/ru/companies/otus/articles/895766/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/otus/art</span><span class="invisible">icles/895766/</span></a></p><p><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka</span></a> <a href="https://zhub.link/tags/highload" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>highload</span></a> <a href="https://zhub.link/tags/EDA" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>EDA</span></a> <a href="https://zhub.link/tags/%D0%B8%D1%82%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>итархитектура</span></a> <a href="https://zhub.link/tags/Event_Driven_Architecture" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Event_Driven_Architecture</span></a> <a href="https://zhub.link/tags/Apache_Kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Apache_Kafka</span></a></p>
Habr<p>работа с Kafka в Go: практическое применение</p><p>Автор статьи Якушков Федор. Apache Kafka — это мощная распределённая платформа для обработки потоков данных, которая завоевала популярность благодаря своей способности эффективно управлять большими объёмами информации в реальном времени. В этой статье мы подробно разберём, как использовать Kafka в языке программирования Go с помощью библиотеки kafka-go. Мы рассмотрим все ключевые аспекты: от event-driven архитектуры до топиков и партиций, от создания продюсеров и консьюмеров до управления оффсетами и обработки ошибок. Разберем гарантии доставки, а также обсудим, где и как применять Kafka в проектах.</p><p><a href="https://habr.com/ru/articles/894056/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/894056/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/Kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Kafka</span></a> <a href="https://zhub.link/tags/go" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>go</span></a> <a href="https://zhub.link/tags/golang" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>golang</span></a> <a href="https://zhub.link/tags/api" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>api</span></a> <a href="https://zhub.link/tags/it" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>it</span></a> <a href="https://zhub.link/tags/web" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>web</span></a> <a href="https://zhub.link/tags/web%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>webразработка</span></a> <a href="https://zhub.link/tags/backend" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>backend</span></a> <a href="https://zhub.link/tags/apache" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache</span></a> <a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a></p>
Habr<p>Offset Explorer: разбираемся в базе</p><p>Всем привет! Меня зовут Макс. Я Lead Backend в компании ИдаПроджект и автор YouTube-канала PyLounge . Любой крупный проект так или иначе используют брокеры сообщений — и чаще всего это Apache Kafka. Так что уметь взаимодействовать с Kafka (хотя бы на базовом уровне) будет полезно как разработчику, так и тестировщику или аналитику. Я в своей работе практически ежедневно взаимодействую с кафкой, поэтому решил поделиться опытом. В команде мы используем графический интерфейс Offset Explorer (далее OE), о котором сегодня и пойдет речь. Погнали!</p><p><a href="https://habr.com/ru/companies/idaproject/articles/889600/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/idaproje</span><span class="invisible">ct/articles/889600/</span></a></p><p><a href="https://zhub.link/tags/offset_explorer" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>offset_explorer</span></a> <a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/backend" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>backend</span></a> <a href="https://zhub.link/tags/qa" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>qa</span></a> <a href="https://zhub.link/tags/kafka_ui" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka_ui</span></a></p>
Habr<p>Kafka Streams ч5: настройка окон, работа с задержанными событиями и suppression</p><p>Это моя финальная часть(ну пока что ;)) серии статей про Kafka Streams, прошлые статьи тут [ ноль , один , два , три ] Теперь давайте разработаем приложение, которое считывает: cобытия о пульсе из топика pulse-events .</p><p><a href="https://habr.com/ru/articles/870784/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/870784/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/kafka_streams" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka_streams</span></a> <a href="https://zhub.link/tags/etl" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>etl</span></a> <a href="https://zhub.link/tags/elt" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>elt</span></a> <a href="https://zhub.link/tags/etl%D0%BF%D1%80%D0%BE%D1%86%D0%B5%D1%81%D1%81%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>etlпроцессы</span></a></p>
Habr<p>Про auto.offset.reset в Spring Kafka</p><p>Так исторически сложилось, что Apache Kafka использует для своих сообщений смещения (или же offset). В зависимости от нужд для настроек консьюмера можно выставить в параметр auto.offset.reset три значения: earliest, latest, none. По умолчанию, если данный параметр не задан, используется значение latest.</p><p><a href="https://habr.com/ru/articles/851902/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/851902/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/Spring" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Spring</span></a> <a href="https://zhub.link/tags/Kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Kafka</span></a> <a href="https://zhub.link/tags/Apache_Kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Apache_Kafka</span></a></p>
Habr<p>Шины данных для очень больших инсталляций, или Почему большим компаниям сложно с опенсорсом</p><p>Как технический менеджер в Яндексе я отвечаю за эксплуатацию больших кластеров, через которые мы передаём данные, — для этого мы используем YDB Topics, собственный аналог Apache Kafka, о котором я уже рассказывал . Но если посмотреть не только на нас, но и на примеры других крупных систем, то становится понятно, почему энтерпрайзу сложно брать готовые опенсорс‑решения. Стоит лишь представить, что бывает, если команда с большими масштабами начинает использовать Apache Kafka. В этой статье я покажу собирательный образ такой крупной системы из нашего опыта общения с большими распределёнными командами, и мы увидим разницу в TCO Apache Kafka и YDB Topics на конкретных цифрах.</p><p><a href="https://habr.com/ru/companies/yandex_cloud_and_infra/articles/850758/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/yandex_c</span><span class="invisible">loud_and_infra/articles/850758/</span></a></p><p><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka</span></a> <a href="https://zhub.link/tags/ydb" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ydb</span></a> <a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/tco" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>tco</span></a> <a href="https://zhub.link/tags/open_source" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>open_source</span></a></p>
Habr<p>Скажем нет «Превращению», или анализ Kafka</p><p>Бывало ли вам интересно, какие баги может таить исходный код проектов, которыми пользуются большие компании по всему миру? Не упустите шанс познакомиться с интересными ошибками, которые нашёл статический анализатор PVS-Studio в исходном коде Open Source проекта Apache Kafka.</p><p><a href="https://habr.com/ru/companies/pvs-studio/articles/851066/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/pvs-stud</span><span class="invisible">io/articles/851066/</span></a></p><p><a href="https://zhub.link/tags/Java" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Java</span></a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>программирование</span></a> <a href="https://zhub.link/tags/%D1%81%D1%82%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>статический_анализ</span></a> <a href="https://zhub.link/tags/%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ошибки</span></a> <a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka</span></a> <a href="https://zhub.link/tags/kafka_apache" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka_apache</span></a> <a href="https://zhub.link/tags/apache" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache</span></a> <a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/%D0%B1%D1%80%D0%BE%D0%BA%D0%B5%D1%80_%D1%81%D0%BE%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>брокер_сообщений</span></a> <a href="https://zhub.link/tags/pvsstudio" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>pvsstudio</span></a></p>
Habr<p>Мой опыт использования Plumber: UI-инструмент для тестирования Kafka</p><p>Привет, Хабр! Меня зовут Марина, я QA-инженер в Купере. Как специалисту по тестированию, мне часто приходится сталкиваться с задачами, связанными с тестированием микросервисов, использующих асинхронное общение через Apache Kafka. Уверена, многие QA-инженеры, да и разработчики знакомы с подобными вызовами. На одном из проектов, где я работаю, у меня возникла проблема: используемые инструменты для тестирования Kafka были недостаточно удобными: Консольная утилита Protokaf не имеет интерфейса и полученные данные для лучшей читаемости нужно отформатировать в json структуру (а это еще одно доп приложение). UI-приложение Kowl удобно только для мониторинга состояния топиков, и только недавно в нём стала доступна возможность чтения сообщений без сложного флоу для расшифровки, но всё так же нет возможность отправки сообщений в топик. В поисках более удобного решения коллега посоветовал Plumber — графическое приложение, с возможностью коньюмера и продюсера сообщения. В этой статье я не буду объяснять, что такое Kafka и как работают брокеры — на эти темы уже есть множество отличных материалов, например, вот . Хочу поделиться своим опытом использования этого инструмента. Я не ставлю цель сравнивать его с другими существующими решениями, а просто расскажу, как Plumber помог мне упростить процесс ручного тестирования Kafka на стейджах.</p><p><a href="https://habr.com/ru/companies/kuper/articles/845970/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/kuper/ar</span><span class="invisible">ticles/845970/</span></a></p><p><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka</span></a> <a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_kafka</span></a> <a href="https://zhub.link/tags/%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>микросервисы</span></a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>тестирование</span></a> <a href="https://zhub.link/tags/%D1%80%D1%83%D1%87%D0%BD%D0%BE%D0%B5_%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ручное_тестирование</span></a></p>

Apache Kafka – Producer и Consumer. Простой пример Nodejs приложения

Привет! В продолжение темы изучения микросервисов решил разобраться с взаимодействием этих самых «сервисов», и написать простой пример взаимодействия двух сервисов между собой. Перед чтением данной статьи, настоятельно рекомендую ознакомиться с данной статьей, по теме kafka (Kafka за 20 минут. Ментальная модель и как с ней работать) Пример реализации можно найти тут...

habr.com/ru/articles/845118/

ХабрApache Kafka – Producer и Consumer. Простой пример Nodejs приложенияПривет! В продолжение темы изучения микросервисов решил разобраться с взаимодействием этих самых «сервисов», и написать простой пример взаимодействия двух сервисов между собой. Перед чтением...

[Перевод] Интеграция REST и MQ брокеров сообщений через шлюз OpenIG

В статье рассмотрены варианты конвертации сообщений из REST в брокер сообщений и обратно, а так же возможные варианты использования такого подхода.

habr.com/ru/articles/828832/

ХабрИнтеграция REST и MQ брокеров сообщений через шлюз OpenIGДля чего это нужно Конвертация сообщений между брокером и REST упрощает прием и отправку сообщений без использования нативных протоколов или клиентский приложений брокеров сообщений: Возможные...

[Перевод] Оптимизация настроек Kafka кластера. Часть 3. Сравнительное тестирование, мониторинг и тонкая настройка Kafka кластера

Привет, Хабр! Представляю вам третью (заключительную) часть серии статей, посвященных оптимизации развертывания Kafka кластера (ссылка на первую и вторую части). Это перевод руководства от Confluent. Сегодняшняя статья посвящена сравнительному тестированию настроек и мониторингу Kafka кластера.

habr.com/ru/articles/819677/

ХабрОптимизация настроек Kafka кластера. Часть 3. Сравнительное тестирование, мониторинг и тонкая настройка Kafka кластераПривет, Хабр! Представляю вам третью (заключительную) часть серии статей, посвященных оптимизации развертывания Kafka кластера (ссылка на первую и вторую части). Это перевод руководства от Confluent....

[Перевод] Оптимизация настроек Kafka кластера. Часть 2. Механизмы управления задержкой, надежностью и доступностью

Привет, Хабр! Представляю вам вторую часть из серии статей, посвященных оптимизации развертывания Kafka кластера ( ссылка на первую часть ). Это перевод руководства от Confluent. Сегодняшняя статья посвящена тому, как уменьшить задержку и повысить надежность и доступность. Заключительная третья часть будет посвящена мониторингу и бенчмаркингу.

habr.com/ru/articles/819243/

ХабрОптимизация настроек Kafka кластера. Часть 2. Механизмы управления задержкой, надежностью и доступностьюПривет, Хабр! Представляю вам вторую часть из серии статей, посвященных оптимизации развертывания Kafka кластера ( ссылка на первую часть ). Это перевод руководства от Confluent. Сегодняшняя статья...