Mastodon

3 posts3 participants0 posts today

HabrKafka: ребалансировка изнутриПривет! Меня зовут Геннадий, я руковожу командой разработки системы учета товаров в Ozon. Мы активно используем Kafka как основной инструмент для асинхронного взаимодействия между нашими сервисами. Для нас Kafka — это не просто очередь сообщений, а один из ключевых компонентов всей архитектуры. Поэтому мы постоянно погружаемся в его тонкости и нюансы, чтобы грамотно настраивать и использовать его возможности. Думаю, многие из вас сталкиваются с тем же — когда Kafka становится критически важной частью вашего решения. Хотя информации о ребалансировке Kafka достаточно, она часто либо слишком разрозненная и техническая, либо наоборот — поверхностная и без акцента на важные детали. Я собрал для вас самое важное и объясню это простым и понятным языком.<a href="https://habr.com/ru/companies/ozontech/articles/910568/" rel="nofollow noopener noreferrer" translate="no" target="_blank">https://habr.com/ru/companies/ozontech/articles/910568/</a><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka</a> <a href="https://zhub.link/tags/kafka_consumer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_consumer</a> <a href="https://zhub.link/tags/rebalance" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#rebalance</a> <a href="https://zhub.link/tags/consumer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#consumer</a> <a href="https://zhub.link/tags/microservices" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#microservices</a> <a href="https://zhub.link/tags/cloud" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#cloud</a> <a href="https://zhub.link/tags/devops" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#devops</a>

HabrКафка: преимущества и на что ещё обратить внимание при тестированииПривет, Хабр! Ранее мы разбирались с основами Kafka ( часть1 ), рассматривали, как тестировать микросервисы ( часть2 ) и предугадывали ошибки offset explorer и kafka ui ( часть 3 ). В этой части – так сказать, невошедшее, но полезное, что ещё можно предусмотреть при работе с брокером. Преимущества брокеров Когда я готовила материал из первой части, у меня возникло несколько предположений. Мне казалось, что некоторые преимущества относятся именно к брокерам сообщений и не имеют прямого отношения к API (временное хранение данных, обмен в реальном времени, вычитка раз в сутки, отслеживание Kafka-лага). Особенно я задумалась об этом, когда разбирала пример с мобильным веб-приложением и форматами данных для Kafka (см. раздел из статьи часть1 ). Казалось бы — зачем Kafka, если можно просто забирать данные из БД через API? Я решила проверить свои догадки у знакомого бэкенд-разработчика. Его первый вопрос был: «Зачем тебе как тестировщику это знать?», а потом добавил, что API можно настроить похожим образом. Но всё же я выделила два ключевых отличия брокеров: 1. Асинхронное взаимодействие API — это всегда запрос-ответ. Если сервис упал, мы получим 503, и данные могут потеряться. В Kafka продюсер просто оставляет сообщение в топике, и ему всё равно, читает ли его кто-то. Даже если консьюмер упал — поднимется и дочитает. 2. Масштабируемость В случае с Kafka это значит, что можно гибко добавлять продюсеров и консьюмеров. Данные можно переиспользовать — допустим, создать один топик для нескольких консьюмеров. Либо, что очень важно в продакшене, например, если продюсер начал слать мусор — его можно просто отключить.<a href="https://habr.com/ru/companies/reksoft/articles/911132/" rel="nofollow noopener noreferrer" translate="no" target="_blank">https://habr.com/ru/companies/reksoft/articles/911132/</a><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka</a> <a href="https://zhub.link/tags/%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#микросервисы</a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#тестирование</a> <a href="https://zhub.link/tags/%D0%B1%D1%80%D0%BE%D0%BA%D0%B5%D1%80%D1%8B" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#брокеры</a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#тестирование_микросервисов</a> <a href="https://zhub.link/tags/kafka_consumer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_consumer</a> <a href="https://zhub.link/tags/kafka_producer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_producer</a>

HabrDLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секундыПривет, Хабр! Сегодня рассмотрим, как построить Kafka-консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ).<a href="https://habr.com/ru/companies/otus/articles/905810/" rel="nofollow noopener noreferrer" translate="no" target="_blank">https://habr.com/ru/companies/otus/articles/905810/</a><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka</a> <a href="https://zhub.link/tags/apache_kafka" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#apache_kafka</a> <a href="https://zhub.link/tags/kafka_consumer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_consumer</a> <a href="https://zhub.link/tags/dlq" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#dlq</a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D1%82%D0%BE%D0%BA%D0%BE%D0%B2%D0%B0%D1%8F_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#потоковая_обработка_данных</a> <a href="https://zhub.link/tags/stream_processing" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#stream_processing</a>

HabrKafka: как тестировать. Часть 2Привет, Хабр! Это вторая часть статьи о Kafka (первая тут ). Давайте продолжим разбираться. Итак, часто тестирование сводится к эмуляции работы сервиса и наблюдением за топиками кафки. Для этого необходимо подключиться к кластеру кафки с теми же правами доступа, что и у вашего сервиса либо сервиса, с которым у вас интеграция (креды для кластера обычно подсказывают коллеги-разработчики, девопсы, тестировщики)....<a href="https://habr.com/ru/companies/reksoft/articles/900918/" rel="nofollow noopener noreferrer" translate="no" target="_blank">https://habr.com/ru/companies/reksoft/articles/900918/</a><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka</a> <a href="https://zhub.link/tags/kafka_consumer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_consumer</a> <a href="https://zhub.link/tags/kafka_%D0%B2_%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B8" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_в_тестировании</a> <a href="https://zhub.link/tags/kafka_producer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_producer</a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#тестирование</a> <a href="https://zhub.link/tags/%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#микросервисы</a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#тестирование_микросервисов</a>

HabrKafka. Лучшие практики применения. Настройки Prudcer & ConsumerПривет, Хабр! Меня зовут Михаил, я являюсь ФинТех системным аналитиком, исполняющим роль архитектора на проектах. И сегодня я хочу поделиться материалами по Kafka, которые подготовил для обучения сотрудников из своей команды. В материале постарался отразить самые важные технические моменты по Kafka, которые будут подкреплены наглядными кейсами и примерами использования. Материал будет полезным как для начинающих, так и для продвинутых пользователей. Желаю приятного прочтения. Kafka. Лучшие практики применения.<a href="https://habr.com/ru/articles/853652/" rel="nofollow noopener noreferrer" translate="no" target="_blank">https://habr.com/ru/articles/853652/</a><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka</a> <a href="https://zhub.link/tags/%D0%BA%D0%B0%D1%84%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#кафка</a> <a href="https://zhub.link/tags/kafka_consumer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_consumer</a> <a href="https://zhub.link/tags/producer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#producer</a>/consumer <a href="https://zhub.link/tags/producer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#producer</a> <a href="https://zhub.link/tags/consumer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#consumer</a> <a href="https://zhub.link/tags/kafkaconnect" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafkaconnect</a> <a href="https://zhub.link/tags/kafka_listener" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_listener</a> <a href="https://zhub.link/tags/kafka_apache" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_apache</a> <a href="https://zhub.link/tags/kafka_connect" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_connect</a>

HabrРучное подтверждение сообщения в KafkaВ этой статье описывается реализация задачи ручного подтверждения(acknowledgment) обработки сообщения в Kafka через ручную отправку смещения(commit offset) сообщения. Логика реализована с использованием Java, Spring и Kafka.<a href="https://habr.com/ru/articles/808975/" rel="nofollow noopener noreferrer" translate="no" target="_blank">https://habr.com/ru/articles/808975/</a><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka</a> <a href="https://zhub.link/tags/kafka_listener" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_listener</a> <a href="https://zhub.link/tags/spring" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#spring</a> <a href="https://zhub.link/tags/kafka_consumer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_consumer</a> <a href="https://zhub.link/tags/kafka_acknowledgment" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_acknowledgment</a> <a href="https://zhub.link/tags/kafka_offset" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_offset</a>

HabrКак работать с Kafka-consumer в Spring-проектахЭта статья сборник небольших рекомендаций как работать с Kafka-consumer в Spring основанных на личном опыте.<a href="https://habr.com/ru/articles/793134/" rel="nofollow noopener noreferrer" translate="no" target="_blank">https://habr.com/ru/articles/793134/</a><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka</a> <a href="https://zhub.link/tags/spring" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#spring</a> <a href="https://zhub.link/tags/java" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#java</a> <a href="https://zhub.link/tags/kotlin" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kotlin</a> <a href="https://zhub.link/tags/kafka_consumer" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#kafka_consumer</a>

Recent searches

Search options

Administered by:

Server stats:

#kafka_consumer