mastodon.world is one of the many independent Mastodon servers you can use to participate in the fediverse.
Generic Mastodon server for anyone to use.

Server stats:

9K
active users

#Kafka

20 posts17 participants3 posts today

DLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секунды

Привет, Хабр! Сегодня рассмотрим, как построить Kafka-консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ).

habr.com/ru/companies/otus/art

ХабрDLQ-first: учим Kafka-консьюмера падать красиво и поднимать поток за секундыПривет, Хабр! Сегодня рассмотрим, как построить Kafka‑консьюмер, который не падёт при первой же проблеме, а аккуратно сложит битые события в Dead Letter Queue (DLQ)....
Oh yeah, THIS is worth reading. Not joking at all.

It’s about a man who wakes up as a great big beetle-like thing. He was a former solider and had been happy once but that was a long time ago. Now he is the sole provider for his parents and his little sister and they are just worthless. Absolutely worthless. They leech off him and he’s not happy about it.

But here’s the thing: they’re not happy about it either and when he turns into this beetle the roles initially reverse and they have to take care of him but with no jobs, that’s a big ask.

So the father goes back to work and the mother rents out a room and the family suddenly realizes that they only THOUGHT they had nothing to offer so they never tried. Robbed of the guy they were mooching off of, they realized they are stronger and more resilient than they thought.

They’re still miserable, though, because they have to take care of this giant beetle.

Okay, small aside: most classic literature is spoiled. You know how Mice & Men ends and you might not have ever read it.

And studies have shown that if you know the ending you actually enjoy the story more.

But if that’s not the case for you, just go get this book and stop reading this.

I love this book. The learned helplessness of the family and the ridiculous martyrdom of the protagonist was so frustrating and well-written. I hated every single character in the best way if that makes sense.

And when our beetle guy gets stabbed and DIES and this turns out to be the family’s ticket to freedom, it really hit me.

I don’t think Kafka was writing about learned helplessness but that’s certainly what I got out of it and I began to look around me and wonder: as the breadwinner who is often not happy for a family who leans on me more and more, am I doing them a disservice by doing so much for them?

You know a book is good when it makes you reevaluate your whole life.

#books #bookrecommendation
#bookstagram #readersofpixelfed #readinglog #kafka #matamorphosis #read

🌗 清理垃圾:大規模物件儲存的垃圾回收
➤ 解決物件儲存中邏輯刪除檔案的挑戰
warpstream.com/blog/taking-out
WarpStream 是一家提供 Kafka 替代方案的公司,其核心技術建立在物件儲存之上。本文探討了在物件儲存中處理邏輯已刪除檔案(因資料過期或壓縮而產生)的挑戰。作者分析了直接使用物件儲存的垃圾回收策略(如桶策略和同步刪除)的侷限性,並說明瞭這些方法為何無法滿足複雜系統的需求,例如在保留期限差異大的主題時或在進行壓縮時。最終,作者提出使用延遲佇列作為一種更可靠的解決方案,以避免資料遺失和查詢失敗的問題。
+ 這篇文章深入探討了大型分散式系統中常見的物件儲存問題,對於瞭解資料管理和效能優化很有幫助。
+ 我一直對 Kafka 的內部運作方式感到好奇,這篇文章能從另一個角度瞭解其複雜性,以及建立替代方案所面臨的挑戰。
#分散式系統 #物件儲存 #Kafka #資料管理

www.warpstream.comTaking out the Trash: Garbage Collection of Object Storage at Massive ScaleDistributed systems built on object storage all have one common problem: removing files that have been logically deleted either due to data expiry or compaction. We review the pros and cons of five ways to solve this problem.

Лайфхаки при работе с кафкой

Привет, Хабр! Во второй части мы разобрали, как тестировать микросервисы с кафкой. В этой части – лайфхаки при работе с offset explorer и kafka ui в формате чек-листа для удобства периодического возвращения к статье при необходимости. Когда вы впервые подключаетесь к кластеру Kafka или продолжаете работу с ним, могут возникать различные трудности. Перед тем, как обращаться к разработчику, DevOps-у или коллеге-тестировщику, проверьте эти пункты, возможно, проблема на вашей стороне. А даже если не на вашей, вы точнее определите проблему 😊 1. Пропали топики (раньше топики отображались, а теперь нет, хотя параметры подключения не менялись)

habr.com/ru/companies/reksoft/

ХабрЛайфхаки при работе с кафкойПривет, Хабр! Во второй части мы разобрали, как тестировать микросервисы с кафкой. В этой части – лайфхаки при работе с offset explorer и kafka ui в формате чек-листа для удобства периодического...

Синхронизация кеша в распределенных Go (и не только) приложениях

Заранее оговорюсь, всё что будет описано в данной статье, будет касаться runtime (децентрализованного) кеша и применимо не только к Gо приложениям. Зачем нам нужен такой кеш? По нескольким причинам.

habr.com/ru/articles/908876/

ХабрСинхронизация кеша в распределенных Go (и не только) приложенияхЗаранее оговорюсь, всё что описано в данной статье, касается runtime (децентрализованного) кеша. Зачем нам такое может понадобиться? По нескольким причинам: У нас высокие требования к скорости работы...