/var/log/

Utan externa statistiktjänster som kräver cookies (trainfo.eu är nog i en väldigt liten minoritet som inte har cookies) kan man räkna besökare från webserverloggarna (anonymiserade). Flest besökare på förmiddagen och kvällen.

Inga större överraskningar, flest kollar från mobilen.

Men bra att veta vilka sidor som är populärast så jag vet vad som är viktigast.

For any #MTCP, #DOS and #Retrocomputing nerds out there who are also running httpserv and want pretty graphs, poke me for a recipe for a hideosly bloated #logstash configuration to ingest the UDP logs.

I feed it to #Graylog which stores the data in #Opensearch - a pipeline that combined (and this is accurate) needs, conservatively, 4096 times as much RAM as the floppy museum itself (8MB).

And while looking at this when making this screenshot: I wonder why someone would hit http//floppy.museum with a Referer-header indicating they come from a salesforce-dot-com address? http-colon-slashslash-136.146.46.127 (about halfway down the list).

This project is a SIEM with SIRP and Threat Intel, all in one.

https://github.com/V1D1AN/S1EM

Разбираем архитектуру. Часть 2. Чистая архитектура на примере FastAPI приложения

Идея проекта - создать относительно небольшой пример приложения, демонстрирующий распространённый функционал: логирование, мониторинг, хранение и обработку данных, интеграцию с внешними системами и работу с фоновыми задачами. Функционально проект реализует систему сбора и анализа вакансий с агрегаторов вроде HeadHunter. Но гораздо важнее не то, какие задачи решает система, а то — как именно она это делает. Этот проект — прежде всего о структуре, архитектуре и принципах. Основные используемые технологии : Python 3.13, FastAPI, Nginx, Uvicorn, PostgreSQL, Alembic, Celery, Redis, Pytest, FileBeat, LogStash, ElasticSearch, Kibana, Prometheus, Grafana, Docker, Docker Compose.

https://habr.com/ru/articles/908082/

After I adjusted a field type in the Elastic #Logstash configuration to "integer" (which is translated into "long" in #Elasticsearch), the field now led to a conflict in #kibana

In order to change the field type, there was (unfortunately) no other way around re-indexing the data into a new index.

It worked. But it's slow, to say the least, for large indices.

https://www.claudiokuenzler.com/blog/1483/how-to-change-mapping-field-type-re-index-elasticsearch

Which #logging system do you prefer for managing logs in #Kubernetes?

Как оптимизировать производительность API при высокой нагрузке

В статье мы рассмотрим основные подходы и практики для оптимизации производительности API, применяемые в

https://habr.com/ru/companies/exolve/articles/879580/

When you use Elastic's #Logstash http output plugin, you can send logs to a HTTP endpoint (e.g. to a HTTP API), sometimes also named #logsink.

The plugin's format setting allows a couple of options. But what is the actual difference between the default "json" value and "json_batch"?

Here's an actual example to see the differences in a practical way.

https://www.claudiokuenzler.com/blog/1461/logstash-http-output-json-batch-format-difference

In a large ELK #observability stack, the #Nginx access logs of a specific web application needed to be sent to an external service for data analysis.

To comply with data privacy, some parts of the log events must be removed. At the same time the external service also required a specific name of fields - which differed from the #ELK logs.

Luckily there's the #Logstash mutate filter, which allows to modify and alter log events - until everyone's happy.

https://www.claudiokuenzler.com/blog/1459/log-manipulation-alteration-with-logstash-mutate-filter

Enhancing Events with Geolocation Data in Logstash – Source: socprime.com https://ciso2ciso.com/enhancing-events-with-geolocation-data-in-logstash-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #Elasticsearch #KnowledgeBits #socprimecom #Logstash #socprime #Blog

Opensearch, Logstash и dynamic mapping

У нас в Домклик огромное количество микро-сервисов, около 5000. Все они пишут какие-то логи. В этой статье я хочу рассказать о том, как у нас в компании настроен маппинг в индексах Opensearch и какие "фишки" мы используем, чтобы минимизировать работы по настройке маппинга.

https://habr.com/ru/companies/domclick/articles/864128/

Using Ruby Code in Logstash for Translating Text from HEX – Source: socprime.com https://ciso2ciso.com/using-ruby-code-in-logstash-for-translating-text-from-hex-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #Latestthreats #socprimecom #ELKStack #Logstash #socprime #Blog

continuing the shell tools: tuistash for #logstash looks great — https://github.com/edmocosta/tuistash
data is retrieved from the logstash API (local or remote) or offline from a diagnostic bundle (https://github.com/elastic/support-diagnostics). no support for aggregating data from multiple logstashs for now

PS: this one is a side project of one of our colleagues

Standard Logstash Template for Event Processing (Gold Template) – Source: socprime.com https://ciso2ciso.com/standard-logstash-template-for-event-processing-gold-template-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #KnowledgeBits #socprimecom #ELKStack #Logstash #socprime #Blog

Adding Processing Timestamp and Hostname in Logstash Using Ruby – Source: socprime.com https://ciso2ciso.com/adding-processing-timestamp-and-hostname-in-logstash-using-ruby-source-socprime-com/ #rssfeedpostgeneratorecho #CyberSecurityNews #KnowledgeBits #socprimecom #ELKStack #Logstash #socprime #Blog

Downtime of a company's main database is very expensive and a major risk to operations. In this success story, I show how I helped a device manufacturer gain real-time insights into their data warehouse using #Elasticsearch, #Logstash and #kibana

https://www.fabianstadler.com/2024/09/mysql_database_elk.html

Logstash. Преимущества фильтра Dissect над Grok

Мы в Домклике много лет используем ELK-stack (сейчас уже OpenSearch) для хранения и работы с логами, которых у нас очень много: около 400 гигабайтов в день. Весь этот объём проходит через Logstash, где логи частично парсятся, обогащаются метаданными и т. д. Недавно мы решили стандартизировать логи инфраструктурных сервисов, которые подняты в нескольких экземплярах. Начали с HAproxy. У нас несколько групп экземпляров под разные цели, с разным количеством логов. Раньше каждая группа HAproxy писала логи в каком-то собственном формате, и мы парсили эти логи с помощью всего одного паттерна для Grok-фильтра. Сообщение либо подходило под паттерн и разбивалось на поля, либо отправлялось в виде одной текстовой строки. Расскажу о проблемах, с которыми мы столкнулись при добавлении новых Grok-паттернов, и о том, как мы их решили, отказавшись от Grok.

https://habr.com/ru/companies/domclick/articles/840338/