Create accountLogin

Recent searches

No recent searches

Search options

Only available when logged in.
mastodon.world is one of the many independent Mastodon servers you can use to participate in the fediverse.
Generic Mastodon server for anyone to use.

Administered by:

Server stats:

9K
active users

mastodon.world: AboutStatusProfiles directoryPrivacy policy

Mastodon: AboutGet the appKeyboard shortcutsView source codev4.3.8

#airflow

1 post1 participant0 posts today
Public
Kubernetes
How LaunchDarkly migrated to Amazon MWAA to achieve efficiency and scale In this post, we explore...

https://aws.amazon.com/blogs/big-data/how-launchdarkly-migrated-to-amazon-mwaa-to-achieve-efficiency-and-scale/

#Amazon #EC2 #Container #Service #Amazon #Managed #Workflows #for #Apache #Airflow #(Amazon

Result Details
Amazon Web Services · How LaunchDarkly migrated to Amazon MWAA to achieve efficiency and scale | Amazon Web ServicesIn this post, we explore how LaunchDarkly scaled the internal analytics platform up to 14,000 tasks per day, with minimal increase in costs, after migrating from another vendor-managed Apache Airflow solution to AWS, using Amazon Managed Workflows for Apache Airflow (Amazon MWAA) and Amazon Elastic Container Service (Amazon ECS).
Public
Kubernetes
How Flutter UKI optimizes data pipelines with AWS Managed Workflows for Apache Airflow In this po...

https://aws.amazon.com/blogs/big-data/how-flutter-uki-optimizes-data-pipelines-with-aws-managed-workflows-for-apache-airflow/

#Amazon #Managed #Workflows #for #Apache #Airflow #(Amazon #MWAA) #Analytics #Architecture #Customer

Result Details
Amazon Web Services · How Flutter UKI optimizes data pipelines with AWS Managed Workflows for Apache Airflow | Amazon Web ServicesIn this post, we share how Flutter UKI transitioned from a monolithic Amazon Elastic Compute Cloud (Amazon EC2)-based Airflow setup to a scalable and optimized Amazon Managed Workflows for Apache Airflow (Amazon MWAA) architecture using features like Kubernetes Pod Operator, continuous integration and delivery (CI/CD) integration, and performance optimization techniques.
#mwaa
Public
PostgreSQL
Best practices for least privilege configuration in Amazon MWAA In this post, we explore how to a...

https://aws.amazon.com/blogs/big-data/best-practices-for-least-privilege-configuration-in-amazon-mwaa/

#Amazon #Managed #Workflows #for #Apache #Airflow #(Amazon #MWAA) #AWS #Big #Data

Result Details
Amazon Web Services · Best practices for least privilege configuration in Amazon MWAA | Amazon Web ServicesIn this post, we explore how to apply the principle of least privilege to your Amazon MWAA environment by tightening network security using security groups, network access control lists (ACLs), and virtual private cloud (VPC) endpoints. We also discuss the Amazon MWAA execution and deployment roles and their respective permissions.
#mwaa
Public
Kubernetes
How Flutter UKI optimizes data pipelines with AWS Managed Workflows for Apache Airflow In this po...

https://aws.amazon.com/blogs/big-data/how-flutter-uki-optimizes-data-pipelines-with-aws-managed-workflows-for-apache-airflow/

#Amazon #Managed #Workflows #for #Apache #Airflow #(Amazon #MWAA) #Analytics #Architecture #Customer

Result Details
Amazon Web Services · How Flutter UKI optimizes data pipelines with AWS Managed Workflows for Apache Airflow | Amazon Web ServicesIn this post, we share how Flutter UKI transitioned from a monolithic Amazon Elastic Compute Cloud (Amazon EC2)-based Airflow setup to a scalable and optimized Amazon Managed Workflows for Apache Airflow (Amazon MWAA) architecture using features like Kubernetes Pod Operator, continuous integration and delivery (CI/CD) integration, and performance optimization techniques.
#mwaa
Public
Kubernetes
Build end-to-end Apache Spark pipelines with Amazon MWAA, Batch Processing Gateway, and Amazon EM...

https://aws.amazon.com/blogs/big-data/build-end-to-end-apache-spark-pipelines-with-amazon-mwaa-batch-processing-gateway-and-amazon-emr-on-eks-clusters/

#Amazon #EMR #on #EKS #Amazon #Managed #Workflows #for #Apache #Airflow #(Amazon

Result Details
Amazon Web Services · Build end-to-end Apache Spark pipelines with Amazon MWAA, Batch Processing Gateway, and Amazon EMR on EKS clusters | Amazon Web ServicesThis post shows how to enhance the multi-cluster solution by integrating Amazon Managed Workflows for Apache Airflow (Amazon MWAA) with BPG. By using Amazon MWAA, we add job scheduling and orchestration capabilities, enabling you to build a comprehensive end-to-end Spark-based data processing pipeline.
Public
Habr

Методы расширения атрибутивного состава таблиц БД

Представим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования к витрине, спроектировал решение и передал в разработку. Разработчики внедрили витрину в продуктивный контур, пользователи счастливы, всё работает корректно — сопровождение разработчиков и аналитиков не требуется. Представили? Но, как мы знаем, «IT» и «изменения» — синонимы, поэтому в идеальном мире, как гром среди ясного неба, появляются новые требования: разработать инструмент для регулярного добавления в витрину данных новых атрибутов, на текущий момент в неизвестном количестве. Сразу отмечу, что решения и оценки, о которых пойдёт речь, подбирались для работы с большими данными на стеке технологий Apache Hadoop, где для обработки данных использовали фреймворк Apache Spark, СУБД — Apache Hive для анализа данных, оркестратор — Airflow, данные хранятся в колоночном формате Parquet.

habr.com/ru/companies/T1Holdin

ХабрМетоды расширения атрибутивного состава таблиц БДПредставим себе картину из идеального мира данных, в котором всё стабильно, изменений нет и на горизонте не предвидятся. Аналитик полностью согласовал с заказчиком требования...
#hadoop#spark#airflow
Public
Habr

Как мы сделали одну большую песочницу для всех аналитиков

В мире данных и аналитики, где каждый день генерируются огромные объемы информации, создание единой платформы для работы с данными становится неотъемлемой частью успешной стратегии бизнеса. Мы команда РСХБ.Цифра, в которой я, Кристина Проскурина , руковожу управлением бизнес-анализа данных, а Алексей Кошевой , руководитель отдела развития витрин данных «РСХБ-Интех», руководит разработкой аналитической отчетности и платформы по исследованию данных. В этой статье мы расскажем, как наша команда разработала единую песочницу для аналитиков, которая объединила все инструменты и ресурсы в одном месте, обеспечивая эффективность, удобство и возможность совместной работы. К песочнице

habr.com/ru/companies/rshb/art

ХабрКак мы сделали одну большую песочницу для всех аналитиковВ мире данных и аналитики, где каждый день генерируются огромные объемы информации, создание единой платформы для работы с данными становится неотъемлемой частью успешной стратегии бизнеса. Мы команда...
#greenplum#песочница_для_аналитиков#бизнесанализ_данных
Public
Habr

Как создать инструмент для DQ только на Python и Airflow?

Всем привет! Меня зовут Павел, я главный аналитик данных управления подготовки данных Банка. В этой статье я расскажу, как мы создали самописный инструмент и библиотеку для проверок качества данных, используя только Python и Airflow, и какую пользу это принесло команде.

habr.com/ru/companies/gazpromb

ХабрКак создать инструмент для DQ только на Python и Airflow?Всем привет! Меня зовут Павел, я главный аналитик данных управления подготовки данных Банка. В финтехе цена ошибки в данных может быть огромной, особенно когда объемы этих данных растут. У нас...
#dq#python#airflow
ExploreLive feeds
About