Proyecto en Snowflake y Apache Airflow

Suljettu Julkaistu 1 vuosi sitten Maksettu toimituksen yhteydessä
Suljettu Maksettu toimituksen yhteydessä

1. Cargar el siguiente set de datos en una base de datos en Snowflake (abrir una cuenta de prueba) [login to view URL]

2. Realizar creación de tablas físicas auxiliares, el archivo esta adjunto.

3. Crear un DAG usando Apache Airflow (Puede ser usando un servicio administrado Google Composer, AWS MWAA).

El objetivo del DAG es automatizar las tareas en el punto No. 2, es decir, crear nuevas tablas con otros nombres para realizar el proceso de manera automática cada 15 minutos.

Usa tu creatividad para generar nuevos datos y que tenga más sentido la automatización, usar MERGES, CREATES AND REPLACES y otras funciones de Snowflake.

Bonos:

- Tomar las tablas procesadas y usando Apache NiFi mandarlas a un bucket de S3 de AWS.

- Crear alertas para Slack usando Airflow.

Importante: Se debe entregar un documento donde se evidencie las acciones realizadas (capturas de pantalla, código, video). Puede enviar los códigos en archivos zip.

Amazon Web Services Linux Python Amazon S3

Projektin tunnus: #33689191

Tietoa projektista

1 ehdotus Etäprojekti Aktiivinen 1 vuosi sitten

1 freelanceria on tarjonnut keskimäärin %project_bid_stats_avg_sub_23% %project_currencyDetails_sign_sub_24% tähän työhön

mirzafarhad07

Greetings I can surely help you for Proyecto en Snowflake y Apache Airflow I am in the IT industry since more than a decade and serve so many clients for building and rebuilding websites, software and applications a Lisää

$10 USD 2 päivässä
(0 arvostelua)
0.0