Tutoriel Airflow

Dans certains projets big data, j’ai pu observer que plusieurs Data Ingénieurs utilisent des langages tels que python, java, scala ou même spark pour réaliser la phase de préparation de données (et évite pour l’occasion l’usage des outils ETL/ELT qui peuvent paraître lourds dans certains cas).

Par Ahmed C., il y a

Ingestion de données en temps réel

Les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante au fil des années. En effet, près de 90% de la donnée digitale que nous possédons aujourd’hui a été créée ces deux dernières années exigeant d’outre-passer les technologies “classiques” du Big Data.De cette problématique d’exploitation des Lire la suite…

AWS API Gateway

Les architectures basées sur les microservices sont l’avenir des applications complexes. Dans ce blog, nous allons nous intéresser à l’un des composants critiques de cette architecture: L’API Gateway (Passerelle API). Disons que vous essayez de créer un magasin en ligne (web-store). Vous utiliserez probablement plusieurs API pour fournir les actifs Lire la suite…

Par Ahmed C., il y a

Notre Lab Big Data Analytics : Architectures et solutions techniques au service de la valorisation de vos données

Présentation de notre Lab Big Data Analytics par son manager Ahmed Cheriat : Notre Lab « Big Data Analytics » est un véritable terrain d’expérimentation pour la mise en place de clusters Hadoop, et de montée en compétences sur des architectures d’applications distribuées. Ce dispositif permet à nos collaborateurs de Lire la suite…