Un projet de transformation numérique ne se gère pas comme un programme informatique traditionnel. Il fait appel à de nouvelles compétences et fait émerger par nécessité des formes nouvelles d’organisation.
Il y a 3 ans, l’équipe de Facebook Core Data Science team à sorti un open source, un puissant outil de prévision pour les séries temporelles, appelé Prophet.
Dans certains projets big data, j’ai pu observer que plusieurs Data Ingénieurs utilisent des langages tels que python, java, scala ou même spark pour réaliser la phase de préparation de données (et évite pour l’occasion l’usage des outils ETL/ELT qui peuvent paraître lourds dans certains cas).
Dans cet article, nous allons donc introduire les bonnes pratiques et des règles à respecter pour écrire un code Pyhon de qualité. Nous allons également, avec des exemples simples, illustrer l’usage d’outils permettant de contrôler le respect de ces règles.
Les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante au fil des années. En effet, près de 90% de la donnée digitale que nous possédons aujourd’hui a été créée ces deux dernières années exigeant d’outre-passer les technologies “classiques” du Big Data.De cette problématique d’exploitation des Lire la suite…
Les architectures basées sur les microservices sont l’avenir des applications complexes. Dans ce blog, nous allons nous intéresser à l’un des composants critiques de cette architecture: L’API Gateway (Passerelle API). Disons que vous essayez de créer un magasin en ligne (web-store). Vous utiliserez probablement plusieurs API pour fournir les actifs Lire la suite…
Dans ce cas pratique nous allons nous intéresser aux architectures Serverless au travers de quelques services AWS à savoir S3, Lambda, DynamoDB, CloudWatch et IAM. Le point central de ce Lab étant AWS Lambda.
La semaine dernière, notre Lab Big Data Analytics s’est rendu à l’ETNA (Ecole de la Nouvelle Alternance en Informatique) à l’occasion des conférences métiers, afin d’animer une présentation sur le traitement des taux de change via le Machine Learning et le Big Data. Retrouvez la vidéo de présentation :
Présentation de notre Lab Big Data Analytics par son manager Ahmed Cheriat : Notre Lab « Big Data Analytics » est un véritable terrain d’expérimentation pour la mise en place de clusters Hadoop, et de montée en compétences sur des architectures d’applications distribuées. Ce dispositif permet à nos collaborateurs de Lire la suite…
Introduction & contexte MongoDB est un SGBD NoSQL open source écrit en C++ qui stocke ses données en BSON (Binary JSON). Son développement a commencé en 2007 et a été initié par la société 10gen. Ce système est orienté documents, répartissables sur un nombre quelconque d’ordinateurs et ne nécessitant pas Lire la suite…