Articles Data Engineering
Tutoriels, guides pratiques et analyses de fond sur Data Engineering, écrits par les ingénieurs et mentors Blent.
38 articles · page 1 sur 2
Data EngineeringDagster : orchestrer ses pipelines data autour des assets
Pendant des années, l'orchestration de pipelines de données s'est résumée à enchaîner des tâches dans un ordre précis : extraire, transformer, charger, notifier. Cette logique fonctionne, mais elle laisse une question sans réponse : que produit réellement un pipeline ? Des tables, des fichiers, des modèles de machine learning, c'est-à-dire des données dont les équipes métier ont besoin. Savoir si une table est à jour, d'où elle vient et ce qui dépend d'elle est pourtant difficile quand l'orchestrateur ne raisonne qu'en tâches. C'est le problème que cherche à résoudre Dagster.
11 min de lecture
- Data Engineering
DuckDB : la base analytique embarquée qui bouscule le Data Warehouse
Faut-il vraiment démarrer un cluster Spark ou payer un Data Warehouse Cloud pour analyser quelques dizaines de gigaoctets de fichiers Parquet ? Pendant des années, la réponse par défaut des équipes Data a été oui, faute d'alternative légère. Aujourd'hui, un moteur SQL analytique qui s'installe en une ligne et s'exécute dans le processus de votre script change la donne : DuckDB.
12 min de lecture
Data EngineeringApache Iceberg : le format de table ouvert du lakehouse
Comment stocker des pétaoctets de données dans un Data Lake tout en conservant les garanties d'une base de données : transactions, évolution de schéma, retour en arrière ? Comment éviter de dépendre d'un seul moteur de calcul ou d'un seul éditeur ? Pendant des années, empiler des fichiers Parquet dans un stockage objet a imposé de renoncer à ces garanties. Les formats de table ouverts, et en tête Apache Iceberg, ont été conçus pour lever ce compromis.
10 min de lecture
Data EngineeringOpenMetadata : catalogue de données open source
Dans un contexte où les entreprises accumulent des données provenant de sources toujours plus nombreuses, une question cruciale émerge : comment permettre aux équipes de découvrir, comprendre et faire confiance aux données qu'elles utilisent ? Entre les tables dispersées dans plusieurs Data Warehouses, les pipelines de transformation complexes et les métriques métiers dont les définitions varient selon les équipes, le besoin d'un point d'entrée unique pour naviguer dans le patrimoine data devient pressant.
9 min de lecture
Data EngineeringSQLMesh : l'alternative à dbt qui monte
Dans l'écosystème de la transformation de données, dbt s'est imposé ces dernières années comme l'outil de référence pour les équipes Data. Son approche "analytics as code" a révolutionné la manière dont les Data Engineers et Analytics Engineers modélisent et transforment leurs données dans le Data Warehouse. Pourtant, malgré son adoption massive, dbt présente certaines limitations qui peuvent devenir problématiques à mesure que les projets grandissent en complexité.
9 min de lecture
Data EngineeringData Contracts : fiabiliser les échanges entre équipes
Dans un écosystème data de plus en plus distribué, où les données circulent entre de multiples équipes, systèmes et applications, une problématique récurrente émerge : comment garantir que les données échangées respectent les attentes de ceux qui les consomment ? Entre les équipes backend qui produisent des données, les Data Engineers qui les transforment et les Data Analysts qui les exploitent, les incompréhensions et les incidents liés à des changements non anticipés sont monnaie courante.
8 min de lecture
Data EngineeringAnalytics Engineer : tout savoir sur ce métier
Dans un monde où les entreprises génèrent et collectent des volumes de données toujours plus importants, un nouveau métier a émergé pour combler le fossé entre les équipes techniques et les utilisateurs métiers : l'Analytics Engineer. Né de la transformation des pratiques data et de l'avènement du Modern Data Stack, ce rôle hybride répond à un besoin croissant de rendre les données non seulement accessibles, mais véritablement exploitables par l'ensemble de l'organisation.
8 min de lecture
Data EngineeringData Lineage : tracer le parcours de vos données
Dans un écosystème data de plus en plus complexe, où les données transitent par de multiples systèmes avant d'atteindre les utilisateurs finaux, une question fondamentale se pose : d'où viennent réellement les données que nous utilisons pour prendre des décisions ? Entre les extractions depuis des sources opérationnelles, les transformations successives dans les pipelines ETL/ELT, les agrégations dans le Data Warehouse et les visualisations dans les tableaux de bord, le parcours d'une donnée peut rapidement devenir opaque.
8 min de lecture
Data EngineeringSemantic Layer : faire rejoindre les données aux utilisateurs
Dans un contexte où les entreprises accumulent des volumes de données toujours plus importants, un fossé se creuse souvent entre les équipes techniques qui structurent ces données et les équipes métiers qui doivent les exploiter au quotidien. Les Data Engineers construisent des modèles de données optimisés pour la performance et la cohérence, mais ces structures restent fréquemment incompréhensibles pour un directeur commercial ou un responsable marketing qui souhaite simplement répondre à une question business.
9 min de lecture
Data EngineeringFivetran : ETL managé dans le Cloud
Plateforme d'intégration de données entièrement managée, Fivetran automatise la réplication des données depuis des centaines de sources vers les Data Warehouses modernes comme Snowflake, BigQuery ou Redshift. Contrairement aux outils d'orchestration traditionnels qui nécessitent du code et une infrastructure dédiée, Fivetran adopte une approche no-code et clé en main qui permet aux équipes de se concentrer sur l'analyse plutôt que sur la plomberie.
8 min de lecture
Data EngineeringPrefect : l'orchestration moderne de workflows
Prefect propose une approche radicalement différente de la gestion des workflows. Conçu pour être simple à prendre en main tout en offrant une puissance considérable, il permet aux équipes de transformer n'importe quel code Python en workflow orchestré en quelques lignes seulement. Utilisé par des entreprises comme Waymo, Snowflake ou encore Patreon, Prefect s'est rapidement imposé comme une référence pour celles qui souhaitent moderniser leurs pipelines de données sans sacrifier la flexibilité.
9 min de lecture
Data EngineeringReverse ETL : tout savoir
Pendant de nombreuses années, le rôle des Data Engineers était de récupérer des données issues de différentes sources, systèmes de stockage et applications tierces et de les centraliser dans un Data Warehouse, dans le but de pouvoir obtenir une vision complète et organisée des données disponibles.
9 min de lecture
Data Engineeringdbt (Data Build Tool) : tout savoir l’outil analytique incontournable
Pour de nombreuses entreprises, la mise en place et la maintenant de pipelines de données est une étape cruciale pour avoir à disposition d'une vue d'ensemble nette de toutes les données à disposition. Un des challenges quotidien pour les Data Analysts et Data Engineers consiste à s'assurer que ces pipelines de données puissent répondre aux besoins de toutes les équipes d'une entreprise.
8 min de lecture
Data EngineeringNormalisation de données : définitions, exemples
Pour améliorer les opérations commerciales et maintenir la compétitivité, il est essentiel de gérer efficacement les données en entreprise. Cependant, la diversité des sources de données, leur complexité croissante et la façon dont elles sont stockées peuvent rapidement devenir un problème important.
7 min de lecture
Data EngineeringAirbyte : tout savoir sur l’outil d’intégration de données
Les pipelines de données ETL et ELT sont devenus des outils cruciaux pour Data Engineers et les décideurs afin d'intégrer toutes les données dans différents systèmes. Airbyte est l'une des technologies qui a émergé dans ce domaine et qui suscite de l'intérêt à l'heure actuelle.
9 min de lecture
Data EngineeringApache Phoenix : du SQL sur HBase
Apache Phoenix est une extension open-source de Apache HBase qui fournit une couche de requêtes SQL pour les données stockées dans HBase. Phoenix permet ainsi d'interagir sur les tables HBase à l'aide de requêtes SQL standard, sans avoir à écrire de code spécifique à HBase
9 min de lecture
Data EngineeringApache Avro : tout savoir sur la sérialisation binaire
Apache Avro est un système de sérialisation de données et un format de données compact, rapide et polyvalent. Il a été développé par Apache Software Foundation et est conçu pour faciliter l'échange de données entre les différentes applications. Contrairement à d'autres formats comme CSV ou JSON, une des grandes particularités d'Apache Avro est qu'il utilise un schéma pour définir la structure des données, ce qui permet de sérialiser et de désérialiser les données de manière efficace, tout en garantissant la compatibilité entre les différentes versions des schémas.
8 min de lecture
Data EngineeringApache Flink : tout savoir sur le framework temps réel
Apache Flink est un système de traitement des données en temps réel et de traitement par lots à grande échelle. Il s'agit d'un projet open source développé par la fondation Apache, conçu pour offrir une haute disponibilité, une faible latence et une grande capacité de traitement des flux de données. Flink fournit un modèle algorithmique unifié qui permet de traiter les données en temps réel et par lots de manière cohérente. Il prend en charge des opérations avancées telles que la transformation, le filtrage, l'agrégation et la jointure de données en continu.
8 min de lecture
Data EngineeringSnowflake : tout savoir sur le Data Warehouse Cloud
Snowflake est une plateforme de Data Warehousing qui offre une solution Cloud aux problèmes de gestion, de stockage et d'analyse des données volumineuses et complexes.
7 min de lecture
Data EngineeringData Warehouse : définitions, exemples, avantages
Un Data Warehouse (ou entrepôt de données en français), est un système informatique qui permet de stocker et d'analyser de grandes quantités de données provenant de différentes sources. Les données sont généralement structurées, c'est-à-dire qu'elles sont organisées selon un schéma prédéfini pour faciliter leur analyse.
8 min de lecture
Data EngineeringApache Parquet : tout savoir sur ce format de données
Apache Parquet est un format de fichier open-source pour le stockage de données volumineuses dans un environnement Big Data. Ce format est très apprécié des Data Engineers, car il a été conçu pour répondre aux besoins de stockage et de traitement de données massives avec une efficacité maximale en termes de performance, de compression et de flexibilité du schéma de données.
7 min de lecture
Data EngineeringApache Cassandra : tout savoir sur cette base NoSQL
Apache Cassandra est un système de gestion de base de données distribuées hautement performant, scalable et tolérant aux pannes. Développé initialement par Facebook et open-source depuis 2008, Cassandra est devenu populaire pour son modèle de données flexible, son architecture distribuée et sa capacité à gérer des volumes massifs de données avec une latence faible et constante. Avec ses capacités de distribution et de réplication, Cassandra est utilisé dans diverses applications, notamment pour le stockage de données de série temporelle, la gestion de contenu web, la messagerie et les analyses en temps réel.
7 min de lecture
Data EngineeringHDFS : le système de fichiers distribué Hadoop
HDFS (Hadoop Distributed File System) est un système de fichiers distribué open source conçu pour stocker et gérer de gros volumes de données sur des clusters de serveurs. Il fait partie de l'écosystème Hadoop et est devenu en quelques années la référence pour le stockage de données à très grande échelle, notamment pour ses performances et sa tolérance à la panne, mais également pour sa facilité d'utilisation et son intégration dans toute la suite logicielle de l'écosystèeme Hadoop.
8 min de lecture
Data EngineeringApache HBase : la base NoSQL sur Hadoop
Apache HBase est une base de données NoSQL distribuée et hautement évolutive, conçue pour stocker de grandes quantités de données. Il est construit sur Apache Hadoop et fonctionne sur le système de fichiers distribué Hadoop (HDFS). Elle est principalement utilisé pour stocker des données semi-structurées et non structurées telles que des données de journal, des données de capteurs, des données de médias sociaux et des données de télémétrie.
10 min de lecture
Data EngineeringApache Hive : tout savoir sur le Data Warehouse Hadoop
Apache Hive est une plateforme open source de traitement de données distribuées, qui permet de gérer et d'analyser de gros volumes de données de manière efficace. Découvrez comment utiliser Hive pour vos projets de Big Data et bénéficier d'une solution de traitement de données évolutive et flexible.
13 min de lecture
Data EngineeringApache Hadoop : tout savoir sur ce framework Big Data
Hadoop est un framework Java open source développé en 2006 par Doug Cutting et Michael J. Cafarella, et géré par Apache Software Foundation sous licence Apache 2.0. Il s'agit d'un écosystème logiciel qui permet aux entreprises de traiter d’énormes quantités de données en peu de temps. Ceci est accompli en facilitant l’utilisation du traitement informatique parallèle sur une échelle massive.
10 min de lecture
Data EngineeringMongoDB : tout savoir sur la base NoSQL la plus utilisée
Depuis plusieurs années, MongoDB s'est imposée comme un standard parmi les bases de données NoSQL. Sa capacité à supporter une grande volumétrie de données tout en offrant un maximum de flexibilité sur les schémas de données en font une base de données très appréciée par les développeurs.
11 min de lecture
Data EngineeringBigQuery : le Data Warehouse de Google
Google BigQuery est un Data Warehouse en ligne qui permet aux utilisateurs de stocker, analyser et visualiser des données volumineuses. BigQuery offre une interface web pour executer des requêtes SQL sur les données stockées, ainsi qu'une API pour intégrer BigQuery à d'autres applications.
6 min de lecture
Data EngineeringConfluent Platform : la plateforme Data Streaming tout-en-un
Confluent Platform est une plateforme de données spécialisée dans l'ingestion, la distribution et le traitement de données en temps réel. Basé sur la plateforme Apache Kafka et développée par les mêmes créateurs que cette dernière, elle est devenue incontournable pour beaucoup d'équipes et de Data Engineer, car elle vient compléter Apache Kafka avec de nombreuses fonctionnalités.
12 min de lecture
Data EngineeringNoSQL : définitions et exemples
Le NoSQL est une famille de bases de données qui ont la particularité de prendre en charge un modèle de données non relationnelles. À l'opposé des bases de données traditionnelles dites SQL, les bases NoSQL ont fait leur apparition avec le Big Data, dès lors qu'il fallait pour stocker, historiser et requêter sur des volumétries très importantes.
7 min de lecture
Data EngineeringScala : tout savoir sur le langage fonctionnel
Scala tire son nom de « scalable language » car il a été pensé pour être utilisé à n'importe quelle échelle : de simples scripts jusqu'à de larges systèmes. Développé initialement en 2004 à l'EPFL, Scala s'intègre complètement avec Java et s'exécute en tant que plateforme Java.
9 min de lecture
Data EngineeringSpark Streaming : Bien démarrer
Spark Streaming est l'API dédiée au traitement de données en temps réel basé sur Apache Spark. Celui-ci est bien connu pour sa puissance concernant la parallélisation de calculs très volumineux. Outre son interaction facile en Python, il dispose également d'une API haut-niveau avec la définitions d'objets tels que les DataFrames, très puissant pour manipuler des tableaux de données.
8 min de lecture
Data EngineeringMapReduce : tout comprendre sur le calcul parallèle
MapReduce est un patron d'architecture de programmation utilisé pour paralléliser des calculs dans un contexte Big Data. Imaginé et développé par Jeff Dean chez Google, il a été repris dans plusieurs projet, dont le très populaire framework Hadoop qui utilise MapReduce.
8 min de lecture
Data EngineeringApache Spark : tout savoir sur le framework Big Data
Apache Spark est un framework Big Data de traitement de données open source à grande échelle. Il est particulièrement adapté pour les très grandes volumétries de données (plusieurs dizaines ou centaines de Go) et fonctionne de manière distribuée, sous forme de clusters. Son utilisation est principalement dédié aux applications du Machine Learning et des pipelines de données ETL.
9 min de lecture
Data EngineeringApache Airflow : qu'est-ce que c'est ?
Apache Airflow est une plateforme qui permet d'exécuter, de planifier et de monitorer des flux automatisés (workflows). Avec Airflow, les pipelines de données (processus ETL, pipelines Machine Learning) peuvent donc être automatisés tout en fournissant des outils d'administration. C'est un outil très puissant, presque devenu un standard dans le domaine.
8 min de lecture
Data EngineeringApache Kafka : tout savoir sur le Data Streaming
Kafka est une plateforme d'agents de messages (brokers) en temps réel. Cette plateforme permet à la fois de diffuser des données à grande échelle (event streaming) et d'effectuer des traitements sur ces données en temps réel (stream processing). Depuis plusieurs années, Kafka s'impose comme la référence pour diffuser et traiter des centaines de Go de données à grande échelle, tout en assurant une haute disponibilité de services.
9 min de lecture