Databricks : lakehouse, Spark, Unity Catalog, IA et usages en entreprise

Databricks est un éditeur de logiciels qui fournit une plateforme managée pour stocker, transformer, analyser et exploiter des données à grande échelle, puis construire des modèles et des agents IA à partir de ces données. La plateforme ne remplace pas le fournisseur de cloud : elle s'exécute sur AWS, Microsoft Azure ou Google Cloud, et s'appuie sur leur stockage objet.

L'entreprise est fondée en 2013 à San Francisco par sept chercheurs et ingénieurs de l'AMPLab de l'université de Californie à Berkeley, dont Ali Ghodsi, Matei Zaharia et Ion Stoica. Ils sont les auteurs d'Apache Spark, un moteur de calcul distribué confié la même année à la fondation Apache. Ion Stoica dirige d'abord l'entreprise ; Ali Ghodsi en devient le directeur général en 2016. En 2017, Microsoft lance Azure Databricks, un service intégré à son cloud. Databricks publie ensuite plusieurs projets open source : MLflow en 2018 pour le cycle de vie des modèles, Delta Lake en 2019 pour les tables transactionnelles, puis Unity Catalog en 2024.

À partir de 2023, l'entreprise se tourne vers l'IA générative avec le rachat de MosaicML, puis la publication du modèle DBRX en 2024. Elle rachète aussi Tabular, fondée par les créateurs d'Apache Iceberg, en 2024, et Neon, éditeur d'une base PostgreSQL serverless, en 2025. En 2026, elle étend sa plateforme à la sécurité avec Lakewatch et l'annonce du rachat de Panther, et réorganise ses outils d'IA autour d'Agent Bricks et de Genie. L'entreprise n'est pas cotée en bourse.

Sa place dans l'écosystème tient à cette combinaison : un socle de données en formats ouverts et une plateforme qui couvre l'ingénierie des données, la BI, le machine learning et les agents. Elle se compare le plus souvent à Snowflake, avec qui les usages se recoupent de plus en plus.

À retenir : Databricks n'est ni un cloud ni une base de données unique. C'est une plateforme qui organise, gouverne et exploite des données stockées dans le cloud de l'entreprise.

Historiquement, les entreprises séparaient deux systèmes : le data lake, qui stocke à faible coût des fichiers de tous types mais offre peu de garanties, et le data warehouse, qui garantit la cohérence et les performances SQL mais impose son format. Le lakehouse cherche à réunir les deux : les données restent sous forme de fichiers Parquet sur un stockage objet, et une couche de tables ajoute transactions, historique, contrôle du schéma et index.

Sur Databricks, cette organisation se traduit par plusieurs couches empilées.

Une organisation fréquente des données suit l'architecture dite « médaillon » : une couche brute (bronze) qui reçoit les données telles qu'elles arrivent, une couche nettoyée (silver) et une couche prête pour les usages métier (gold). Ce n'est pas une obligation technique, mais une convention qui facilite la qualité et la traçabilité.

Que change l'arrivée des agents IA ?

Depuis 2025, Databricks présente sa plateforme comme le socle des agents qui travaillent sur les données de l'entreprise. Agent Bricks regroupe l'accès aux modèles de plusieurs fournisseurs, les outils de recherche (AI Search, ex-Vector Search), l'évaluation et la gouvernance des agents. Genie One, lancé en juin 2026, est un assistant destiné aux équipes métier ; Genie Code, qui a remplacé Databricks Assistant, assiste les data engineers et les data scientists dans leurs notebooks et leurs pipelines. Ces outils reposent sur la même gouvernance que les tables : un agent ne voit que les données auxquelles il a droit. Pour un projet de RAG ou d'agents, la qualité dépend toutefois surtout des données, de la documentation métier et de l'évaluation.

La réponse demande de distinguer l'entreprise, les projets qu'elle a créés et la plateforme qu'elle vend. Databricks est une société commerciale : sa plateforme managée est un service payant et propriétaire. Une part importante des technologies qui la composent est cependant publiée en open source.

• Projets open source créés par Databricks : Apache Spark (fondation Apache), Delta Lake et MLflow (Linux Foundation), Unity Catalog (LF AI & Data). Ils peuvent être utilisés sans Databricks, sur n'importe quelle infrastructure.
• Contributions récentes : les pipelines déclaratifs, anciennement Delta Live Tables, ont été versés au projet Apache Spark en 2025 ; Databricks contribue aussi à Apache Iceberg depuis le rachat de Tabular.
• Briques propriétaires : le moteur d'exécution Photon, Databricks SQL, Genie, Agent Bricks, Lakewatch et la plupart des fonctions d'administration ne sont disponibles que dans la plateforme managée.

Les données, elles, restent dans des formats ouverts. Une table Delta Lake ou Iceberg peut être lue par d'autres moteurs, comme Trino ou Snowflake, ce qui limite l'effet de verrouillage sur le stockage. La dépendance porte plutôt sur les pipelines, les droits et les usages construits dans la plateforme.

À retenir : des formats et des projets ouverts n'empêchent pas une dépendance à la plateforme. Évaluez ce qu'il faudrait reconstruire en cas de changement de fournisseur.

Les deux plateformes sont souvent mises en concurrence. Elles sont parties de points opposés, le traitement distribué et la data science pour Databricks, le data warehouse SQL pour Snowflake, et convergent depuis plusieurs années : chacune propose aujourd'hui du SQL, du Python, des formats ouverts, une base PostgreSQL et des agents IA.

Laquelle choisir ? Databricks se justifie lorsque les usages de data engineering à grande échelle, de machine learning et de Python dominent, et que garder les données dans son propre stockage en formats ouverts est un critère. Snowflake se justifie lorsque l'analyse SQL, la simplicité d'exploitation et le partage de données entre organisations priment. Dans les deux cas, comparez sur une preuve de concept le coût au volume réel, les performances sur vos requêtes et la capacité de l'équipe à exploiter la plateforme. Certaines entreprises utilisent d'ailleurs les deux, en partageant des tables Iceberg.