Databricks a récemment annoncé que son catalogue de données Unity passerait sous licence open source Apache 2.0, que
lques jours après que Snowflake ait présenté une offre similaire appelée Polaris.
Contexte et Importance
La compétition s'intensifie dans le domaine des catalogues de données, un élément crucial à l'ère de l'IA. Deux acteurs principaux, Databricks et Snowflake, se démarquent dans cette course. Récemment, Snowflake a dévoilé son catalogue open source Polaris. En réponse, Databricks a ouvert son catalogue Unity, disponible immédiatement, contrairement à Polaris qui sera ouvert dans trois mois.
Hyoun Park, analyste en chef chez Amalgam Insights, note que Databricks souhaite se positionner comme le premier fournisseur à ouvrir son catalogue de données.
Avantages de l'Ouverture
En basculant Unity en open source sous licence Apache 2.0, Databricks permet aux utilisateurs de modifier et de distribuer le code gratuitement. Cette ouverture offre une interface universelle supportant les données dans divers formats et environnements de calcul, incluant Delta Lake, Apache Iceberg, et Apache Hudi via Delta Lake UniForm. Le catalogue REST d'Iceberg et les normes d'interface Hive Metastore (HMS) sont également pris en charge. De plus, Unity Catalog continuera à fournir une gouvernance unifiée pour les actifs d'IA, tels que les modèles d'apprentissage machine et les outils d'IA générative.
Perspectives des Experts
Selon Stewart Bond, vice-président de la recherche chez IDC, l'ouverture des API permet un accès transparent aux informations conservées dans l'environnement Databricks. Cela soutient l'unification des données et simplifie la découverte, la gestion, et la gouvernance des données pour les utilisateurs. Steven Dickens, responsable des pratiques de clouds hybrides chez The Futurum Group, affirme que cette approche évite le verrouillage des fournisseurs et permet aux entreprises de choisir les meilleurs outils pour leurs besoins tout en assurant une gouvernance cohérente des données.
Défis et Opportunités
L'ouverture du catalogue Unity est perçue comme une course à l'open source et à la conquête des utilisateurs. Selon Steven Dickens, cela représente un défi majeur pour les concurrents tels que Snowflake, Teradata, et Dremio, en raison de l'accent mis sur l'interopérabilité et l'engagement open source de Databricks. Cependant, Stewart Bond d'IDC souligne que le succès de cette initiative dépendra de la quantité de métadonnées sur les données stockées dans les plateformes concurrentes qui seront disponibles pour les processus externes. Rendre Unity open source pourrait accélérer les innovations et améliorer l'expérience utilisateur au niveau de l'entreprise.
L'ouverture de Unity pourrait donc rendre Databricks plus compétitif en répondant à un plus large éventail de besoins des clients et en réduisant les frictions liées à la compatibilité des formats de données.
Conclusion
Databricks, en ouvrant son catalogue Unity, se positionne en tête dans la course à l'open source. Cette initiative vise à attirer un large éventail d'utilisateurs en leur offrant une flexibilité accrue et une gouvernance unifiée, répondant ainsi aux défis de demain dans le domaine des données et de l'IA.
Related Posts
