Comment Paradime.io accélère le pipeline de données pour les clients jusqu’à 50 % sans augmenter les coûts grâce à AWS Graviton

À l’ère du numérique, les équipes sont plus agiles et plus collaboratives que jamais. Les analystes de données sont essentiels à toute entreprise. Ils constituent une passerelle vitale, transformant d’énormes quantités de données métier brutes en tableaux de bord de données pertinents et utilisables, permettant aux fonctions commerciales telles que le marketing, les ventes, les produits et les services clients de garantir le bon fonctionnement de leur entreprise, sa rentabilité et le maintien de sa croissance.

En 2018, les fondateurs de Paradime, Kaustav Mitra et Fabio Di Leta, travaillaient dans une société d’investissement. Kaustav a été chargé de remanier l’architecture de la plateforme de données en partant de zéro, car la solution précédente de l’entreprise ne pouvait pas produire les résultats escomptés. Alors qu’il était confronté à une multitude d’outils différents nécessaires à la refonte de la plateforme, il s’est rendu compte que l’équipe d’analytique des données passait beaucoup trop de temps à assembler différentes applications. En conséquence, elle ne disposait plus de la bande passante nécessaire pour effectuer des tâches critiques et importantes.

Kaustav s’est rendu compte : « En raison de la fragmentation de la chaîne d’outils d’analytique des données, les gens se bousculent en permanence pour accomplir leur travail quotidien. Comment pouvons-nous réunir les personnes et les données afin qu’elles puissent faire leur travail bien plus rapidement ? Comment pouvons-nous disposer d’une plateforme de travail fluide pour les professionnels de l’analytique des données ? »

Kaustav connaissait déjà AWS et a été très inspiré par la façon dont la société s’appuie sur l’idée qu’une intégration transparente et une collaboration facile sont essentielles pour faire avancer les choses, plus rapidement, plus efficacement et avec moins de stress.

Kaustav explique : « Paradime est notre système d’exploitation révolutionnaire pour les analystes de données qui, à l’instar d’AWS, réunit de nombreux outils en un seul endroit. Ce même état d’esprit est l’une des principales raisons pour lesquelles AWS a été la plateforme cloud de choix de Paradime, dès le premier jour, en particulier si l’on tient compte des performances multipliées par 4 et des économies de coûts des processeurs AWS Graviton. »

Un concept né d’un réel besoin

Pour répondre à ce besoin urgent, Kaustav et Fabio ont passé l’année 2020 à conceptualiser leur idée. Puis, en 2021, pendant la pandémie, un Paradime prédéfini a été lancé avec une équipe de quatre personnes, et la toute première ligne de code a été écrite sur AWS.

La philosophie de Paradime était également alignée sur celle d’AWS. Pour s’assurer de donner la priorité aux besoins des analystes de données, ils ont adopté une approche de « travail à rebours à partir des clients », reflétant le mécanisme de « travail à rebours » d’AWS qui ne commence pas par la technologie, mais par les besoins du client, garantissant ainsi que le client est toujours au cœur de tout nouveau produit ou service. Kaustav explique : « L’outillage doit s’adapter aux besoins et au travail quotidien des analystes de données, plutôt que les analystes de données aient à adapter leur travail à l’outil. »

Dès le début, Paradime s’est efforcé d’être l’innovateur le plus rapide sur le marché de l’analytique des données, ce qui implique d’écouter et de prendre des mesures. « Si vous écoutez vos clients jour après jour, vous pouvez les épater beaucoup plus rapidement et augmenter la maturité de la plateforme par étapes. Nous aidons les équipes d’analystes de données à faire leur travail plus rapidement que n’importe quel autre logiciel », explique Kaustav.

Le problème créé par la croissance rapide des données métier

Paradime se décrit comme la plateforme dbt™ optimisée par l’IA pour les équipes d’analytique. Data Build Tool, ou dbt, est une solution à la croissance rapide des données dans les entreprises d’aujourd’hui.

Depuis les années 1970, le code SQL est le langage de programmation de l’analytique des données, utilisé pour poser des questions à la base de données afin que celle-ci puisse fournir aux analystes les réponses dont ils ont besoin. Cependant, en raison de l’augmentation rapide de la quantité de données nécessaires pour fonctionner de manière compétitive, la rédaction, la gestion des modifications et les tests SQL sont devenus beaucoup plus complexes et prennent beaucoup plus de temps. Depuis 2016, dbt est l’outil de choix pour résoudre ce problème, en proposant un code SQL évolutif et auditable, facile à créer, à exécuter, à tester et à gérer au fil du temps en fonction de l’évolution de l’entreprise. Cependant, comme le sait l’équipe Paradime, dbt n’est qu’une partie d’un large éventail de tâches de l’analyste de données.

Le pont entre les banques de données et les informations métier

Les analystes de données travaillent au sein de nombreuses équipes, qu’il s’agisse d’ingénieurs de données maîtrisant les logiciels ou de fonctions métier non maîtrisées telles que le marketing, les ventes, les produits et le service client. Par conséquent, ils doivent utiliser des systèmes couvrant l’ensemble du processus de bout en bout, dont dbt est un élément essentiel mais unique. Kaustav déclare : « Ce dont ils ont besoin, c’est d’un espace de travail qui gère l’ensemble de leurs responsabilités de bout en bout en un seul endroit. Paradime est cet espace de travail, et c’est ce qui le distingue des autres concurrents spécialisés principalement en dbt. »

Les analystes de données doivent couvrir bien plus encore. Par exemple, Paradime aide les responsables des données à comprendre la rapidité ou la lenteur de leurs pipelines de données, les dépenses de leur équipe et le temps qu’ils consacrent à leur travail quotidien. Kaustav explique : « Parce que Paradime a tout cela à portée de main, en un seul endroit, les équipes d’analyse des données peuvent être 50 à 83 % plus productives qu’en utilisant un système fragmenté associé à des outils prêts à l’emploi ou construit en interne. »

AWS est le moteur des performances de Paradime

Pour les analystes de données, la rapidité compte. Les entreprises s’appuient largement sur l’analytique des données et, dans le cadre de l’engagement de Paradime visant à rendre le travail des analystes de données moins stressant, Paradime cherche toujours des moyens d’accélérer ses services tout en réduisant les coûts. C’est alors qu’ils se sont tournés vers les processeurs AWS Graviton.

Kaustav explique : « Le cadre d’orchestration Bolt et CI/CD de Paradime permet aux analystes de données d’exécuter automatiquement des commandes dbt selon un calendrier régulier. Nous voulions le rendre plus rapide, tout en le maintenant au même prix pour nos clients. En étudiant la famille de processeurs AWS EC2, j’ai découvert qu’AWS Graviton offrait d’énormes améliorations de vitesse pour le même prix que nos processeurs x86 actuels. »

Maximilian Mitchell, ingénieur logiciel chez Paradime, poursuit : « Il était difficile de ne pas passer à AWS Graviton après avoir terminé nos recherches, car les avantages sont nombreux. Dans certains cas, nous avons accéléré les pipelines de données de nos clients sur Bolt de 30 à 50 %, avec une disponibilité de plus de 99,999 %. Cela est essentiel pour nos clients dans des services vitaux tels que les soins de santé et les services bancaires. Plus important encore, nous pouvons exécuter des tâches à très haute fréquence pour nous assurer que les pipelines de données sont à jour, à tel point qu’ils sont effectivement en temps réel ! »

« Nous pouvons également aider nos clients à exécuter non seulement dbt, mais aussi d’autres tâches telles que la qualité des données et les tests d’anomalies des données, ce qui leur permet de transmettre des données fiables à leurs parties prenantes », ajoute Max.

AWS Graviton est une solution gagnant-gagnant pour Paradime et ses clients

Paradime a également découvert que la migration vers AWS Graviton s’est traduite par d’importantes économies, ce qui lui a permis d’offrir des performances supérieures à ses clients sans répercuter des coûts supplémentaires. « Avant AWS Graviton, nous pouvions utiliser chaque nœud à environ 50 ou 60 %. Maintenant, nous pouvons utiliser chaque nœud à un niveau beaucoup plus élevé, environ 85 %, ce qui signifie que nous pouvons réduire le nombre de nœuds d’environ 40 %. Nous obtenons désormais le même niveau de performance en utilisant moins de ressources, ce qui se traduit par une baisse des coûts », explique Max.

Les avantages se poursuivent : « Parce que nous pouvons gérer nos clusters pour une utilisation beaucoup plus élevée, nous sommes en mesure d’intégrer 40 % de clients supplémentaires pour le même coût qu’avant AWS Graviton. Nous pouvons désormais transmettre cette valeur à nos clients grâce à des prix vraiment compétitifs par rapport à nos concurrents », ajoute Kaustav.

« Nous n’avons donc pas besoin de forcer les clients à passer à la catégorie entreprise, ce qui nous permet d’augmenter l’acquisition et l’adoption de clients. Nous pouvons également offrir une plus grande valeur sans augmenter les prix, ce qui satisfait nos investisseurs », poursuit-il.

Migration vers AWS Graviton à la manière d’AWS

Paradime travaille chez AWS depuis le premier jour, mais la qualité de leur expérience les surprend toujours. « Dès le début, nous avons toujours eu un directeur de compte, même si nous étions le plus petit poisson de l’étang. Nous avons toujours reçu la même attention, quelle que soit la taille de notre entreprise. Par exemple, lors de notre migration vers Graviton, ils ont été très proactifs et ont veillé à ce que nous recevions une invitation à leurs petits-déjeuners AWS Graviton », explique Max.

Il poursuit : « Je ne suis pas vraiment un ingénieur DevOps, je suis plutôt un ingénieur back-end, mais j’ai eu l’occasion de rencontrer des experts qui me donnent de brillants conseils sur la manière de déployer AWS Graviton, par exemple pour ne pas désactiver complètement les versions x86, mais plutôt pour développer pour les deux architectures, afin que nous puissions être plus flexibles lors de la publication. Cela nous a permis de distribuer les premières charges de travail ARM en une semaine, sans provoquer de temps d’arrêt. »

« Nos applications ayant été initialement développées localement sur des MacBook Apple ARM (série M), cela nous a permis de les compiler pour l’architecture ARM d’AWS Graviton, car elles étaient déjà compatibles. Cela nous a facilité la migration vers Graviton. Pendant un mois, nous avons effectué un croisement entre l’ancien et le nouveau système, évitant ainsi à nos clients toute interruption de service et n’ayant pas besoin de modifier le code de notre côté », ajoute Max.

Des performances multipliées par 4 pour une productivité accrue, une plus grande agilité et des décisions plus rapides

Une performance multipliée par 4 avec AWS Graviton est une statistique impressionnante, mais en quoi cela profite-t-il aux clients de Paradime au-delà de la simple rapidité ? Kaustav explique : « Cela se traduit directement par trois choses : la première est la productivité, une tâche qui vous prenait auparavant quatre minutes, prend désormais une minute. La deuxième est l’agilité : les équipes peuvent effectuer un travail plus utile avec moins de ressources et sont ainsi en mesure de réagir plus rapidement aux changements de l’entreprise. La troisième est la prise de décision, les équipes sont en mesure de fournir des informations métier à leurs utilisateurs finaux en temps opportun, afin qu’ils puissent agir plus rapidement. »

Kaustav poursuit : « À titre d’exemple, l’un de nos clients recevait 60 à 80 feuilles de calcul provenant de différentes unités commerciales, et chaque feuille de calcul prenait 20 minutes à ingérer. Outre la publication de la performance financière consolidée à la fin du mois, l’ensemble de ce processus prendrait environ une semaine. Avec Paradime, tout cela prend environ 20 minutes. »

Quelle est la prochaine étape pour Paradime ?

« Notre vision pour Paradime est de devenir mondialement connu comme le système d’exploitation pour l’analytique », s’exclame Kaustav. « Ainsi, lorsque les gens pensent à l’analytique des données, ils pensent à Paradime, parce que sa mise en place ne demande aucun effort et qu’il fonctionne tout simplement. »

Dans cette optique, Paradime se concentre sur l’amélioration de tous les aspects de son service. Par exemple, après être passée à AWS Graviton, l’entreprise a amélioré son taux de déploiement de 40 à 50 % et peut désormais publier des mises à jour plus fréquemment. Cela signifie qu’ils peuvent ajouter des fonctionnalités et répondre aux demandes des clients jusqu’à deux à trois fois par semaine, bien plus rapidement qu’auparavant.

« Nous savons qu’AWS propose constamment de nouveaux services et fonctionnalités, et nous cherchons toujours à exploiter ces nouveaux services AWS pour fournir une plateforme vraiment simple à nos clients. Nous disposons actuellement d’une architecture stable, mais avec AWS, nous poursuivons notre quête de performances supplémentaires, et ils nous aident à nous engager et à vendre à différentes entreprises, et à faire évoluer notre processus afin que nous puissions travailler avec des entreprises de grande envergure dans le monde entier », explique Kaustav.

AWS soutient activement les entreprises qui souhaitent migrer vers AWS Graviton, grâce à des outils tels que l’Optimiseur de calcul AWS et Graviton Fast Start, un programme destiné à faciliter le transfert des charges de travail vers AWS Graviton. Découvrez comment démarrer votre migration vers AWS Graviton. Découvrez comment.