PulpoAR utilise le machine learning pour créer une expérience d'achat en réalité augmentée pour les produits de beauté

Rayan Godoi travaillait dans une autre startup lorsque lui et ses futurs cofondateurs ont commencé à voir ce qui était écrit sur le mur. Dans ce cas, le mur était réel, mais l'écriture ressemblait davantage à une image générée par ordinateur superposée dessus : ils se sont rendu compte que la réalité augmentée était la voie du futur. À l'époque, leur travail consistait à connecter des appareils au monde en ligne. « Nous avons appris à créer des filtres AR en utilisant la réalité augmentée en 2014 », se souvient Godoi. « Et nous avons réalisé que cette technologie fusionnait réellement le monde physique et le monde numérique. »

Soudainement, les investissements qu'ils voyaient les géants de l'industrie tels que Google, Apple et Facebook faire dans les technologies de réalité augmentée et de réalité virtuelle ont commencé à prendre beaucoup plus de sens. Le monde évoluait rapidement vers un hybride numérique-physique, et Godoi et ses partenaires souhaitaient vivement jouer un rôle dans la création de cette réalité (augmentée). « Nous voulons accélérer la fusion de ces deux mondes », explique Godoi. « Nous avons dû commencer quelque part et nous avons constaté que le marché des produits de beauté offrait de réelles opportunités. »

Dès 2018, se souvient-il, l'équipe s'est rendu compte que « l'une des principales applications sur lesquelles nous pouvions commencer à travailler immédiatement, car les entreprises les recherchaient déjà, était l'essai virtuel de produits utilisant la réalité augmentée ».

Peu de temps après, PulpoAR est né. « Le parcours d'achat est interrompu », explique Godoi. Le commerce électronique a représenté près de 20 % des ventes au détail dans le monde l'année dernière, soit la plus grande part jamais enregistrée, mais lorsque les consommateurs font des achats en ligne, ils ne peuvent pas essayer de nouveaux produits, ce qui retient de nombreux acheteurs, en particulier dans le secteur de la beauté, de cliquer sur le bouton de paiement. C'est là qu'intervient PulpoAR : « Nous créons des solutions d'achat augmentées qui permettent aux clients d'essayer des looks de maquillage n'importe où, quand ils le souhaitent, avec précision et réalisme. »

Pour créer un service capable de recréer fidèlement l'expérience d'essayer un produit de beauté en magasin, l'équipe de PulpoAR a dû rassembler d'innombrables images, puis apprendre à utiliser son modèle de machine learning pour les analyser et les identifier de manière programmatique. « Nous utilisions différentes plateformes », se souvient le directeur technique Bugrahan Bayat. « Nous formions notre modèle de différentes manières. Des gens ont tagué les photos et lui ont appris à les regarder et à les reconnaître. Mais nous avons réalisé qu'il existait un autre moyen de le faire, et nous avons commencé à utiliser les outils disponibles sur AWS. »

Aujourd'hui, l'équipe exécute ses modèles de machine learning à l'aide d'Amazon SageMaker et d'AWS Lambda. SageMaker forme l'algorithme à la détection des visages, à la segmentation et au traitement d'images, tandis que Lambda agit en tant que plateforme informatique sans serveur du service pour permettre une production et une mise à l'échelle fluides.

PulpoAR réalise 100 % de ses opérations avec AWS. Les photos prises par les utilisateurs sont téléchargées et analysées à l'aide des fonctions Lambda avant d'être renvoyées au navigateur du client. « Les solutions cloud sont très importantes pour nous, car notre technologie nécessite une puissance de traitement importante », explique Bayat. « Avec AWS, nous avons pu accéder à la même puissance de traitement sur tous les appareils, ce qui a permis à nos utilisateurs d'obtenir de meilleurs résultats. »

La puissance de traitement sans serveur et la fiabilité des outils d'AWS ont joué un rôle clé dans la croissance de PulpoAR. Sans AWS, Godoi déclare : « Il ne serait pas du tout possible d'évoluer. Nous avons dû prendre des millions de photos pour obtenir une vision par ordinateur de bonne qualité. Cela n'est possible qu'avec les fonctionnalités d'AWS, c'est certain. »

Aujourd'hui, l'entreprise, via des partenaires tels que Sephora, MAC Cosmetics et Flormar, traite deux millions d'essais par mois. « Nous voulons porter ce nombre à 60 millions d'essais par mois », explique Bayat. « Nous ne pouvons y parvenir qu'avec une architecture dorsale évolutive. »

En attendant, ils réfléchissent à des moyens d'associer leur technologie à d'autres innovations, comme le moteur de recommandation basé sur le comportement. « On peut dire que si quelqu'un a les cheveux noirs, le menton large et les yeux bleus, et que cette personne essaie ce rouge à lèvres pendant plus de 30 secondes, alors suggérons-lui cet eye-liner. Mais si la personne n'a pas les yeux bleus ou les cheveux noirs, ou si elle a un menton étroit, cela suggère un produit différent », explique Huseyin Oguz, responsable de la croissance chez PulpoAR. « Si nous pouvons combiner les données biométriques et les données comportementales pour recommander un nouveau produit, je pense que ce sera une évolution vraiment intéressante dans un avenir proche. »

L'entreprise envisage également de se développer dans le domaine de l'analyse des soins de la peau. « Nous voulons utiliser la réalité augmentée pour voir les rides et les marques de peau et suggérer des comportements ou des produits ou services aux personnes afin d'améliorer la santé de leur peau », explique Godoi.

Pour Godoi, tout cela n'est qu'un début, tant pour l'entreprise que pour le reste d'entre nous. « Nous avons décidé de lancer notre premier produit, l'essai virtuel de maquillage, puis de nous développer, de générer des revenus et de continuer à créer de nouveaux produits pour accélérer la fusion des mondes physique et numérique. » Avec toutes les applications possibles, qu'il s'agisse de soins de santé, d'entraînement au combat, de tourisme ou de divertissement immersif, il n'est pas étonnant que Godoi et ses collègues soient convaincus que dans dix ans, la réalité augmentée et la réalité virtuelle « seront partout. Elles seront omniprésentes. Tout le monde va utiliser ce type de solutions. »