PulpoAR nutzt Machine Learning, um ein Augmented-Reality-Einkaufserlebnis für Schönheitsprodukte zu entwickeln

Rayan Godoi arbeitete in einem anderen Startup, als er und seine zukünftigen Mitbegründer begannen, die Schrift an der Wand zu sehen. In diesem Fall war die Wand real, aber die Schrift glich eher einem computergenerierten Bild, das darüber gelegt wurde: Augmented Reality, so erkannten sie, war der Weg der Zukunft. Ihre damalige Arbeit bestand darin, Geräte mit der Online-Welt zu verbinden. „Wir haben bereits 2014 gelernt, AR-Filter mithilfe von Augmented Reality zu entwicklen“, erinnert sich Godoi. „Und wir haben erkannt, dass diese Technologie die physische und die digitale Welt wirklich miteinander verbindet.“

Plötzlich machten die Investitionen, die Branchenriesen wie Google, Apple und Facebook in AR- und VR-Technologie tätigten, viel mehr Sinn. Die Welt bewegte sich rasant in Richtung eines digital-physischen Hybrids, und Godoi und seine Partner waren sehr daran interessiert, bei der Schaffung dieser (erweiterten) Realität eine Rolle zu spielen. „Wir wollen die Verschmelzung dieser beiden Welten beschleunigen“, erklärt Godoi. „Wir mussten irgendwo anfangen und wir haben gesehen, dass es auf dem Schönheitsmarkt echte Chancen gibt.“

Er erinnert sich, dass das Team bereits 2018 erkannt habe: „Eine der wichtigsten Anwendungen, an denen wir sofort arbeiten konnten, weil Unternehmen bereits danach gesucht haben, war die virtuelle Anprobe von Produkten mithilfe von Augmented Reality.“

Bald darauf wurde PulpoAR geboren. „Die Einkaufsreise ist unterbrochen“, erklärt Godoi. Auf E-Commerce entfielen im vergangenen Jahr fast 20 Prozent des weltweiten Einzelhandelsumsatzes, der größte Anteil aller Zeiten aber wenn Verbraucher online einkaufen, können sie keine neuen Produkte anprobieren, und das ist ein Hindernis, das viele Käufer, insbesondere in der Schönheitsbranche, davon abhält, auf die Checkout-Taste zu klicken. Und genau hier kommt PulpoAR ins Spiel: „Wir entwickeln erweiterte Einkaufslösungen, mit denen Kunden Make-up-Looks überall und jederzeit mit Präzision und Realismus anprobieren können.“

Um einen Service zu entwickeln, der das Erlebnis beim Anprobieren eines Schönheitsprodukts im Geschäft originalgetreu nachbilden konnte, musste das PulpoAR-Team unzählige Bilder sammeln und dann seinem Machine-Learning-Modell beibringen, diese zu analysieren und programmatisch zu identifizieren. „Wir nutzten verschiedene Plattformen“, erinnert sich CTO Bugrahan Bayat. „Wir haben unser Modell auf unterschiedliche Weise trainiert. Wir hatten Leute, die die Bilder markierten und dem Team beibrachten, sich die Bilder anzusehen und zu erkennen. Aber wir erkannten, dass es eine andere Möglichkeit gab, dies zu tun. Und so begannen wir, die von AWS verfügbaren Tools zu verwenden.“

Heute führt das Team seine ML-Modelle mit Amazon SageMaker und AWS Lambda aus. SageMaker trainiert den Algorithmus in den Bereichen Gesichtserkennung, Segmentierung und Bildverarbeitung, während Lambda als Serverless-Computerplattform des Services fungiert, um eine reibungslose Produktion und Skalierung zu ermöglichen.

PulpoAR führt 100 Prozent seiner Operationen mit AWS durch. Von Benutzern aufgenommene Fotos werden mit Lambda-Funktionen hochgeladen und analysiert, bevor sie an den Browser des Kunden zurückgesendet werden. „Cloud-Lösungen sind für uns sehr wichtig, da unsere Technologie eine erhebliche Rechenleistung der Geräte erfordert“, erklärt Bayat. „Mit AWS konnten wir auf jedem Gerät auf dieselbe Rechenleistung zugreifen, sodass unsere Benutzer bessere Ergebnisse erzielten.“

Die Serverless-Rechenleistung und Zuverlässigkeit der AWS-Tools waren entscheidend für das Wachstum von PulpoAR. Ohne AWS, so Godoi, „wäre eine Skalierung überhaupt nicht möglich. Wir mussten Millionen von Bildern verarbeiten, um Computer Vision in guter Qualität zu erhalten. Das ist mit Sicherheit nur mit AWS-Funktionen möglich.“

Heute verarbeitet das Unternehmen, über Partner wie Sephora, MAC Cosmetics und Flormar, jeden Monat zwei Millionen Anproben. „Wir wollen es auf 60 Millionen Anproben pro Monat erhöhen“, sagt Bayat. „Das können wir nur mit einer skalierbaren Architektur im Backend erreichen.“

In der Zwischenzeit denken sie darüber nach, wie sie ihre Technologie mit anderen Innovationen verbinden können, wie der Empfehlungsmaschine, die auf Verhalten basiert. „Wir können sagen, wenn jemand schwarze Haare, ein breites Kinn und blaue Augen hat und diese Person diesen Lippenstift länger als 30 Sekunden anprobiert, dann sollten wir ihr oder ihm diesen Eyeliner vorschlagen. Wenn die Person jedoch keine blauen Augen oder schwarze Haare hat oder wenn sie ein schmales Kinn hat, deutet das auf ein anderes Produkt hin „, erklärt Hüseyin Oguz, Head of Growth bei PulpoAR. „Wenn wir die biometrischen Daten und Verhaltensdaten kombinieren können, um ein neues Produkt zu empfehlen, glaube ich, dass das in naher Zukunft eine wirklich interessante Entwicklung sein wird.“

Das Unternehmen plant auch eine Expansion in den Bereich Hautpflegeanalysen. „Wir wollen Augmented Reality nutzen, um Falten und Hautflecken zu erkennen und Menschen Verhaltensvorschläge oder Produkte oder Services zur Verbesserung ihrer Hautgesundheit zu unterbreiten“, erklärt Godoi.

All dies ist nach Ansicht von Godoi immer noch der Anfang, sowohl für das Unternehmen als auch für den Rest von uns. „Wir haben beschlossen, unser erstes Produkt auf den Markt zu bringen, das virtuelle Anprobieren von Make-up, und dann zu expandieren, Umsatz zu generieren und weiter neue Produkte zu entwickeln, um die Verschmelzung der physischen und digitalen Welt zu beschleunigen.“ Angesichts all der möglichen Anwendungen, vom Gesundheitswesen über Kampftraining bis hin zu Tourismus und immersiver Unterhaltung, ist es kein Wunder, dass Godoi und seine Kollegen zuversichtlich sind, dass Augmented Reality und Virtual Reality in einem Jahrzehnt „überall sein wird. Sie wird allgegenwärtig sein. Jeder wird diese Art von Lösungen nutzen.“