PulpoAR usa il machine learning per costruire un'esperienza di realtà aumentata per lo shopping di prodotti di bellezza

Rayan Godoi stava lavorando in un'altra startup quando lui e i suoi futuri co-fondatori iniziarono a vedere delle scritte sul muro. In questo caso, il muro era reale, ma la scritta era più simile a un'immagine generata dal computer e sovrapposta ad esso: fu allora che capirono che la realtà aumentata era la strada del futuro. All'epoca il loro lavoro consisteva nel collegare i dispositivi al mondo online. "Abbiamo imparato a costruire filtri AR utilizzando la realtà aumentata nel 2014", ricorda Godoi. "E ci siamo resi conto che quella tecnologia stava davvero fondendo il mondo fisico e quello digitale".

Improvvisamente, gli investimenti che i giganti del settore come Google, Apple e Facebook stavano facendo nelle tecnologie di AR e VR cominciarono ad avere molto più senso. Il mondo stava rapidamente evolvendo verso un ibrido tra digitale e fisico, e Godoi e i suoi soci intendevano prendere parte alla creazione di questa realtà (aumentata). "Vogliamo accelerare la fusione di questi due mondi", spiega Godoi. " Da qualche parte bisognava pur cominciare, e abbiamo visto che nel mercato della cosmesi c'erano ottime opportunità".

Già nel 2018, ricorda, il team si è reso conto che "una delle applicazioni principali su cui potevamo iniziare a lavorare immediatamente (dato che le aziende erano già alla ricerca di queste applicazioni) era la prova virtuale dei prodotti utilizzando la realtà aumentata".

Poco dopo è nata PulpoAR. "A un certo punto, il percorso di acquisto si interrompe", spiega Godoi. L'anno scorso l'e-commerce ha rappresentato quasi il 20% delle vendite al dettaglio in tutto il mondo, la quota più alta di sempre. Ma quando i consumatori acquistano online non possono provare nuovi prodotti, e questo è un ostacolo che impedisce a molti acquirenti, in particolare nel settore della bellezza, di completare gli acquisti. È qui che entra in gioco PulpoAR: "Creiamo soluzioni per lo shopping aumentato che consentono ai clienti di provare il make-up ovunque e in qualsiasi momento, in modo preciso e realistico".

Per creare un servizio in grado di ricreare fedelmente l'esperienza di provare un prodotto cosmetico in negozio, il team di PulpoAR ha dovuto raccogliere innumerevoli immagini, quindi insegnare al proprio modello di machine learning ad analizzarle e identificarle in modo programmatico. "Utilizzavamo piattaforme diverse", ricorda il CTO Bugrahan Bayat, "e addestravamo il nostro modello in modi diversi. Avevamo persone che etichettavano le immagini e insegnavamo al modello a guardarle e riconoscerle. Poi ci siamo resi conto che c'era un altro modo per farlo, e abbiamo iniziato a usare gli strumenti disponibili su AWS".

Oggi il team esegue i suoi modelli di ML utilizzando Amazon SageMaker e AWS Lambda; SageMaker addestra l'algoritmo nel rilevamento dei volti, nella segmentazione e nell'elaborazione delle immagini, mentre Lambda funge da piattaforma di elaborazione serverless del servizio per consentire una produzione e una scalabilità ottimali.

PulpoAR esegue il 100% delle sue operazioni con AWS. Le foto scattate dagli utenti vengono caricate e analizzate con funzioni Lambda prima di essere inviate al browser del cliente. "Le soluzioni cloud sono molto importanti per noi, perché la nostra tecnologia richiede dispositivi con un'elevata potenza di elaborazione", spiega Bayat. "AWS ci ha permesso di accedere alla stessa potenza di elaborazione su ogni dispositivo, consentendo ai nostri utenti di ottenere risultati migliori".

La potenza di elaborazione serverless e l'affidabilità degli strumenti di AWS sono stati fondamentali per la crescita di PulpoAR. Come afferma Godoi: "Senza AWS, questa scalabilità non sarebbe stata possibile. Abbiamo dovuto eseguire milioni di immagini per ottenere una visione artificiale di buona qualità. E senza dubbio questo è possibile solo con le funzioni di AWS".

Oggi l'azienda, grazie a partner come Sephora, MAC Cosmetics e Flormar, elabora due milioni di prove di make-up al mese. "Vogliamo arrivare a 60 milioni di prove al mese", dice Bayat. "E possiamo raggiungere questo obiettivo solo con un'architettura scalabile sul back end".

Nel frattempo, stanno valutando il modo di combinare la loro tecnologia con altre innovazioni, come il generatore di suggerimenti basati sul comportamento. "Se ad esempio una persona ha i capelli neri, il mento largo e gli occhi azzurri e prova questo rossetto per più di 30 secondi, le suggerisce questo eyeliner. Ma se non ha gli occhi azzurri o i capelli neri, o se ha il mento stretto, suggerisce un prodotto diverso", spiega Huseyin Oguz, responsabile della crescita di PulpoAR. "Se riusciamo a combinare i dati biometrici e quelli comportamentali per consigliare un nuovo prodotto, credo che gli sviluppi nel prossimo futuro saranno davvero interessanti".

L'azienda sta pensando di espandersi anche nel campo della skincare analysis. "Vogliamo usare la realtà aumentata per vedere le rughe e i segni cutanei e suggerire alle persone comportamenti, prodotti o servizi per migliorare il benessere della pelle", spiega Godoi.

Secondo Godoi, questo è solo l'inizio, sia per l'azienda che per tutti noi. "Abbiamo deciso di lanciare il nostro primo prodotto, la prova virtuale del make-up, per poi espanderci, generare entrate e continuare a costruire nuovi prodotti per accelerare la fusione tra mondo fisico e mondo digitale". Con tutte le possibili applicazioni di questa tecnologia ( dalla sanità all'addestramento alla lotta, dal turismo all'intrattenimento immersivo), non c'è da stupirsi se Godoi e i suoi colleghi sono convinti che, da qui a un decennio, la realtà aumentata e la realtà virtuale "saranno ovunque. Saranno onnipresenti. Tutti utilizzeranno questo tipo di soluzioni".