PulpoAR Menggunakan Machine Learning untuk Membangun Pengalaman Berbelanja Augmented Reality untuk Produk Kecantikan

Rayan Godoi sedang bekerja di startup yang berbeda saat ia dan calon pendiri lainnya mulai melihat tulisan di dinding. Pada kasus ini, dinding itu nyata, tetapi tulisan itu lebih seperti gambar yang dihasilkan komputer yang ditumpangkan di atasnya: augmented reality, mereka menyadari bahwa ini adalah masa depan. Pekerjaan mereka pada saat itu adalah menghubungkan perangkat ke dunia online. "Kami belajar cara membuat filter AR menggunakan augmented reality pada tahun 2014," kenang Godoi. "Dan kami menyadari bahwa teknologi tersebut benar-benar menyatukan dunia fisik dan digital."

Tiba-tiba, investasi yang mereka lihat dari raksasa industri, seperti Google, Apple, dan Facebook dalam teknologi AR dan VR menjadi lebih masuk akal. Dunia dengan cepat berakselerasi menuju hibrida digital-fisik, dan Godoi serta rekan-rekannya sangat ingin memainkan peran dalam menciptakan (augmented) reality tersebut. "Kami ingin mempercepat penggabungan kedua dunia ini," jelas Godoi. "Kami harus memulai dari suatu tempat dan kami melihat bahwa, di pasar kecantikan, ada peluang yang nyata."

Pada awal tahun 2018, kenangnya, tim membuat, "Salah satu aplikasi utama yang dapat segera kami kerjakan, karena perusahaan-perusahaan sudah mencarinya, adalah uji coba produk secara virtual menggunakan augmented reality."

Segera setelah itu, PulpoAR lahir. "Perjalanan belanja menjadi kacau," jelas Godoi. E-commerce menyumbang hampir 20 persen dari penjualan ritel di seluruh dunia tahun lalu, yang merupakan pangsa terbesar yang pernah ada, tetapi saat konsumen berbelanja online, mereka tidak dapat mencoba produk baru, dan itu adalah penghalang yang membuat banyak pembeli, terutama di industri kecantikan, tidak mengeklik tombol check-out. Di situlah PulpoAR hadir: "Kami menciptakan solusi belanja augmented yang memungkinkan pelanggan untuk mencoba tampilan makeup di mana pun, kapan pun mereka mau, dengan presisi dan realistis."

Untuk membangun layanan yang dapat menciptakan kembali pengalaman dalam mencoba produk kecantikan di toko, tim PulpoAR harus mengumpulkan gambar yang tak terhitung jumlahnya, lalu mengajarkan model machine learning mereka untuk menganalisis dan mengidentifikasinya secara terprogram. "Kami menggunakan platform yang berbeda," kenang CTO Bugrahan Bayat. "Kami melatih model kami dengan berbagai cara. Kami meminta orang-orang untuk menandai gambar dan mengajarkannya untuk melihat dan mengenali gambar. Namun kami menyadari bahwa ada cara lain untuk melakukan hal ini lalu kami mulai menggunakan alat bantu yang tersedia di AWS."

Saat ini, tim menjalankan model ML-nya menggunakan Amazon SageMaker dan AWS Lambda; SageMaker melatih algoritma dalam pendeteksian wajah, segmentasi, dan pemrosesan citra, sementara Lambda bertindak sebagai platform komputasi nirserver dari layanan ini untuk memungkinkan produksi dan penskalaan yang lancar.

PulpoAR melakukan 100 persen operasinya dengan AWS. Foto yang diambil oleh pengguna diunggah dan dianalisis dengan fungsi Lambda sebelum dikirim kembali ke browser pelanggan. "Solusi cloud sangat penting bagi kami karena teknologi kami membutuhkan kekuatan pemrosesan perangkat yang besar," jelas Bayat. "Dengan AWS, kami dapat mengakses kekuatan pemrosesan yang sama di setiap perangkat, dan dengan demikian pengguna kami mendapatkan hasil yang lebih baik."

Kekuatan pemrosesan nirserver dan keandalan alat AWS adalah kunci pertumbuhan PulpoAR. Tanpa AWS, Godoi berkata, "Sama sekali mustahil kami dapat menskalakan. Kami harus menjalankan jutaan gambar untuk mendapatkan visi komputer berkualitas baik. Hal ini hanya dapat dilakukan dengan fitur-fitur AWS, itu sudah pasti."

Saat ini, perusahaan ini, melalui partner, seperti Sephora, MAC Cosmetics, dan Flormar, memproses dua juta percobaan setiap bulannya. "Kami ingin meningkatkannya menjadi 60 juta percobaan per bulan," kata Bayat. "Kami hanya dapat mencapainya dengan arsitektur yang dapat diskalakan di sisi back end."

Sementara itu, mereka sedang mempertimbangkan cara untuk menggabungkan teknologi mereka dengan inovasi lain, seperti mesin rekomendasi berdasarkan perilaku. "Bisa dikatakan bahwa jika seseorang memiliki rambut hitam, dagu lebar, dan mata biru, dan orang tersebut mencoba lipstik ini selama lebih dari 30 detik, kita akan menyarankan eyeliner ini kepadanya. Namun, jika orang tersebut tidak memiliki mata biru atau rambut hitam, atau jika mereka memiliki dagu yang kecil, disarankan untuk menggunakan produk yang berbeda," jelas Head of Growth PulpoAR, Huseyin Oguz. "Jika kita dapat menggabungkan data biometrik dan data perilaku untuk merekomendasikan produk baru, saya yakin ini akan menjadi perkembangan yang sangat menarik dalam waktu dekat."

Perusahaan ini juga mengincar ekspansi ke analisis perawatan kulit. "Kami ingin menggunakan augmented reality untuk melihat kerutan dan tanda kulit serta memberikan saran perilaku atau produk atau layanan bagi orang-orang untuk meningkatkan kesehatan kulit mereka," jelas Godoi.

Semua ini, dalam pikiran Godoi, masih baru permulaan, baik bagi perusahaan maupun bagi kita semua. "Kami memutuskan untuk meluncurkan produk pertama kami, yaitu mencoba makeup secara virtual, lalu berkembang, menghasilkan pendapatan, dan terus membangun produk baru untuk mempercepat penggabungan dunia fisik dan digital." Dengan semua aplikasi yang memungkinkan, dari layanan kesehatan dan peralatan tempur, hingga pariwisata dan hiburan yang imersif, tidak heran jika Godoi dan rekan-rekannya yakin bahwa, satu dekade dari sekarang, augmented reality dan virtual reality, "Akan ada di mana-mana. Teknologi ini akan ada di mana-mana. Semua orang akan menggunakan solusi semacam ini."