기계 학습을 사용하여 미용 제품을 위한 증강 현실 쇼핑 경험을 구축하는 PulpoAR

Rayan Godoi는 다른 Startup에서 일하고 있을 때 미래의 공동 창립자들과 함께 벽에 쓰여진 글을 보기 시작했습니다. 그것은 계시와도 같았습니다. 이 경우 벽은 진짜였지만 글은 그 위에 컴퓨터로 만든 이미지가 겹쳐진 것에 더 가까웠습니다. 그들은 증강 현실이 미래의 길이라는 것을 깨달았습니다. 당시 그들은 디바이스를 온라인 환경과 연결하는 일을 했는데, Godoi는 “2014년에 증강 현실을 사용하여 AR 필터를 만드는 방법을 배웠다”면서 “그리고 기술을 통해 실제로 물리적 세계와 디지털 세계가 하나로 통합되고 있다는 것을 깨달았다”고 회상합니다.

갑자기 Google, Apple, Facebook과 같은 거대 기업들이 AR과 VR 기술에 투자하는 것이 쉽게 이해가 되기 시작했습니다. 세계는 디지털과 물리적 환경의 하이브리드로 빠르게 이동하고 있었습니다. Godoi와 그의 파트너들은 이(증강) 현실을 만드는 데 일조하고 싶었습니다. Godoi는 “우리는 이 두 세계의 융합을 가속화하고 싶다”면서 “어딘가에서 시작해야 했는데 미용 시장에 진정한 기회가 있다는 것을 알게 되었다”고 설명합니다.

그의 팀은 2018년에 ‘증강 현실을 사용하여 제품을 가상으로 써보는 애플리케이션’이라면 작업을 바로 시작할 수 있다는 것을 알았다고 합니다. 이미 회사에서 이러한 제품을 찾고 있었기 때문입니다.

그 후 얼마 지나지 않아 PulpoAR이 탄생했습니다. Godoi는 “쇼핑 여정이 깨졌다”고 설명합니다. 전자 상거래는 작년 전 세계 소매 판매의 거의 20%를 차지하며 사상 최대 비중을 차지했지만 온라인 쇼핑을 하는 소비자들은 신제품을 시험해 볼 수 없습니다. 이것은 많은 쇼핑객, 특히 미용 업계에서 결제 버튼을 클릭하지 못하는 장벽으로 작용합니다. 이때 PulpoAR이 등장합니다. “우리는 고객이 언제 어디서나 정확하고 사실적으로 화장품을 써볼 수 있는 증강 쇼핑 솔루션을 만듭니다.”

매장에서 미용 제품을 시험해 보는 경험을 충실하게 재현할 수 있는 서비스를 구축하기 위해 PulpoAR 팀은 수많은 이미지를 수집한 다음 기계 학습 모델에 이를 분석하고 프로그래밍 방식으로 식별하는 방법을 가르쳐야 했습니다. Bugrahan Bayat CTO는 “다양한 플랫폼을 사용하고 있었다”면서 “다양한 방식으로 모델을 훈련했다. 사람을 통해 태깅을 완료한 다음 이 사진을 보고 인식하도록 모델을 가르쳤다. 하지만 다른 방법이 있다는 것을 알게 되었고 AWS에서 제공하는 도구를 사용하기 시작했다”고 회상합니다.

지금은 Amazon SageMaker와 AWS Lambda를 사용하여 ML 모델을 실행합니다. SageMaker는 얼굴 감지, 분류 및 이미지 처리로 알고리즘을 훈련하고, Lambda는 서비스의 서버리스 컴퓨팅 플랫폼 역할을 하여 원활한 제작 및 확장을 가능하게 합니다.

PulpoAR은 전체 작업을 AWS를 통해 수행합니다. 사용자가 촬영한 사진은 Lambda 함수를 사용하여 업로드되고 분석된 후 고객의 브라우저로 다시 전송됩니다. Bayat는 “이 기술에는 상당한 디바이스 처리 능력이 필요하기 때문에 클라우드 솔루션이 아주 중요하다”면서 “AWS를 사용한 후로 모든 디바이스에서 동일한 처리 파워에 액세스할 수 있었고, 그 결과 사용자들이 더 나은 결과를 얻을 수 있었다”고 설명합니다.

AWS 도구의 서버리스 처리 파워와 신뢰성은 PulpoAR 성장의 열쇠였습니다. AWS가 없었다면 “확장이 전혀 불가능했을 것이다. 좋은 품질의 컴퓨터 비전을 얻기 위해 수백만 장의 사진을 찍어야 했는데, 이는 분명히 AWS 기능을 통해서만 가능하다”고 말합니다.

현재 이 회사는 Sephora, MAC Cosmetics, Flormar와 같은 파트너를 통해 매달 200만 개의 ‘사용해 보기’를 처리하고 있습니다. Bayat는 “이를 월 6,000만 건으로 늘리고 싶다”면서 “백엔드의 확장 가능한 아키텍처가 있어야만 이를 달성할 수 있다”고 말합니다.

그러는 동안 이 회사는 보유한 기술을 행동 기반 추천 엔진과 같은 다른 혁신 기술과 결합하는 방법을 고려하고 있습니다. PulpoAR의 Head of Growth인 Huseyin Oguz는 “이 립스틱을 30초 이상 사용해 보는 사람이 검은 머리, 넓은 턱, 파란 눈을 가지고 있다면 이 아이라이너를 추천하지만 파란 눈 또는 검은 머리가 아니거나 턱이 좁은 사람이라면 다른 제품을 제안한다”면서 “생체 데이터와 행동 데이터를 결합하여 신제품을 추천할 수 있다면 가까운 미래에 정말 놀라운 발전이 될 것이라고 믿는다”고 설명합니다.

이 회사는 스킨케어 분석으로의 확장도 모색하고 있습니다. Godoi는 “증강 현실을 사용하여 주름과 피부 자국을 확인하고 피부 건강을 개선할 수 있는 행동이나 제품 또는 서비스를 제안하고자 한다”고 설명합니다.

Godoi는 이 모든 것이 회사와 나머지 모두에게 있어 시작에 불과하다고 생각합니다. “첫 번째 제품인 가상 화장품 사용해 보기 제품을 출시하기로 결정했다. 그런 다음 제품을 확장하고 수익을 창출하며 물리적 세계와 디지털 세계의 융합을 가속화하는 새로운 제품을 계속 개발하기로 결정했다.” 의료 및 전투 훈련부터 관광 및 몰입형 엔터테인먼트에 이르기까지 가능한 모든 응용 분야를 고려하면 Godoi와 그의 동료들이 지금으로부터 10년 후에 증강 현실과 가상 현실이 ‘어디에나 있을 것’이라고 확신하는 것은 놀라운 일이 아닙니다. Godoi는 “어디에나 있을 것이다. 모든 사람이 이런 종류의 솔루션을 사용하게 될 것”이라고 말합니다.