Paradime.io が AWS Graviton を使用してコストを増やさずに顧客のデータパイプラインを最大 50% スピードアップする方法

デジタル時代では、チームはかつてないほどアジャイルで協調的になっています。データアナリストはあらゆるビジネスにとって不可欠です。膨大な量の未加工のビジネスデータを適切で使いやすいデータダッシュボードに変換する重要な橋渡し役であり、マーケティング、営業、製品、カスタマーサービスなどのビジネス部門が、会社の円滑な運営、収益性の向上、成長の維持を実現できるようにします。

2018年、Paradime の創設者である Kaustav Mitra 氏と Fabio Di Leta 氏は、ある投資会社で働いていました。Kaustav 氏は、データプラットフォームをゼロから再構築する業務を任されました。これは、同社の以前のソリューションでは必要な成果が得られなかったためです。プラットフォームの再構築に必要なさまざまなツールを扱っているうちに、データ分析チームがさまざまなアプリケーションをつなぎ合わせるのに時間がかかりすぎていることに気付きました。その結果、ミッションクリティカルでインパクトのある作業を行うための余裕がなくなっていました。

Kaustav 氏は、「データ分析ツールチェーンが断片化しているため、人々は日々の仕事を終わらせようと必死になっている。人とデータを結び付けて、より早く仕事を終わらせるにはどうすればよいのだろう? データ分析担当者がシームレスに作業できるプラットフォームを作るにはどうすればよいのだろう?」と考えました。

Kaustav 氏はすでに AWS に精通しており、物事をより速く、より効率的に、そしてより少ないストレスで成し遂げるためにはシームレスな統合と簡単なコラボレーションが不可欠であるという知識に基づいて構築されていることに大きな刺激を受けました。

Kaustav 氏は、「Paradime はデータアナリスト向けの画期的なオペレーティングシステムで、AWS と同様に多くのツールが 1 か所にまとめられています。このような考え方が、Paradime がクラウドプラットフォームとして AWS を初日から選択していた主な理由の 1 つです。AWS Graviton プロセッサの 4 倍のパフォーマンスとコスト削減も合わせて考えると、なおのことです。」と説明します。

真のニーズから生まれたコンセプト

この緊急のニーズから、Kaustav 氏と Fabio 氏は 2020 年にアイデアの構想を練りました。そして、パンデミックの最中の 2021 年に、4 人のチームで事前にシードされた Paradime が立ち上がり、コードの最初の行は AWS で作成されました。

Paradime の理念も AWS と一致していました。データアナリストのニーズを最優先するために、彼らは「顧客から逆算して作業する」アプローチを採用しました。これは、テクノロジーからではなく、顧客のニーズから始まる AWS の「逆算して取り組む」メカニズムを反映したもので、新しい製品やサービスの中心には常に顧客がいることを保証しています。Kaustav 氏は、「データアナリストが自分の作業をツールに合わせるのではなく、ツールをデータアナリストのニーズと日常業務に適応させる必要があります。」と説明しています。

Paradime は当初から、データ分析市場で最も動きの速いイノベーターになるために努力してきました。そのためには、耳を傾け、行動を起こすことが必要でした。Kaustav 氏は、「日々、顧客の声に耳を傾けていれば、はるかに早く顧客を驚かせ、プラットフォームの成熟度を段階的に高めることができます。私たちは、データアナリストチームが他のどのソフトウェアよりも早く作業を完了できるよう支援します」と語ります。

ビジネスデータの急激な増加によって生じる問題

Paradime は、自社を、アナリティクスチーム向けの AI を活用した dbt™ プラットフォームと表現しています。データ構築ツール (dbt) は、今日のビジネスにおけるデータの急増に対応するソリューションです。

1970 年代以降、SQL コードがデータ分析のプログラミング言語となっており、データベースに質問してアナリストが必要とする答えを提供するために使用されてきました。しかし、競争力を維持するために必要なデータ量が急速に増加するにつれて、SQL の作成、変更管理、テストははるかに複雑で時間がかかるようになりました。2016 年以降、この問題の解決に役立つツールとして dbt が選ばれてきました。これにより、ビジネスの発展に合わせて長期的に簡単に構築、実行、テスト、管理できる、スケーラブルで監査可能な SQL コードを実現できます。しかし、Paradime チームが認識している通り、dbt は幅広いデータアナリストのタスクの一部に過ぎません。

データストアとビジネスインサイトの架け橋

データアナリストは、ソフトウェアリテラシーが高いデータエンジニアから、マーケティング、営業、製品、カスタマーサービスなどのソフトウェアリテラシーが高くないビジネス部門に至るまで、さまざまなチームで仕事をしています。そのため、エンドツーエンドのプロセス全体にわたってシステムを使用する必要がありますが、その中で dbt は不可欠ですが、その一部にすぎません。Kaustav 氏は、「彼らが必要としているのは、エンドツーエンドの責任をすべて 1 か所ですべて処理できるワークスペースです。Paradime はそのワークスペースであり、それが主に dbt を専門とする他の競合他社とは一線を画すものです。」と述べています。

データアナリストがカバーしなければならないことは他にもたくさんあります。たとえば、Paradime は、データパイプラインの稼働速度、チームが費やす費用、日常業務に費やす時間をデータリーダーが把握するのに役立ちます。Kaustav 氏は、「Paradime では、これらすべてを 1 か所で簡単に利用できるため、データ分析チームの生産性は、既製のツールでパッチを当てたり、社内で構築したりする断片化されたシステムを使用するよりも 50～83% 向上します。」と説明します。

AWS は Paradime のパフォーマンスを牽引する原動力です

データアナリストにとって、スピードは重要です。組織はデータインサイトに大きく依存しています。データアナリストの仕事のストレスを軽減するという Paradime の取り組みの一環として、Paradime は常にコストを抑えながらサービスをスピードアップする方法を模索しています。そこで、Paradime は AWS Graviton プロセッサに目を向けました。

Kaustav 氏は、「Paradime の Bolt と CI/CD オーケストレーションフレームワークにより、データアナリストはスムーズなスケジュールで dbt コマンドを自動的に実行できます。私たちは、お客様にとって同じ価格を維持しつつ、より高速にしたいと考えていました。AWS EC2 ファミリーのプロセッサを見ていたところ、AWS Graviton は現在の x86 プロセッサと同じ価格で、速度が大幅に向上することがわかりました。」と説明します。

Paradime のソフトウェアエンジニア、Maximilian Mitchell 氏は、「調査の結果、AWS Graviton に移行しない手はありませんでした。特典がたくさんあるからです。Bolt を利用しているお客様のデータパイプラインを 30～50% 高速化し、99.999% 以上のアップタイムを実現できたケースもありました。これは、医療や銀行などの重要なサービスを受けているお客様にとって不可欠です。非常に重要なことは、ジョブを非常に高い頻度で実行して、データパイプラインを最新の状態に維持できることです。これにより、データパイプラインが実質的にリアルタイムになります。」と続けます。

さらに、Max 氏は、「また、お客様が dbt だけでなく、データ品質やデータ異常テストなどを実行できるよう支援することもできます。つまり、お客様は信頼できるデータを利害関係者に提供できます。」と付け加えます。

AWS Graviton は Paradime とその顧客に双方にとってメリットをもたらしてきました

Paradime は、AWS Graviton への移行によって大幅なコスト削減が可能になり、コストを増やさずに顧客に優れたパフォーマンスを提供できるようになったこともわかりました。「AWS Graviton が登場する前は、各ノードを約 50～60% まで活用できました。今では、約 85% というはるかに高いレベルまで利用できるようになりました。つまり、スピンアップに必要なノード数は約 40% 少なくて済みます。今では、より少ないリソースで同じレベルのパフォーマンスが得られるため、コストも下がりました。」と Max 氏は説明します。

Kaustav 氏は、「クラスターの使用率を大幅に高めることができるため、AWS Graviton 以前と同じコストで 40% 多くのお客様をオンボーディングできるようになりました。今では、競合他社と比較して非常に競争力の高い価格設定で、その価値をお客様に提供できます」と、さらに利点を説明します。

Kaustav 氏は、「つまり、お客様にエンタープライズ階層の利用を強制する必要がないため、顧客獲得および採用を増やすことができます。また、価格を上げなくてもより高い価値を提供できるため、投資家の満足につながります。」と詳しく説明します。

AWS 方式で AWS Graviton へ移行

Paradime は初日から AWS を利用していましたが、そのエクスペリエンスの質には今でも驚かされます。Max 氏は、「当社は最小規模の会社でしたが、最初から常にアカウントマネージャーがいました。会社の規模に関係なく、常に同じように気にかけてもらえました。たとえば、当社の Graviton への移行については、とても積極的で、AWS Graviton の朝食イベントに招待してもらえました。」と説明します。

Max 氏は、「私は本当は DevOps エンジニアではなく、どちらかというとバックエンドエンジニアです。しかし、AWS Graviton のデプロイ方法について素晴らしいアドバイスをくれる専門家と付き合う機会がありました。たとえば、x86 ビルドを完全にオフにせず、代わりに 2 つのアーキテクチャ向けにビルドすることで、リリース時により柔軟に対応できます。これにより、ダウンタイムを発生させることなく、最初の ARM ワークロードを 1 週間以内に処理できるようになりました」と続けます。

Max 氏は、「当社のアプリケーションはもともと ARM Apple MacBook (M シリーズ) でローカルで開発されていたので、すでに互換性があったため、AWS Graviton の ARM アーキテクチャに合わせてアプリケーションをコンパイルできました。これにより、Graviton への移行が容易になりました。1 か月間、古いシステムと新しいシステムを併用しました。それによって、お客様のダウンタイムがゼロになり、当社側でコードを変更する必要もありませんでした。」と付け加えます。

4 倍のパフォーマンス—生産性の向上、俊敏性の向上、意思決定の迅速化を実現

AWS Graviton による 4 倍のパフォーマンスは魅力的な数字ですが、純粋なスピード以外に、Paradime のお客様にはどのようなメリットがあるのでしょうか?Kaustav 氏は、「これは直接的には、3 つのことにつながります。1 つ目は生産性です。以前は 4 分かかっていた作業が、今では 1 分で完了します。2 つ目は俊敏性です。チームはより少ないリソースでより価値のある仕事をこなせるため、ビジネスの変化により迅速に対応できるようになります。3 つ目は意思決定です。チームはエンドユーザーにビジネスインサイトをよりタイムリーに提供できるため、より迅速に行動できるようになります。」と説明します。

Kaustav 氏は、「たとえば、あるクライアントは、さまざまな事業部門から 60～80 枚のスプレッドシートを受け取っていましたが、各スプレッドシートの取り込みには 20 分かかっていました。月末の連結財務実績の報告と合わせると、このプロセス全体には約 1 週間かかっていました。Paradime を使えば、すべて約 20 分で完了します。」と続けます。

Paradime の次のステップ

Kaustav 氏は、「Paradime は、分析のオペレーティングシステムとして世界的に認知されることを目指しています。そのため、データ分析について考えるとき、Paradime を思い浮かべる人が多いでしょう。なぜなら、セットアップに手間がかからず、正しく機能するからです。」と語ります。

これに向けて、Paradime はサービスのあらゆる側面の改善に注力しています。たとえば、AWS Graviton に移行した後、デプロイ率が 40～50% 向上したため、更新をより頻繁にリリースできるようになりました。つまり、週に最大 2～3 回、機能の追加や顧客のリクエストへの対応が可能になります。これは、以前よりも何倍も早いペースです。

Kaustav 氏は、「当社は、AWS が絶えず新しいサービスや機能をリリースしていることは認識しています。お客様に本当に作業負荷が少ないプラットフォームを提供するために、常に新しい AWS サービスを活用したいと考えています。現在、当社には安定したアーキテクチャがありますが、AWS を活用して、引き続きさらなるパフォーマンス向上を追求します。AWS は、さまざまな企業へのエンゲージメントと販売、そして世界中の大企業と連携するためのプロセスの拡大をサポートしてくれています。」と説明します。

AWS は、AWS Compute Optimizer などのツールや、AWS Graviton へのワークロードの移行を支援するプログラムである Graviton Fast Start によって、AWS Graviton への移行を検討している企業を積極的にサポートしています。AWS Graviton への移行を始める方法を学びましょう。その方法をご覧ください。