Apache Flink とは何ですか?

Apache Flink は幅広い機能を備えているため、さまざまな種類のストリーミングアプリケーションやバッチアプリケーションの構築に使用されます。
Apache Flink を利用する一般的なアプリケーションには、次のようなものがあります。

• イベント駆動型アプリケーション: 1 つ以上のイベントストリームからイベントを取り込み、計算、状態更新、または外部アクションを実行します。ステートフル処理では、シングルメッセージ変換以外のロジックを実装できます。シングルメッセージ変換では、結果は取り込まれたイベントの履歴に依存します。
• データ分析アプリケーション: データから情報や洞察を抽出します。従来は、有限のデータセットをクエリし、クエリを再実行するか、結果を修正して新しいデータを組み込むことで実行されていました。Apache Flink を使用すると、クエリを継続的に更新、ストリーミングしたり、取り込んだイベントをリアルタイムで処理したりして分析を実行し、結果を継続的に出力および更新できます。
• データパイプラインアプリケーション: あるデータストレージから別のデータストレージに移動するデータを変換して強化します。従来、抽出-変換-ロード (ETL) は定期的にバッチで実行されます。Apache Flink を使用すると、プロセスは継続的に動作し、データを低レイテンシーで宛先に移動できます。

無制限の (ストリーム) データセットと制限付き (バッチ) データセットの両方を処理

Apache Flink は、無制限のデータセットと制限付きデータセット、つまりストリームとバッチデータの両方を処理できます。無制限のストリームには開始点がありますが、実質的に無制限であり、終了することはありません。理論的に、処理は停止することはありません。

テーブルのように、制限付きデータは有限であり、有限の時間で最初から最後まで処理できます。
Apache Flink は、同じプログラミングインターフェイスを通じて制限付き処理と無制限の処理の両方をサポートするアルゴリズムとデータ構造を提供します。無制限のデータを処理するアプリケーションは、継続的に実行されます。制限付きデータを処理するアプリケーションは、入力データセットの最後に達すると実行を終了します。

アプリケーションを大規模に実行

Apache Flink は、ステートフルアプリケーションを実質的にあらゆる規模で実行するように設計されています。処理は数千のタスクに並列化され、複数のマシンが同時に分散されます。

また、状態は水平方向に分割および分散されるため、複数のマシン間で数テラバイトを維持できます。状態は永続的ストレージに段階的にチェックポイント化されます。

インメモリパフォーマンス

アプリケーションを通過するデータおよび状態は、複数のマシンに分割されます。したがって、計算は、多くの場合メモリ内のローカルデータにアクセスすることで完了できます。

1 回限りの状態の一貫性

単一メッセージ変換以外のアプリケーションはステートフルです。ビジネスロジックは、イベントまたは中間結果を記憶する必要があります。Apache Flink は、障害が発生した場合やアプリケーションの停止と再起動の場合でも、内部状態の一貫性を保証します。各メッセージが内部状態に及ぼす影響は、アプリケーションがリカバリ時または再起動時にデータソースから重複データを受信する場合でも、常に 1 回だけ適用されます。

幅広いコネクタ

Apache Flink には、一般的なメッセージングとストリーミングシステム、データストア、検索エンジン、およびファイルシステムへの実証済みのコネクタが多数あります。例としては、Apache Kafka、Amazon Kinesis Data Streams、Amazon SQS、Active MQ、Rabbit MQ、NiFi、OpenSearch and ElasticSearch、DynamoDB、HBase、および JDBC クライアントを提供するあらゆるデータベースなどがあります。

複数レベルの抽象化

Apache Flink は、プログラミングインターフェイスに複数レベルの抽象化を提供します。より高いレベルのストリーミング SQL と Table API から、テーブル、結合、グループ化などの使い慣れた抽象化を使用しています。DataStream API では、ストリーム、ウィンドウ処理、およびマッピングのセマンティクスにより、抽象化レベルは低くなりますが、制御も強化されます。そして最後に、ProcessFunction API は各メッセージの処理を細かく制御し、状態を直接制御します。すべてのプログラミングインターフェイスは、無制限の (ストリーム) 日付セットと制限付き (テーブル) 日付セットの両方でシームレスに動作します。それぞれの問題を解決するための適切なツールとして、同じアプリケーションで異なるレベルの抽象化を使用できます。

複数のプログラミング言語

Apache Flink は、ハイレベルストリーミング SQL から Python、Scala、Java まで、複数の言語でプログラミングできます。また、Kotlin などの他の JVM 言語でもプログラミングできます。

NortonLifeLock

NortonLifeLock は、サイバーセキュリティとインターネットプライバシーのグローバル企業であり、何百万ものお客様にデバイスセキュリティ、家庭や家族向けのアイデンティティとオンラインプライバシーに関するサービスを提供しています。

NortonLifeLock は、ユーザーへのフリーミアムサービスとして VPN 製品を提供しています。したがって、フリーミアムユーザーが上限を超えたときにサービスを使用できないようにするには、使用制限をリアルタイムで適用する必要があります。NortonLifeLock にとっての課題は、これを信頼性が高く手頃な方法で実現することです。

NortonLifeLock は、Apache Flink を採用することで、ユーザーレベルとデバイスレベルの集計の実装を簡素化しました。

Samsung SmartThings

Samsung の独立子会社である SmartThings は、世界の主要な IoT エコシステムの 1 つであり、誰もがスマートホームを最も簡単に作成する方法を生み出しています。

Samsung SmartThings は、リソースを個々のアプリケーション専用にすることなどの問題に直面していました。これにより、データ処理中に遅延が発生し、パフォーマンスが低下しました。その結果、運用中のワークロードの維持に高額なオーバーヘッドが発生することになりました。データプラットフォームを再構築する必要がありました。

同社は Apache Spark から Apache Flink に移動しました。

BT Group

BT Group は、英国を代表する電気通信およびネットワークプロバイダーであり、180か国の顧客にサービスを提供するグローバルな通信サービスとソリューションの大手プロバイダーです。英国での主な活動には、固定音声、モバイル、ブロードバンド、TV (スポーツを含む)、およびコンバージドネットワーク、固定ネットワークおよびモバイルネットワークを介して消費者、企業、公共部門の顧客へさまざまな製品とサービスを提供することが含まれます。

BT は、英国のブロードバンドネットワーク上での高品位音声通話を可能にする新しい消費者向け製品である Digital Voice の展開をサポートするサービス監視アプリケーションを必要としていました。

BT は、Apache Flink を使用してサービスデータを取り込み、処理し、視覚化するイベント駆動型の分析サービスを構築しました。

Autodesk

3D 設計およびエンジニアリング用ソフトウェアの有数のプロバイダーである Autodesk では、ソフトウェアの作成と配信以上のことができないかと考えています。そして、世界中にいる数百万のユーザーが、そのソフトウェアを使って最高のエクスペリエンスを得るためにはどうしたらいいかとも考えています。

Autodesk では、新しい何かを生み出す人のためにソフトウェアを開発しています。同社は、2 億人以上の顧客にサービスを提供しています。顧客の問題をより早く見つけて解決するには、サイロ化を解消する必要がありました。コストを増大させたりデータロックインを発生させたりすることなく、小規模な運用チームで一貫した方法でメトリクスを収集して測定したいと考えていました。

NHL

National Hockey League は、北米の 4 つの主要なプロチームスポーツリーグの中で 2 番目に古いリーグです。現在、NHL は 32 の会員クラブで構成されており、それぞれがリーグの国際的な構造を反映しており、20 か国以上の選手がチームに登録されています。

NHL は、不確実性の高いイベントを予測するために必要な機能やモデリング方法の決定、ストリーミング PPT センサーデータを使用してフェイスオフが行われている場所、関係するプレーヤー、各プレーヤーがフェイスオフに勝つ確率を数百ミリ秒以内に特定する方法の決定など、いくつかの技術的課題に直面していました。

NHL は Apache Flink を活用して、フェイスオフの勝者を予測するだけでなく、多くの類似の問題をリアルタイムでコスト効率の高い方法で解決するための基盤を構築することができました。

Poshmark

Poshmark は、女性、男性、子供、ペット、家庭などに向けての新品および中古スタイルの大手ソーシャルマーケットプレイスです。米国、カナダ、オーストラリア、インドにまたがる 8,000 万人を超える同社のコミュニティは、ショッピングの未来をシンプルで、ソーシャルで、持続可能なものへと形作っています。

Poshmark は、パーソナライゼーションおよびユーザーエクスペリエンスの向上を通じて売上を伸ばすことに注力してきました。パーソナライゼーションとセキュリティのためにバッチ処理を使用するという当初のアプローチは、カスタマーエクスペリエンスの向上という期待に応えられませんでした。

Poshmark は、Apache Flink によるリアルタイムのデータエンリッチメントを使用してリアルタイムのパーソナライゼーションを設計しました。