Séances re:Invent 2017 en vedette
Analyzing Streaming Data in Real Time with Amazon Kinesis (ABD301)
Amazon Kinesis facilite la collecte, le traitement et l'analyse de données diffusées en streaming en temps réel, afin d'obtenir rapidement des informations stratégiques et de réagir rapidement. Dans cette session, nous vous présentons une solution de données diffusées en streaming de bout en bout en utilisant Kinesis Streams pour l'ingestion des données, Kinesis Analytics pour le traitement en temps réel et Amazon Data Firehose pour la persistance. Nous revoyons en détail comment écrire des requêtes SQL en utilisant les données diffusées en streaming et nous abordons les bonnes pratiques pour optimiser et surveiller vos applications Kinesis Analytics. Enfin, nous parlons de comment estimer les coûts du système entier.
Voir l'enregistrement de la séance | Télécharger la présentation
Atelier : Création de votre première application de Big Data sur AWS (ABD317)
Vous souhaitez améliorer vos connaissances des services web Big Data AWS et lancer votre première application Big Data sur le cloud ? Nous vous accompagnons dans la simplification du traitement du Big Data en bus de données comprenant l'intégration, le stockage, le traitement et la visualisation. Vous créez une application Big Data en utilisant AWS managed services, notamment Amazon Athena, Amazon Kinesis, Amazon DynamoDB et Amazon S3. Au cours du processus, nous revoyons les modèles de conception d'architectures pour les applications Big Data et nous vous donnons accès à un atelier à faire chez vous afin de concevoir de nouveau et de personnaliser vous-même l'application. Vous devez apporter votre propre ordinateur portable et avoir des connaissances de base des services AWS pour tirer au mieux profit de cette session.
Atelier : Commencez dès aujourd'hui à utiliser la diffusion en continu de données pour obtenir des informations en temps réels sur votre activité (ABD321)
Ces dernières années, le nombre d'appareils connectés et de sources de données en temps réel a grandement augmenté. De ce fait, des données sont produites en continu et ce taux de production s'accélère. Les entreprises ne peuvent plus atteindre des heures ou des jours avant d'utiliser ces données. Afin d'obtenir les informations les plus importantes, ils doivent utiliser ces données immédiatement, ce qui leur permet de réagir rapidement aux nouvelles informations. Dans cet atelier, vous allez apprendre à tirer profit des sources de données diffusées en streaming pour analyser et réagir presque en temps réel. Nous allons vous présenter différentes exigences pour un scénario réel avec des données diffusées en streaming en temps réel et nous allons vous demander de créer une solution qui répond aux exigences, en utilisant des services comme Amazon Kinesis, AWS Lambda et Amazon SNS.
Utilisation de l'analyse en temps réel par Amazon Flex pour diffuser les packages à l'heure (ABD217)
Il est important pour les entreprises et les clients de réduire le temps d'obtention des analyses décisionnelles depuis les données s'ils utilisent des outils d'analyse de données par lots et s'ils explorent les bénéfices de l'analyse en streaming. Apprenez les bonnes pratiques pour étendre votre architecture des entrepôts de données et des bases de données aux solutions en temps réel. Apprenez comment utiliser Amazon Kinesis pour obtenir des informations sur les données en temps réel et pour les intégrer dans Amazon Aurora, Amazon RDS, Amazon Redshift et Amazon S3. L'équipe Amazon Flex décrit comment elle utilise les analyses en streaming dans son application mobile Amazon Flex, utiliser par les livreurs d'Amazon pour livrer des millions de colis à l'heure chaque mois. Elle aborde l'architecture qui a permis de passer d'un système de traitement par lots à un système en temps réel, surmontant les difficultés de la migration de données en lot existantes en données diffusées en streaming. l'équipe évoque également les avantages des analyses en temps réel.
Voir l'enregistrement de la séance | Télécharger la présentation
Applications de diffusion en continu en temps réel sur AWS : cas d'utilisation et modèles (ABD203)
Pour prospérer sur le marché et offrir différentes expériences client, les entreprises doivent être capables d'utiliser des données en temps réel pour faciliter la prise de décision rapide. Dans cette session, vous étudiez les cas d'utilisation et les architectures courants du traitement des données en streaming. Tout d'abord, nous vous donnons une présentation des capacités des données diffusées en continu AWS et des données diffusées en streaming. Ensuite, nous abordons quelques exemples client et leurs applications en streaming en temps réel. Enfin, nous étudions les architectures et les modèles de conception communs des cas d'utilisation des données en streaming principaux.
Voir l'enregistrement de la séance | Télécharger la présentation
Cox Automotive évolue grâce à Splunk Cloud et AWS (ABD208)
Dans cette séance, vous allez apprendre comment Cox Automotive utilise Splunk Cloud pour une visibilité en temps réel dans les environnements AWS et hybrides afin que le temps moyen de détection des accidents de vente soit réduit de 90 % et soit presque en temps réel, afin de prédire les pannes de façon proactive. Nous présentons également une capacité hautement anticipée qui vous permet d'intégrer, de transformer et d'analyser les données en temps réel, en utilisant Splunk et Amazon Data Firehose, afin d'obtenir des informations importantes venant de vos ressources Cloud. Il est à présent plus simple et plus facile que jamais d'avoir accès à une surveillance des infrastructures guidée par les analyses en utilisant Splunk Enterprise et Splunk Cloud.
Voir l'enregistrement de la séance | Télécharger la présentation
Webinaires enregistrés
Analyses en temps réel à l'aide d'Amazon Data Firehose (juin 2017)
L'analyse de journaux est un cas d'utilisation commun du Big Data qui vous permet d'analyser des données de journaux provenant de sites Web, d'appareils mobiles, de serveurs, de capteurs, etc., pour une large variété d'utilisations, par exemple le marketing numérique, la surveillance d'applications, la détection de fraudes, les technologies publicitaires, les jeux et l'IoT. Passer à une analyse de journaux en temps réel peut accélérer l'accès à l'information, ce qui permet d'obtenir des informations exploitables en quelques secondes ou minutes au lieu de plusieurs heures ou jours. Dans cette session, vous apprendrez à ingérer et fournir des journaux sans infrastructure à l'aide d'Amazon Data Firehose. Nous montrerons comment le service géré Amazon pour Apache Flink peut être utilisé pour traiter les données de journal en temps réel afin d'élaborer des analyses réactives. Enfin, nous verrons comment utiliser Amazon Elasticsearch Service pour interroger et visualiser de façon interactive les données de vos journaux.
Objectifs d'apprentissage :
- Comprendre comment concevoir facilement une solution d'analyse des journaux de bout en bout et en temps réel
- Avoir une présentation de la collecte et du traitement des données en temps réel en utilisant Amazon Kinesis
- Apprendre comment effectuer des requêtes de façon interactive et visualiser vos données de journal en utilisant Amazon Elasticsearch Service
Voir l'enregistrement de la séance | Télécharger la présentation
Streaming ETL for data lakes usiné Amazon Data Firehose (mai 2017)
Les lacs de données permettent aux employés de toute l'organisation d'accéder et d'analyser d'énormes quantités de données structurées et non structurées provenant de sources de données disparates, dont la plupart génèrent des données en continu et rapidement. La mise à disposition de ces données en temps opportun à des fins d'analyse nécessite une solution de streaming capable d'ingérer de façon durable et rentable ces données dans votre lac de données. Amazon Data Firehose est un service entièrement géré qui facilite la préparation et le chargement des données en streaming dans AWS. Dans cette conférence technique, nous vous présenterons Firehose et découvrirons en détail comment utiliser le service pour collecter, transformer, traiter par lots, compresser et charger des données en streaming et en temps réel dans vos lacs de données Amazon S3.
Objectifs d'apprentissage :
- Comprendre les exigences clés pour la collecte, la préparation et le chargement de données en streaming dans les lacs de données.
- Obtenir une présentation de la transmission de données en utilisant Firehose.
- Apprendre comment réaliser des transformations de données avec Firehose.
Comment TrueCar peut générer des idées actionnables avec Splunk Cloud
Déménager tout votre centre de données dans le cloud, ce n'est pas simple ! C’est la tâche qui a été attribuée à l’équipe des technologies de plate-forme de TrueCar – et, en corollaire à la recherche d’une technologie de surveillance plus évolutive et de solutions de dépannage qui pourraient augmenter les performances de l’infrastructure et des applications, œuvrer à l’amélioration de la sécurité et des produits. La société a découvert Splunk Cloud sur AWS et l’a déployé en une seule journée ! Dans ce webinaire, vous apprendrez comment TrueCar tire parti des fonctionnalités AWS et des fonctionnalités Splunk pour étudier et contrôler ses données en temps réel.
Avec le webinaire, vous pouvez découvrir comment profiter de l’expérience acquise par TrueCar avec Splunk Cloud sur AWS avec Amazon Data Firehose :
- Historique des transactions et conservation des données supplémentaires
- Meilleure visibilité de la facturation AWS.
- Nouvelles perspectives sur la sécurité et détection des menaces.
Billets de blog
Amazon Data Firehose prend maintenant en charge le partitionnement dynamique vers Amazon S3
par Jeremy Ber et Michael Greenshtein, le 02/09/2021
CloudWatch Metric Streams - Envoie des métriques AWS aux partenaires et à vos applications en temps réel
par Jeff Barr, le 31/03/2021
Diffusez, transformez et analysez des données XML en temps réel avec Amazon Kinesis, AWS Lambda et Amazon Redshift
par Sakti Mishra, le 18/08/2020
Amazon Data Firehose Data Transformation with AWS Lambda
par Bryan Liston, le 13/02/2027
Regarder la diffusion CDC dans un lac de données Amazon S3 en format Parquet avec AWS DMS
par Viral Shah, le 08/09/2020
Les préfixes personnalisés Amazon Data Firehose pour les objets Amazon S3
par Rajeev Chakrabarti, le 22/04/2019
Envoyer des données vers un point de terminaison HTTP avec Amazon Data Firehose
par Imtiaz Sayed et Masudur Rahaman Sayem, le 29/06/2020
Capture de modifications de données dans Amazon Aurora à l’aide d’AWS Lambda
par Re Alvarez Parmar, le 05/09/2017
How to Stream Data from Amazon DynamoDB to Amazon Aurora using AWS Lambda and Amazon Data Firehose
par Aravind Kodandaramaiah, le 04/05/2017
Analyse des journaux de flux VPC à l'aide d'Amazon Athena et d'Amazon QuickSight
par Ian Robinson, Chaitanya Shah et Ben Snively, le 09/03/2017
Démarrer avec Amazon Data Firehose