Clients AWS Transfer Family

Dans le domaine des services financiers, il est courant de trouver des serveurs de fichiers de services partagés qui font office de serveur de fichiers SFTP ou de serveur FTP. DXC Technology a abordé la migration de ce type de serveur en utilisant AWS Transfer Family car il n’est pas nécessaire d’installer, de corriger et de maintenir les logiciels de transfert de fichiers et les systèmes d’exploitation, AWS se chargeant de ces activités.

Les serveurs SFTP permettent aux partenaires commerciaux internes de Whole Foods d’accéder au stockage de données, de transférer des données en toute sécurité entre les centres de données sur site et le cloud, y compris les charges de données importantes, et de s’intégrer de manière transparente avec nos partenaires SaaS, notamment Coupa, Workday et Adaptive. AWS Transfer Family nous a permis d’élaborer une solution globale pour transférer en toute sécurité nos données entre nos environnements sur site et dans le cloud, grâce à un service hautement disponible et évolutif.

L’un des défis de la migration de données vers AWS est qu’il faut utiliser les API AWS qui peuvent ne pas être prises en charge nativement par une application ou être moins connues de l’équipe chargée de l’application que les protocoles traditionnels tels que SFTP. AWS a résolu cette limitation en introduisant le service AWS Transfer Family. Il s’agit d’une passerelle SFTP, FTPS ou FTP pour les compartiments S3 ou les systèmes de fichiers EFS, entièrement gérée par AWS et intégrée au service, notamment en ce qui concerne l’accès, les autorisations ou la sécurité.

Nous utilisons SFTP comme méthode sécurisée pour faire entrer et sortir de notre infrastructure des données provenant de partenaires, de fournisseurs de données, d’employés et de clients. Nous gérions auparavant des serveurs SFTP traditionnels dans notre environnement sur site, ce qui constituait un système très volumineux et complexe. Notre ancienne configuration SFTP remplissait son rôle, mais elle n’était pas suffisamment évolutive et l’utilisation de solutions fragmentées au sein de notre organisation entraînait des incohérences, ce qui rendait la gestion pénible et fastidieuse. Pour relever ces défis, nous utilisons désormais AWS Transfer Family dans le cloud, qui nous fournit un support simple, sécurisé, cohérent et entièrement géré pour nos transferts de fichiers vers Amazon S3, qui est flexible et rentable. AWS Transfer Family supprime les frais généraux de gestion de l’infrastructure, est extrêmement rapide à déployer et utilise le système de gestion de l’identité de notre choix (Okta), créant ainsi une plateforme que nous consommons, plutôt qu’une infrastructure que nous devons gérer. Désormais, nous pouvons nous concentrer sur les objectifs fondamentaux de l’entreprise, tels que l’ingénierie et l’analyse des données en aval, plutôt que sur la gestion des serveurs.

Grâce à AWS Transfer Family, Discover Financial Services a pu éliminer les problèmes intermittents auxquels nous étions confrontés avec les solutions précédentes en place pour l’entrée et la sortie des locaux vers AWS. Nous sommes désormais en mesure de respecter les contrats de niveau de service stricts exigés par nos utilisateurs professionnels et de répondre à leurs besoins à plus grande échelle, de manière plus sûre et plus efficace. Le service AWS Transfer Family correspond parfaitement à notre objectif d’excellence opérationnelle.

Avant la migration vers le cloud, le déploiement d’un serveur SFTP prenait des semaines, voire des mois, pour être créé et pleinement intégré à nos systèmes principaux avant de le partager avec nos partenaires. Bien que nous disposions désormais de nombreuses applications natives du cloud, nous avons découvert que les fonctionnalités d’AWS Transfer Family, en particulier AWS Transfer pour SFTP, constituaient un moyen utile et familier d’intégration avec des partenaires existants et nouveaux afin d’échanger des données financières et réglementaires provenant de banques et d’autres sources. Comme AWS Transfer Family fonctionne sur une plateforme gérée, AWS se charge de la majeure partie du travail. Le service AWS Transfer Family est prêt à l’emploi, facile à déployer et offre de nombreux avantages d’un point de vue opérationnel.

Chez Elula, nous traitons d’importants volumes de données provenant d’institutions financières. La capacité à transférer rapidement et en toute sécurité d’importants volumes de données entre les organisations, parfois plusieurs fois par jour, est essentielle pour fournir notre service, qui consiste à proposer des informations riches et des conversations personnalisées, et ce à grande échelle. En tant que start-up, nous nous concentrons sur les éléments qui offrent le plus de valeur à nos clients en un temps record : les prédictions du machine learning, l’IA explicable (XAI) et le traitement sous-jacent des big data. Nous ne voulons pas gérer de centres de données ni de stockage sur site, c’est pourquoi nous travaillons en partenariat avec AWS. Les services AWS nous permettent de fournir un modèle d’intégration d’entreprise sécurisé et évolutif de manière simple. AWS Transfer pour SFTP est simple à utiliser, fiable, entièrement géré par AWS, et nous permet de lancer des serveurs SFTP très rapidement. La collaboration avec les institutions financières exige beaucoup de rigueur, et AWS Transfer pour SFTP nous donne la tranquillité d’esprit de savoir que nos actifs de données sont stockés et chiffrés en toute sécurité à l’aide d’Amazon S3 et ne peuvent être accédés que par le personnel autorisé.

Nous utilisons Amazon S3 comme zone de transit critique, dans laquelle nous conservons des données pour la gestion centrale de notre plateforme de données. AWS Transfer pour SFTP nous a permis de simplifier la sécurité du transit des données des capteurs des sites de nos clients, répartis dans le monde entier, via le réseau de satellites Myriota Network vers Amazon S3.

La sécurité des données est d’une importance capitale pour OpenGamma et ses clients. AWS Transfer pour SFTP permet à nos clients de télécharger des données sensibles sur les portefeuilles et les activités de négociation vers nos services hébergés, avec un chiffrement au repos spécifique au client directement sur Amazon S3 à l’aide d’un chiffrement côté serveur avec des clés gérées par KMS (SSE-KMS) et d’un chiffrement par défaut pour les données en transit. Avant l’existence d’AWS Transfer pour SFTP, nous utilisions un serveur SFTP sur mesure dans un conteneur par client afin de respecter nos normes en matière de séparation logique des données. Notre solution SFTP personnalisée était coûteuse et longue à mettre en place et nécessitait des ressources constantes pour gérer et maintenir le serveur. AWS Transfer pour SFTP fournit un support entièrement géré pour les transferts de fichiers, ce qui nous permet de bénéficier d’encore plus de caractéristiques et de fonctionnalités sans les frais généraux d’exploitation, tout en tirant parti de la sécurité intégrée d’AWS.

Nous recevons de grandes quantités de données provenant d’un large éventail de flux et de sources en raison du volume important de recherches quantitatives que nous examinons. L’ingestion de données dans notre centre de données s’est révélée difficile en raison de la dépendance à l’égard d’autres équipes internes lorsqu’il s’est avéré nécessaire de modifier fréquemment les règles du pare-feu pour contrôler l’augmentation de l’exposition sur Internet. AWS Transfer pour SFTP assure la conversion des fichiers en objets en temps réel, ce qui nous permet de mettre en place une architecture flexible, sans qu’il soit nécessaire de conserver les données localement sur le disque, ce qui se traduit par une réduction des coûts financiers et une amélioration de l’efficacité globale de notre entreprise. AWS Transfer pour SFTP nous permet de transférer des données précieuses dans Amazon S3 afin que nous puissions ensuite les utiliser pour créer des algorithmes permettant de prédire l’avenir en examinant les données passées. En quelques mois à peine, nous avons transféré plus de 400 To de données en tirant parti d’AWS Transfer pour SFTP, qui a été utilisé avec Amazon EMR, AWS Glue et AWS Batch pour traiter et analyser les données afin d’en extraire des informations commerciales encore plus pertinentes.

En tant qu’organisation, FINRA a adopté Amazon S3 comme lac de données pour nous aider à éliminer les silos de stockage, à maintenir une source de vérité des données et à réduire nos frais de gestion de l’infrastructure. Cependant, la gestion d'une infrastructure SFTP pour plus de 1 000 utilisateurs externes effectuant 6 millions de transferts de fichiers par mois était plutôt contraignante. Notre solution a été de créer notre nouvelle plateforme FileX sur AWS, et d'utiliser le nouveau service AWS Transfer for SFTP. AWS Transfer pour SFTP nous aide à réduire notre charge opérationnelle, en conservant S3 comme lac de données tout en assurant une connexion cruciale à nos systèmes d’authentification existants pour nos utilisateurs externes, de façon à ce qu’ils ne subissent aucune perturbation pendant que nous achevons la migration de nos services SFTP sur AWS.

La collaboration avec des partenaires externes est cruciale dans le cadre de nos recherches, et nous devons être en mesure d’échanger des données de façon contrôlée et sécurisée, afin que les tiers ne puissent pas accéder à nos systèmes critiques. Aussi, Amazon S3 étant au cœur de notre gestion des données de recherche, nous ne souhaitions pas acheter et gérer des piles de stockage séparées pour échanger les ensembles de données Select avec nos partenaires. Les avantages de l'adoption d'AWS Transfer for SFTP étaient donc indéniables pour Celgene. Nous pouvons échanger des données de façon sécurisée grâce à AWS SFTP, les diffuser dans notre compartiment Amazon S3 verrouillé et facilement gérer nos utilisateurs externes. AWS SFTP nous a déjà sauvé la mise : un nouveau projet de collaboration a vu le jour en très peu de temps et nous ne disposions pas de stockage sur site à l'échelle du pétaoctet ou d'infrastructure SFTP capable de traiter un tel volume. Nous avons mis sur pied un point de terminaison SFTP en quelques minutes grâce au service, l'avons attaché à notre compartiment et avons été opérationnels en moins d'une heure. Il aurait été impossible de profiter d’une telle rapidité et d’une telle flexibilité dans un environnement sur site traditionnel.

Nous recevons des fichiers multimédias volumineux qui provoquent assez rapidement des expirations de délai de chargement sur les sites Web. Le service AWS Transfer for SFTP nous est d'une grande aide lorsque le cas se présente. Le transfert de fichiers volumineux comme les clips vidéo ou les épisodes de séries TV via une connexion SFTP est sécurisé et performant. Une fois qu’ils sont chargés sur notre compartiment S3, nous pouvons les diffuser à nos partenaires comme agrégateurs sur la chaîne média, mais également les stocker pour de longues périodes dans les différentes classes de stockages Amazon S3.

Nos ingénieurs ont su mettre en place un cadre d’analyse de l’utilisation des clients en temps quasi réel en l’espace d’une semaine. Ce délai est une véritable prouesse, car l'ingestion des enregistrements de statistiques d'appel implique des volumes et fréquences variés, de 3 à 20 Mo toutes les 1 à 10 secondes, et ce tout au long de la journée. AWS SFTP se met à l'échelle sans interruption et met à disposition les fichiers sous forme d'objets S3, ce qui est parfait pour nous. Cela permet une ingestion de données basée sur les événements dans notre data lake. Grâce à son intégration clé en main à S3, IAM et KMS et à sa disponibilité en tant que service entièrement géré, le service était immédiatement aligné à nos stratégies opérationnelles et de sécurité. AWS SFTP est parfaitement adapté à l’ingestion en temps quasi réel de fichiers et constitue désormais la capacité d’ingestion stratégique de notre architecture de données moderne.

De la configuration à l’utilisation, AWS Transfer pour SFTP est une solution simple et fiable de transfert de données avec nos partenaires.

Avant que le service SFTP d’AWS ne soit disponible, nous gérions seuls une solution SFTP sur le cloud et nous rencontrions de nombreux problèmes. Il existe des projets open source de montage Amazon S3 sur Amazon EC2, mais la gestion de ces projets open source et l'obtention de bonnes performances n'étaient pas choses aisées. Aussi, nous avions des problèmes de mise à l'échelle lorsque davantage de ressources étaient nécessaires. Lorsqu'AWS a annoncé le service AWS Transfer for SFTP entièrement géré, nous l'avons de suite adopté. Nous avons migré notre configuration « maison » vers AWS Transfer for SFTP et n'avons plus eu besoin de gérer la mise à l'échelle ou un quelconque projet open source. En outre, pour ce qui est des coûts, nous n’avons plus à payer pour des ressources inexploitées.

Notre studio de télévision utilise un encodeur en direct sur site, qui n’est pas intégré aux services multimédias AWS. Nous avons déterminé que notre encodeur peut envoyer et supprimer les fichiers encodés en utilisant le protocole FTP, et nous avons donc initialement construit une installation FTP autogérée pour répondre à ce besoin. Nous avons encouru des coûts très élevés pour créer et déployer cette solution autogérée et nous avons rencontré de nombreuses difficultés de mise à l’échelle et de connectivité entre notre studio et le FTP, ce qui a entraîné des problèmes pour notre diffusion en direct, avec pour conséquence une expérience négative pour nos clients. Après l’annonce de la prise en charge du protocole FTP par AWS Transfer Family, nous avons rapidement modifié notre configuration pour adopter ce service AWS entièrement géré. Nous avons fortement sollicité le service afin de pouvoir diffuser plusieurs chaînes de diffusion en direct, mais depuis que nous avons opté pour AWS Transfer Family, nous ne rencontrons plus de problèmes de connectivité, notre diffusion en direct fonctionne parfaitement et l’expérience de nos clients s’est grandement améliorée. AWS Transfer Family est un service extrêmement stable et fiable qui nous fait gagner beaucoup de temps et d’argent tout en modernisant nos flux de transfert de fichiers.

Nous avons transféré nos charges de travail EDI vers AWS parce qu’AWS Transfer Family a élargi sa gamme de produits pour inclure AS2, qui reste la norme dominante en matière d’EDI. L’année dernière, nous avons commencé à développer notre produit de nouvelle génération, RapidMap, et nous avons effectué une analyse du secteur pour déterminer comment nous devions aborder les intégrations. Nous avions l’intention de créer notre propre service AS2, mais nous avons découvert les capacités AS2 entièrement gérées et natives du cloud de Transfer Family. AS2 de Transfer Family nous a permis de nous concentrer sur l’élaboration de la solution RapidMap, en réduisant considérablement les tâches de cartographie, de test et de connectivité nécessaires à la mise en place d’une chaîne logistique. Nous avons réorienté nos ressources vers la création d’outils en libre-service pour les utilisateurs professionnels, leur permettant d’effectuer des opérations techniques autrefois réservées aux développeurs, car Transfer Family nous a permis de réduire les délais d’intégration de plusieurs mois à quelques semaines.

En tant que société de conseil en services professionnels axés sur la technologie et opérant dans le secteur de la chaîne d’approvisionnement et de la logistique, nous sommes confrontés quotidiennement à de nouveaux défis. Cependant, les entreprises qui échangent des données avec leurs partenaires commerciaux ne devraient pas en faire partie. Les clients souhaitant désormais bénéficier d’une solution fiable, entièrement hébergée et gérée fonctionnant dans un cloud privé et sécurisé, nous avons choisi AWS Transfer Family pour leur fournir une solution clé en main entièrement gérée pour les transferts de fichiers SFTP et les échanges de messages AS2. Transfer Family fournit des capacités de transfert de fichiers gérées, sécurisées et fiables, qui nous permettent de répondre aux besoins d’intégration de données en constante évolution de nos clients. En adoptant AWS Transfer Family, nous avons pu faire économiser à nos clients en moyenne 15 % de frais d’installation et réduire notre temps de test d’intégration de 20 % en moyenne, tout en les aidant à obtenir une visibilité de bout en bout de la chaîne d’approvisionnement.

Redpack est un fournisseur logistique international proposant des services d’expédition mondiaux et des solutions de livraison au dernier kilomètre dans toute l’Amérique latine. Nous utilisons les fonctionnalités AS2 d’AWS Transfer Family pour envoyer des avis d’expédition et des confirmations lors de la livraison de colis. Nous utilisons également la solution AS2 de Transfer pour échanger des factures numériques et des documents de facturation avec notre réseau mondial de partenaires de services de livraison. Les capacités de Transfer Family sont conformes aux directives des partenaires de distribution d’Amazon et nous fournissent les communications interentreprises essentielles dont nous avons besoin pour livrer plus de 95 % des colis à temps dans les 24 heures.

Notre société SaaS mondiale s’appuie sur le SFTP pour le transfert sécurisé des données entre nos applications et infrastructures mondiales. Pour améliorer l’accessibilité pour nos partenaires, nous adoptons les applications Web AWS Transfer Family, qui fournissent un portail Web sécurisé et convivial avec des méthodes d’authentification modernes telles que l’authentification multifacteur. En tirant parti des applications SFTP et Web de Transfer Family, nous pouvons rationaliser les processus de transfert de données et améliorer l’efficacité, ce qui nous permet de mieux nous concentrer sur la création de valeur pour nos clients.

ScaleCapacity nous a aidés à créer un environnement SFTP sans serveur sur AWS qui est nettement moins cher que ce que nous avions auparavant. Cela nous coûte quelques centaines de dollars par mois, alors que d’autres solutions gérées auraient facilement pu nous coûter jusqu’à 100 000 dollars par an.