亚马逊云科技发布两项新功能帮助客户迈向Zero-ETL未来

亚马逊云科技发布了两项新的集成功能,使客户可以更轻松地连接和分析多地存储的数据。其中,AmazonAurorazero-ETL与AmazonRedshift集成的功能助力客户实现近乎实时地分析PB级交易数据,无需自定义数据管道。面向ApacheSpark的AmazonRedshift集成功能让客户可以更快更轻松地通过ApacheSpark应用程序访问到Redshift上。

亚马逊云科技的分析和机器学习服务(例如AmazonEMR、AmazonGlue和AmazonSageMaker)也可在AmazonRedshift的数据上轻松运行ApacheSpark应用程序。这两项新功能帮助客户迈向一个"Zero-ETL的未来",减少在不同服务间手动迁移或转换数据的工作。

在实现数据最大化价值的过程中,客户需要使用一系列专门构建的工具。亚马逊云科技提供了如AmazonAurora和AmazonRedshift等工具在PB级数据上运行高性能数据仓库和分析工作负载,并统一了各种数据。同时,基于Zero-ETL理念的AmazonAuroraML和AmazonRedshiftML让客户在机器学习用例中受益于AmazonSageMaker的功能,而无需在不同服务间迁移数据。

再次强调,数据是所有应用程序、流程和业务决策的核心,亚马逊云科技确保可以从流式服务向广泛的数据存储服务无缝注入数据,助力客户及时分析数据。此次发布的新功能会助力客户更快、更轻松、更经济高效地访问和分析存储在亚马逊云科技上的数据。

SwamiSivasubramanian作为亚马逊云科技数据库、分析和机器学习副总裁表示:"确保客户能够使用正确的工具完成工作,对于他们的企业成功非常重要。我们的新功能帮助我们的客户专注于分析数据,面向业务获取新的洞察。"

可以看到,亚马逊云科技持续为客户提供更优秀的数据分析工具,并助力企业实现数字化转型。

当前,许多企业用以分析交易信息的解决方案分为三部分:用关系数据库存储数据,用数据仓库分析数据,并用数据管道在关系数据库和数据仓库之间提取、转换和加载(ETL)数据。数据管道的构建成本昂贵且难以管理,需要开发人员编写自定义代码,并且需要持续管理基础架构,以确保其随需扩展。一些公司甚至需要投入整个团队来完成这项工作。此外,用这种方式准备数据可能需要几天的时间,而且间歇性的数据传输错误会影响客户获得有价值的见解,甚至可能错过商机。

使用Amazon Redshift集成的Amazon Aurora zero-ETL功能,交易数据在写入Amazon Aurora后的几秒钟内可以被自动复制,使其在Amazon Redshift中即可使用。一旦数据在Amazon Redshift中可用,客户就可以立即开始分析数据,并且应用数据分享和Amazon Redshift ML等高级功能获得全面的预测性见解。客户可以将数据从多个Amazon Aurora数据库集群复制到同一个Amazon Redshift实例中,以获得更深入的见解。因此,客户可以使用Amazon Aurora支持的交易数据库需求,使用Amazon Redshift进行分析,无需构建或维护复杂的数据管道。

面向Apache Spark的Amazon Redshift集成功能可帮助客户使用亚马逊云科技的分析和机器学习服务更快、更轻松地在Apache Spark应用程序中访问Redshift上的数据。

许多开发人员使用Apache Spark(一种用于大数据工作负载的开源处理框架)来支持各种分析和机器学习应用程序。当前,亚马逊云科技支持在Amazon EMR、Amazon Glue和Amazon SageMaker上运行Apache Spark,完全兼容,而且比开源版本具有优化后的运行时间快3倍。客户通常希望直接从这些服务中分析Amazon Redshift中的数据。他们需要经历查找、测试和认证第三方连接器的复杂且耗时的过程,以便在他们的环境和Amazon Redshift之间读取和写入数据。即使找到了连接器,客户也必须管理中间数据暂存位置(如Amazon S3),以便从Amazon Redshift中读取和写入数据。所有这些挑战都增加了操作的复杂性,使客户难以充分利用Apache Spark。

面向Apache Spark的Amazon Redshift集成功能可让开发人员轻松使用亚马逊云科技支持的分析和机器学习服务,在Amazon Redshift中构建和运行Apache Spark应用程序。该集成功能是由亚马逊云科技认证、打包和支持的,消除了与第三方连接器相关的繁琐和容易出错的过程。开发人员可以使用流行的语言框架(如Java、Python、R和Scala),在几秒钟内从基于Apache Spark的应用程序中查询Amazon Redshift数据。中间数据暂存位置是自动管理的,客户无需在应用程序代码中配置和管理这些位置。

从个人和小型企业到政府机构和全球品牌,Adobe使每个人都能创造和交付卓越的数字体验。"Adobe的使命是通过数字体验改变世界,在当今世界,这意味着拥有能够提供深刻和实时洞察的分析工具。" Adobe Acrobat Sign首席科学家Jack Lull表示,"作为Amazon Aurora的客户,我们非常欢迎Amazon Redshift集成的Amazon Aurora zero-ETL功能。"

对于我们不断扩大的AcrobatSign客户群,它将为我们提供全新的认知和更迅速的分析能够,以与他们的使用量同步增长,而这一切都无需我们的团队做日常维护。

Infor是商业云软件和特定行业ERP解决方案的惟一领导者。在Infor,我们使用亚马逊云科技建立和展开现代化的工具,以帮助用户转型其业务并促进创新,这些工具包括我们最新提供的面向行业的云数据托管数据仓库服务,以协助用户透过先进的分析和机器学习迅速决策。

Infor云服务高级副总裁JimPlourde表示:"我们很高兴使用AmazonRedshift整合的AmazonAurorazero-ETL功能,这能让我们从AmazonAurora中准实时地获取交易数据来提高我们的运营能力。现在,我们既可以受益于AmazonAurora用作关系数据库管理系统的性能,也可以轻松地利用AmazonRedshift的分析和机器学习能力来提供新的数据仓库服务。"

高盛集团是一家领先的全球金融机构,专为庞大而多元化的客户群体,包括企业,金融机构,政府和个人提供广泛的金融服务,例如投资银行、证券、投资管理和消费者银行业务等。

高盛首席数据官NeemaRaphael表示:"我们着力于为高盛内所有用户提供自助式数据访问。在金融服务行业中开展协作时,我们可以通过开源数据管理和治理平台Legend协助用户开发以数据为中心的应用程序,以获取数据驱动的认知。"

"由于面向ApacheSpark的AmazonRedshift集成功能,我们的数据平台团队可以通过最小化的定制化操作访问AmazonRedshift数据,实现零代码ETL,从而更有能力在工程师收集完整及时的信息时,让他们更加关注完善其工作流。因为我们的用户现在可以轻松访问AmazonRedshift中的最新数据,我们将能实现更高的应用程序性能和更强的安全性。"