海量数据时代到来 看亚马逊云科技如何点“数”

随着云计算、大数据、人工智能等新一代信息技术的快速发展，人类社会进入了数字经济的新时代。

这一时期，数据作为一种新的生产要素，在经济活动中发挥了举足轻重的作用。 《经济学人》2017 年发表的封面文章表明，数据已取代石油成为当今世界上最有价值的资源。

如何挖掘海量数据背后的价值？

6月24日，亚马逊云技术智慧湖仓媒体交流会在北京召开。会上，亚马逊云科技全面展示了数据和数据分析领域的最新业务发展，以及亚马逊云服务智能仓库架构如何帮助企业充分挖掘数据价值，推动数字化转型的最新成果。

近年来，数据量呈指数级增长。根据国际数据公司（IDC）发布的《数据时代2025》白皮书，预计到2025年，全球数据信息总量将达到163ZB。

其实，虽然数据很多，但其价值密度很低。需要对其进行分析和过滤才能获得真正有价值的信息。然而，在挖掘数据价值的过程中，企业面临着多重挑战。这些挑战主要来自三个方面：

1. 数据呈指数级增长。数据规模从之前的GB、TB、PB上升到EB级别，数据结构从结构化到非结构化再到半结构化。

2、更复杂的使用场景。一方面，细分了分析场景，无论是传统的数据仓库/基于云的数据仓库结构化的极致性能，还是目前广为接受的分布式计算的大数据处理框架，或者是使用用于日志分析的 Amazon Elasticsearch；另一方面，复杂的应用场景也意味着企业正在走向数据驱动。不仅决策者、数据开发工程师、数据分析师，甚至数据科学家都会用数据做机器学习，在人工智能场景中做推理。

3. 基于实时数据的快速决策。早期，数据仓库根据历史报表做出决策，需要几天时间，但现在的业务和场景会推动决策更快做出，即使是在一些实时流分析中。

针对此，亚马逊云科技推出了“智慧湖库”架构。亚马逊云技术的“智慧湖仓”架构是基于亚马逊的？简单的？贮存？服务（Amazon?S3），并通过商业智能数据服务，包括数据仓库、机器学习、大数据处理、日志分析等，同时利用Amazon?湖？编队，亚马逊？胶水，亚马逊？雅典娜，亚马逊？红移？ Spectrum 等工具实现数据湖的建设、数据的移动和管理等，帮助用户尽可能地实现数据的价值最大化。

据亚马逊云科技大中华区云服务产品部总经理顾凡介绍，亚马逊云科技“智慧湖库”架构的五个优势：

一、灵活扩展，安全可靠

作为架构的基础组件，Amazon S3的数据持久性为99.%（11个9s），可用性可以跨越3个可用区进行数据复制，扩展性可以达到EB级。更重要的是，它还具有安全性、合规性和审计功能。

二、特殊构造，极致性能

任何技术都会有自己的优缺点，所以没有单一的技术，在功能和扩展性上，一个产品可以称霸世界。为了满足用户不同的数据分析需求，亚马逊云科技提供全面深入、特制的数据分析服务，为客户提供极致性能。

三、数据融合、统一治理

在顾凡看来，在未来的智慧湖库架构中，数据会在各个点之间移动，其移动可以概括为五种方式，即提取、转换和加载、数据准备可视化、数据复制、数据仓库出入库数据湖，联合查询。

亚马逊云技术“智慧湖仓”架构，不仅打通了数据湖和数据仓库，还进一步将数据湖、数据仓库等所有数据服务集成为一个统一连续的整体，减少了数据集成和数据共享。安全控制和数据治理的难度。

四、敏捷分析、深度智能

如何实现数据基础设施的现代化，如何真正从数据中产生价值，如何更好地通过机器学习驱动决策，成为企业在处理数据时面临的主要难点。亚马逊云技术无缝集成数据、数据分析服务和机器学习服务，为客户提供更智能的服务。

五、拥抱??开源，开放共赢

亚马逊云技术“智慧湖仓”架构中的关键组件，如亚马逊？ EMR，亚马逊？弹性搜索？服务和亚马逊？ MSK，基于开源代码。该接口完全兼容开源，无需更改任何代码即可实现。迁移还兼容主流管理工具。 OpenSearch 基于开放授权，用户可以自由查看、使用和更改。

"亚马逊云技术智慧湖库不是产品，而是架构。这个架构是为了应对未来更多年数据的多维挑战；智慧湖库不仅仅是连接湖泊和仓库，还可以在湖泊、仓库和专门构建的服务之间进行按需和无缝移动。”顾凡说道。

文章来源：《中国科技信息》 网址: http://www.zgkjxx.cn/zonghexinwen/2021/0710/2233.html