Google宣布CloudDataflowSDK的开放源代码可用性

2021-05-21 07:47:39
导读小编这个字眼最开始还是在言情小说的杂志上面,那种读者回复的时候,才会有作者使用小编这个字眼自称,但是近期有关于Google宣布CloudDataf

小编这个字眼最开始还是在言情小说的杂志上面,那种读者回复的时候,才会有作者使用小编这个字眼自称,但是近期有关于Google宣布CloudDataflowSDK的开放源代码可用性是的消息挺多人想知道的,跟着小编一起来看看吧!

Google使软件开辟人员更容易编写应用程序并将其与其Cloud Dataflow托管服务集成,以处理大型数据集。该公司于12月18日向开源社区公布了一个用于Cloud Dataflow的Java软件开辟套件,该套件描述为旨在推动环绕该技术的应用程序开辟的工作。

Google软件工程师Sam McVeety在博客中表示,将SDK开源后,其想法还在于帮助开辟人员将Cloud Dataflow移植到其他语言和其他服务执行环境。

McVeety写道:“可重用的编程模式是提高开辟人员效率的关键因素。” 他说:“ Cloud Dataflow SDK引入了用于批处理和流数据处理的统一模型”,开辟人员可以通过创新的新方式加以利用。

McVeety说:“我们期待着共同构建一个系统,该系统能够为所有背景的用户提供分布式数据处理。”

谷歌在6月的Google I / O会议上宣布了Cloud Dataflow,这是一项托管服务,可帮助企业实时和以批处理方式提取和分析大量数据集。

该公司将 Cloud Dataflow 描述为基于MapReduce的技术以及Flume和MillWheel等最新技术,Google在内部使用了所有这些技术来分析真正的海量数据存储。

通过整合所有这些技术的要素,Google希翼提供一种数据处理服务,从而使公司能够灵便地对大型数据集进行批处理分析,以及对流进数据库的数据进行近乎实时的分析。它还将使公司能够摄取数据并分阶段存储数据,以供其他分析工具和服务(例如Google自己的BigQuery)使用。

对于希翼从大数据中猎取业务价值的公司而言,这种功能至关重要。云服务,移动设备和传感器技术的激增使企业可以从无数来源收集越来越多的数据。挑战向来是追寻一种方法来组织和治理数据,从而从中猎取业务价值。

亚马逊是最大的云服务提供商之一,已经提供了一项称为Kinesis的托管服务,该服务类似于Google计划通过Cloud Dataflow推出的服务。亚马逊将Kinesis视为一项用于大规模实时处理流数据的服务。它旨在作为一项服务来帮助公司捕获,存储和分析从在线交易,Web日志,社交媒体源和移动设备中提取的TB级数据。

借助Cloud Dataflow,Google希翼能够为开辟人员和企业提供类似的功能。McVeety在他的博客文章中指出:“数据的价值在于分析-以及分析所产生的情报。

“随着数据集变得庞大并分布在不同的存储系统中,将数据转换为智能可能会非常具有挑战性。此外,对实时分析的需求不断增长,从数据集提取价值的障碍也对开辟人员构成了巨大的挑战,”他说。

感谢阅读,以上就是Google宣布CloudDataflowSDK的开放源代码可用性的相关内容。希望由于本网站的编辑为大家整理的这篇内容能够解决你的困惑。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。