联系方式 Contact Us
www.svibedu.com
028-87409888
成都市青羊区黄田坝
新闻动态  |  News
手撕弹性大数据云分析平台看了都说好!
作者:澳门皇冠    来源:皇冠体育    2020-01-14 23:29

  大数据和大数据分析成为时下企业关注的焦点,大数据分析平台正在从企业的高配变为标配,是企业实现“一切业务数据化,一切数据业务化”目标的基础平台。

  本期《大咖来了》邀请了阿里云智能高级解决方案架构师鲍远松,分享主题为《零门槛构建弹性大数据云分析平台》,过程中对大数据分析平台建设进行阶段划分,并对每阶段进行了详尽的阐述。

  如下图,为大数据分析平台建设的四个阶段,分别是自建、云托管、云服务和云原生。

  周期长:整个建设周期特别长,涉及机房选择、硬件采购、集群部署、测试调优、数据服务、运维管理等诸多环节。

  成本高:成本分为两类,一类是服务器、存储、网络、运维、IDC 等显性成本,另一类是业务影响、资源闲置、弹性扩容、一次性资金投入等隐性成本。这些成本的投入是确定的,但产出却是未知的。

  门槛高:近些年大数据技术蓬勃发展,数据集成、数据存储、分析计算及数据作业每个维度都有很多细分的技术,任何一个技术都需要投入专人进行深入研究,对于普通企业来说人才门槛很高。

  见效慢:大数据分析平台需要自始至终不断地进行迭代和修正,直至数据质量符合预期,数据分析结果可信,才能真正达到极致弹性性能、高可靠、多场景应用的效果。

  大数据技术趋于成熟,企业不再聚焦于大数据技术本身,而是需要一批具有大数据技能的人来做大数据的开发。

  自建大数据分析平台通常是基于开源 Hadoop 平台,而云托管是把自建开源 Hadoop 平台转化为企业级、标准型大数据分析平台,具备统一集群管理、完备的监控报警、计算与存储分离、弹性扩容、按需构建、数据安全、低门槛运维、丰富云生态对接等优势。

  EMR 提供了基础资源、平台管理、数据存储、数据集成、计算引擎、数据使用和作业管理等平台能力,对于所有组件都提供了完备的监控报警,任何组件异常都可以第一时间做报警并且通知到用户,同时基于平台提供了智能的运维管理、调度等功能。

  接下来我们从基础设施、运维管理、云生态等角度,详细了解下云托管的部分优势。

  首先,云上有丰富的产品规格族,阿里云整个虚拟机分为通用计算、异构计算、裸金属&高性能计算三大类,每一类满足不同的场景,可以快速构建不同场景下的大数据分析平台。

  其次,利用云的弹性,计算和存储资源可以进行独立扩充,满足业务高峰期或业务对极致性能的追求的同时,还可以灵活的按需构建。

  最后,云上构建大数据分析平台在成本上可以做大量优化,可以根据业务特性灵活选择购买方式,如通过 Spot Instance 大幅降低计算节点的成本。

  运维整个大数据分析平台非常复杂,需要专业的人才和大量的投入。从基础运维到管理运维,再到组件运维,云厂商提供了多维度运维能力。

  基础运维:云厂商借助自身大规模服务器运维经验构建 AlOps 系统,可以提前对硬件做检测分析、发现故障后快速进行主动运维,减少对业务的影响。

  管理运维:EMR 实现一键部署、开箱即用,还提供统一的配置管理、平台状态监控和故障报警等功能。

  组件运维:组件运维是大数据分析平台最复杂的部分,当进行版本升级时,由于组件之间存在着千丝万缕的关联,保证兼容是重中之重。

  组件运维还有一个很重要的点就是性能优化,云厂商会结合自身云计算优势对底层基础设施进行优化,对内核引擎进行优化,帮助开源组件提升性能。

  底层存储在云上可以提供 OSS 对象存储、HDFS 存储,HDFS 存储可以直接去无缝访问 OSS 对象存储,与访问 HDFS 文件没有任何差别,这样一来,就可以灵活的进行数据归档和成本调优。

  在数据源方面, 支持 OSS、SLS、RDS、消息队列等服务作为数据源;在计算引擎方面,云上 EMR 平台可与 MaxCompute、Flink、Tensorflow 引擎进行打通。

  在融合方面,云上提供 DataWorks 服务,通过 DataWorks 可以把 Hadoop 整个上层元数据的管理、数据质量管理进行统一。

澳门皇冠

澳门皇冠 中航工业成都澳门皇冠电子股份有限公司版权所有  澳门皇冠,皇冠体育   沪ICP备08010729号-2
地址:成都市青羊区黄田坝   网站地图  技术支持:皇冠体育