设为首页加入收藏
电商的“618”营收数据分析难题华为云数据湖探 (来源:利来国标)
作者:利来国标    发布于:2020-06-23 14:24    文字:【】【】【


     

  正值618大促,小张遇到了一个棘手的问题,需要在一周内将公司近1年电商部门的营收和线下门店经营数据进行联合分析。

   数据孤岛:电商部门的数据存在数仓A;门店经营收入数据存在数仓B;如何便捷的进行多仓联合分析?

   PB级数据量:多电商平台+全国线下门店每天将产生TB级数据量,年数据量高达PB级!

  公司现有的资源池可自如应对TB级数据量,而小张要的数据量粗略估计达到了PB级,大大超出了公司现有资源池承受范围,只能以时间为代价导出;而为了不常见场景扩大公司资源池,整体的成本太高。

  面对小张遇到的棘手问题,云湖湖推荐了一款华为云大数据查询分析神器——数据湖探索(DLI)服务;一个DLI即可撬动EB级数据量联合查询,每CU仅需0.35元/小时(1CU=1Core4G Mem),1CU包月仅需150元。

  数据湖探索(DLI)服务 2.0是完全兼容Apache Spark和Apache Flink生态的Serverless大数据计算分析服务,用户仅需使用标准SQL或程序即可查询分析各类异构数据源。

  Spark是用于大规模数据处理的统一分析引擎,聚焦于查询计算分析。DLI在开源Spark基础上进行了大量的性能优化与服务化改造,不仅兼容Apache Spark生态和接口,性能较开源提升了2.5倍,在小时级即可实现EB级数据查询分析。同时,DLI也提供用于实时处理的Flink引擎。

  DLI支持云上多种云服务、自建数据库以及线下数据库,可直接实现多数据源跨库分析,构建企业的统一视图。

  小张将线下数仓A与数仓B同时接入DLI,就可直接在DLI上进行联合查询。避免了两仓数据迁移再重新建仓进行联合查询的过程,轻松搞定跨库查询。

  3. 企业级多租户:支持计算资源按租户隔离,数据权限控制到队列、作业,帮助企业实现部门间数据共享和权限管理

  DLI跨源能力,轻松打破数据孤岛。现已支持10类数据源和线. 日志分析+DLI 2.0:公司必备场景 按量计费成本更低


脚注信息
版权所有 Copyright(C)2009-2015 利来国标(上海)实业有限责任公司