大数据频道 频道

荣之联大数据平台Data Zoo,有点儿不一样。

  【IT168 资讯】2017年10月21日下午,以“云智未来”为主题的第九届系统架构师大会圆满落幕。

  在20日下午的大数据平台架构专场(下)中,荣之联大数据平台产品Data Zoo吸引了不少目光,因为与其他大数据平台产品相比,它有点不同。

  来自荣之联架构师王苹以《荣之联大数据平台的应用实践》为主题,从案例入手,系统阐述了Data Zoo大数据平台产品架构、优势以及不同。

荣之联大数据平台,有点儿不一样。▲荣之联架构师王苹

  王苹首先为我们展示了荣之联大数据平台的三个应用案例,分别是:某商务中心大数据中心建设案例、证券交易日志分析案例和工业物联网大数据平台案例。

  据王苹的介绍,在某商务中心大数据中心建设案例中,由于业务数据不断增长,面临业务系统性能下降、运算速度缓慢、系统支撑能力面临增长瓶颈以及非结构化数据缺乏管理等问题。荣之联根据客户需求对结构进行了如下改进:

荣之联大数据平台,有点儿不一样。

  为构建大数据平台后,客户拥有处理更大数据量、更复杂格式、更多样化数据的能力;加速数据采集、使用和分析的时间,更快决策;效果是明显的,从处理数据量看,过去一个月1-1.3亿条数据,即10-13Gb,原来的处理+计算需要5个小时,现在需要2个半到3小时。

  而在分享的3个应用案例中,其核心则是荣之联自主研发的大数据平台DataZoo。DataZoo是荣之联以hadoop为基础,并结合行业特性构建的大数据平台产品,虽然基于Hadoop但已经不仅仅只是Hadoop,因为它还被赋予了 “心脏”和“四肢”。

荣之联大数据平台,有点儿不一样。

  从DataZoo公布的架构图看,DataZoo将hadoop生态层作为平台的基础层,并集成了开源社区Hadoop、Hive、HBase、 Spark、Zookeeper、Kafka、Flume、 Sqoop等核心项目。

  “心脏”指的是荣之联开发的五大引擎:批处理、实时流处理、多维搜索、图计算与数据挖掘,五大引擎涵盖了大数据应用的各方面场景。而“四肢”则是荣之联在5大引擎之上提供的4大工具套件,涵盖了从数据采集清洗转换、数据分析与挖掘到数据可视化的数据分析生命周期全方面能力。工具的作用是提升效率,这将大大缩减了应用实施的周期。看起来DataZoo平台通用能力似乎还不错。

  值得一提的是其中多维搜索引擎,具有高性能查询与分析特性,是从荣之联行业案例中孵化而来,对索引机制进行了增强,具有亿万数据规模下秒级的响应性能。

0
相关文章