【IT168 资讯】2017年10月19日-21日，一年一度的中国系统架构师大会(SACC)再度盛装来袭。作为国内最负盛名的架构师盛会，SACC 2017云集了百余位国内外的优异专家，围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域进行思维碰撞和技术交流。
在10月19日下午的《大数据平台架构技术实践(上)》的专场中，安排了六个主题演讲分别是：滴滴大数据平台负责人罗李带来的“滴滴大数据离线及实时平台架构和实践”、知乎数据平台负责人王雨舟带来的“知乎大数据平台架构和实践优化”、腾讯云托管hadoop服务平台技术负责人陈龙带来的“云+时代大数据平台方案”、百度云研发技术经理郭江亮带来的“百度云“天算”大数据平台的架构发展之路”、网易对象存储团队负责人孙建良带来的“网易新一代对象存储引擎NEFS”、数美科技技术总监关涛带来的“实时大数据架构在风控中的实践”、的分享。
滴滴大数据离线及实时平台架构和实践
▲滴滴大数据平台负责人罗李
首先为大家介绍下今天下午第一位做主题演讲的嘉宾，滴滴大数据平台负责人罗李，滴滴大数据架构部技术研究员，负责滴滴大数据架构部的技术工作和团队管理工作。前阿里巴巴云梯团队创始成员和阿里云ODPS管理平台北京团队负责人。开源大数据系统参与者和爱好者，分布式内存文件系统Alluxio PMC，committer。
今天带来《滴滴大数据离线及实时平台架构和实践》的主题分享，主要介绍了滴滴的大数据平台，包括3大平台架构体系，分别是实时平台架构体系、离线平台架构体系、HBase平台架构体系等大数据基础设施和基础平台的技术积累和应用实践。同时也会介绍滴滴的数据治理体系，数据全链路建设，以及这些基础建设怎么样为滴滴的线上业务服务等方面的实践经验和积累分享。
据罗李介绍，滴滴大数据架构部的团队成立不久，才一年多，部门职责主要包含以下几点：
滴滴大数据实时和离线计算平台基础设施;
存储和计算引擎的版本开发升级和维护(hadoop/hive/spark/flink/druid/hbase/phoenix/Alluxio);
离线&实时平台集群的开发，管理，维护，调优，升级;
提供离线&实时开发平台，调度系统，管理平台和数据分析平台;
服务所有滴滴对内数据业务。
在演讲最后，罗李也不免俗，植入招聘广告，他说：“我们非常的缺人，欢迎大家一起来做事”。想去滴滴的朋友可以去试试。
知乎大数据平台架构和实践优化
▲知乎大数据平台负责人王雨舟
接下来为大家介绍下今天下午第二位做主题演讲的嘉宾，知乎大数据平台负责人王雨舟，前豌豆荚高级研发工程师。主要负责知乎的数据平台架构设计、数据仓库、可视化分析、数据在业务落地，增长实验等相关工作。
今天带来了《知乎大数据平台架构和实践优化》的主题分享，知乎，很多人印象中是一个提问和回答的社区，王雨舟说，虽然我们不是一个非常大的公司，但我们有很多的挑战和机遇，目前数据平台现在就5个人，人是不多，但技术做的还可以。
据介绍，知乎注册用户数已经破亿，全站DAU达2600万，提问量达1900万，回答量7100万，月浏览量180亿。知乎如今的功能已经越来越多样化，本身业务也在不断变多。王雨舟的演讲内容主要分享了知乎的数据平台团队，如何用通用化的能力去解决业务多样的需求。
王雨舟首先介绍了知乎的平台架构，分别是：数据采集、数据存储、数据计算、数据应用。在应用方面，重点介绍通用的数据可视化分析平台，包括多维分析、留存分析、数据导入等功能，以及该平台和数据仓库整合后，如何快速方便地搭建具体业务线的指标体系、数据报表，大盘概览等。最后谈到了知乎大数据平台的规划和对未来的思考。
云+时代大数据平台方案
▲腾讯云托管hadoop服务平台技术负责人陈龙
接下来为大家介绍下今天下午第三位做主题演讲的嘉宾，腾讯云托管hadoop服务平台技术负责人陈龙，2011年加入腾讯，Hbase社区贡献者，目前为腾讯云托管hadoop服务平台(EMR)技术负责人,主导设计并开发了腾讯云云缓存redis主从版、云数据库Hbase、以及公有云托管hadoop大数据平台(EMR)负责人。
今天带来了《云+时代大数据平台方案》的主题分享，随着IT架构的不断演进，云计算必定会成为未来所有IT应用的基石，而大数据作为数据应用分析的基础技术未来将会变的越来越重要，大数据为人工智能提供基础物料，为企业决策者提供数据支撑，但是另一方面大数据的高成本和高门槛也让普通企业望而生畏，在一切基础技术服务化的今天，大数据如何高效利用云计算的海量计算资源，如何利用云的弹性以达到降低成本从而实现数据价值最大化和成本最小化，同时大数据服务化让所有企业都享受到大数据和云计算的红利等这些方面面临着不小的挑战，这些问题以及解决措施，陈龙在本次演讲中给出腾讯云在云+时代和大数据应用的一些实践经验。
百度云“天算”大数据平台的架构发展之路
▲百度云研发技术经理郭江亮
接下来为大家介绍下今天下午第三位做主题演讲的嘉宾，百度云研发技术经理郭江亮，在百度基础技术体系工作接近8年，具有丰富的大规模分布式系统、云端大数据/AI系统的设计和实践经验 ，现在具体负责百度云天算大数据、深度学习平台、AI一体机等相关产品的技术研发工作。
今天带来了《百度云“天算”大数据平台的架构发展之路》的主题分享，主要介绍百度云大数据的技术发展路径、产品演变思路，尤其是当前人工智能背景下带来的新机遇和新的技术挑战，包括大数据与深度学习的结合、云上的深度学习平台、ABC一体机的设计与实现等。
网易新一代对象存储引擎NEFS
▲网易对象存储团队负责人孙建良
今天下午第五位主题演讲嘉宾是来自网易对象存储团队负责人孙建良，毕业于华中科技大学，2010考研加入“华中科技大学信息存储及应用实验室”，进行存储方面学习和研究工作，2013年正式加入“网易”，在杭州研究云计算部门负责对象存储研发工作。
今天带来了《网易新一代对象存储引擎NEFS》的主题分享，网易第一代分布式对象存储系统在2006年，最初主要用于支撑网易的邮箱和互联网业务。但是随着数据量不断增大，原有系统在系统架构和整体设计上不足以去支撑不断膨胀的业务和数据。主要体现在数据可靠性、存储成本、运维难度、性能等各个方面。
2014 网易开始规划新一代对象存储引擎，经过调研团队认为在开源领域没有足够合适的对象存储系统能够满足未来5～10年的发展，所以基于自身原有支撑系统之上，博取众长，从0开始构建能够理想中适合自身的对象存储系统; 本次演讲，是网易首次公开分享新一代对象存储引擎的关键设计点，比如 * 设计目标 * 系统架构 * Put、Get、Delete * 一致性协议 * 垃圾回收 * 数据放置、数据恢复、数据可靠性 * 大规模存储的物理部署 * EC纠删代码 * 等等。
实时大数据架构在风控中的实践
▲数美科技技术总监关涛
今天专场最后一个主题演讲嘉宾是来自数美科技技术总监关涛，目前负责数美基础架构的研发工作，主要设计和研发了基于大数据的实时画像引擎，优化实时反欺诈，实时金融风控系统。曾经担任腾讯高级搜索研发工程师，乐视搜索索引、推荐系统研发负责人，拥有八年的超大规模大数据研发经验、数据挖掘等方面的产品技术经验，共有10余项搜索、推荐、大数据相关专利。
今天带来了《实时大数据架构在风控中的实践》的主题分享，该主题主要介绍了数美在大数据风控中的实践，重点介绍了基于大数据的实时规则引擎，大数据在线实时学习系统，实时画像引擎等，重点解决了互联网时代大数据风控面临的数据量大，反应慢，处理不及时的痛点。
