大数据 频道
  • 张翼:Spark SQL在携程的实践经验分享!

    之前,大多数公司大数据的数仓都是构建在Hive上的,数据开发的ETL任务以及用户对于数据的即时查询主要使用的工具也是Hive,随着Spark以及其社区的不断发展,Spark及Spark SQL本身技术的不断成熟,Spark在技术架构和性能上都展示出Hive无法比拟的优势,如何使用Spark构建大数据的数仓?如何将现有的数仓平台从Hive转到Spark上?

    赵钰莹 · 2018-11-29 09:172
  • 网易马进:DDB从分布式数据库到结构化数据中心的架构变迁

     分布式数据库DDB是网易研发最早的分布式系统,过去十几年来一直为网易各大互联网产品提供稳定透明的分库分表服务,四年前我们推出了私有云DDB,为开发和运维人员在使用DDB和弹性伸缩上提供了极大便利。现今随着网易内外部应用的网络环境更加复杂,应用场景日益繁多,对DDB的易用性,平台化,面向机房和多租户的解决方案提出更多需求和挑战,这次分享将带大家一起见证DDB在向结构化数据中心进化过程中的思考和架构变迁。

    刘美利 · 2018-11-14 18:2143
  • 数据海洋可视化,Splunk平台价值实现

    我们身处数据爆发时代,世界正从IT走向DT。在移动互联网、云计算和大数据的穹顶之下,IT运维管理被赋予了更多信息挖掘和数据分析重任。信息碎片化加大了选择成本的空间,如何有效采集和分析数据、排除阅读噪音成为IT部门在大数据时代亟待解决的难题。

    刘美利 · 2018-09-20 13:2429
  • 如何使用Java Streams进行数据库查询?

    本文介绍了如何编写能够处理现有数据库数据的Java应用程序,而无需编写单行SQL(或类似语言)代码,也无需浪费时间将所有的内容组合在一起。在您的应用程序准备就绪之后,您可以通过添加两行代码,使用in-JVM-acceleration加速性能。

    刘美利 · 2018-09-14 15:360
  • 万达集团李明昊:地域分布式系统设计与实践

    本次分享,深入剖析了主流的一致性协议paxos,raft等的历史渊源和设计细节,阐述了它们的优缺点与适用场景;并结合公司的实际场景,对raft协议做了改进,使自研的分布式存储系统可以运行于这个具体环境之上,同时兼顾性能,可靠性与硬件、网络成本。

    刘美利 · 2018-09-13 12:044
  • 基于容器的金融数据库云平台DBaaS设计实践分享

    本文根据曾玉成老师在2018年5月11日【第九届中国数据库技术大会(DTCC2018)】现场演讲内容整理而成。分享大纲:1. 银联转型发展的技术需求;2. 数据库云的银联方案;3. 数据库云建设的挑战;4. 发展及畅想。

    陶然 · 2018-09-07 03:050
  • 朱曜鑫:阿里巴巴第四代数据库架构最佳实践

    阿里数据库架构体系的演进路线和思考过程;我们为什么选择X-DB,新体系结构在实践中如何为业务赋能;X-DB 的技术优势和典型业务场景介绍;新技术体系演进过程中的经验介绍。

    刘美利 · 2018-08-30 10:310
  • MaxCompute Tunnel上传典型问题场景

    对于MaxCompute系统数据的上传和下载,可以通过Tunnel批量数据通道和DataHub实时数据通道两种途径来实现进出MaxCompute。

    赵钰莹 · 2018-08-29 13:400
  • 汽车之家数据库服务化平台从0到1的实践过程

    分享一下汽车之家数据库服务化平台从0到1的实践过程。详细介绍平台的整体架构,技术栈以及各系统模块的工程化实现方案。希望给正在做数据库自动化,平台化的同学一些借鉴和启发。

    刘美利 · 2018-08-23 11:170
  • 数据挖掘中易栽的10个坑,你中了没?

    研究结果:按照《神经网络》期刊的统计,在过去3年来,只有1/6的文章中做到了上述两点。也就是说,在独立于训练样本之外的测试集上进行了开集测试,并与其它广泛采用的方法进行了对比。

    刘美利 · 2018-08-21 16:5153
  • 从上世纪80年代到今天,达梦数据库技术架构演进与应用全记录

    传统关系数据库经过几十年的发展,架构是否已经到了演进尽头?MPP、读写分离、共享存储、分库分表……琳琅满目的架构从何处来向何处去?未来关系数据库架构可能会如何发展?本主题以达梦数据库架构演进与创新为例,向大家分享我们的看法。

    刘美利 · 2018-08-10 17:070
  • MaxCompute数据仓库在更新插入、加载、全量历史表三大算法中的数据转换实践

    MaxCompute包含临时层、基础数据层、应用层三个层次,数据上云后将数据源中的数据先传输到MaxCompute里的临时层中,并将数据进行处理,接着将数据经过简单的转换传输到基础数据层,最后将数据进一步汇总到应用层进而提供服务。

    赵钰莹 · 2018-08-02 15:040
  • 下一代分布式消息队列Apache Pulsar从入门到实现

    Apache Pulsar是一个企业级的分布式消息系统,最初由Yahoo开发并在2016年开源,目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多,主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。

    赵钰莹 · 2018-08-02 09:3410
  • 目标检测技术演化:从R-CNN到Faster R-CNN

    目标检测旨在准确地找到给定图片中物体的位置,并将其正确分类。准确地来讲,目标检测需要确定目标是什么以及对其定位。

    田晓旭 · 2018-07-30 20:470
  • 机器学习到底是什么?

    关于机器学习最简单的定义来自于Berkeley所表述的:机器学习是AI的一个分支,它探索了让计算机根据经验提高效率的方法。

    田晓旭 · 2018-07-30 20:290
  • 教程:MySQ 数据库主从同步安装与配置详解

    MySQL5.6 数据库主从同步安装与配置详解(Master/Slave)本篇文章主要介绍了MySQL5.6 数据库主从同步安装与配置详解,具有一定的参考价值,有兴趣的可以了解一下。安装环境

    刘美利 · 2018-07-30 16:097
  • 大数据云的数据交换共享平台架构探索

    本文将具体解读如何借助大数据和云计算技术解决数据孤岛,烟囱开发,技术门槛等痛点,满足用户多元化、复杂的需求,降低数据开发、管理的难度。

    覃里 · 2018-07-26 11:200
  • 如何在.NET中使用MongoDB和CRUD操作教程

     NoSQL是一种面向文档的数据库系统,以特定的格式储存,如JSON。MongoDB是当前NoSQ数据库产品中最热门的一种,它具高性能、易部署、易使用的特点,以及丰富的轻量级二进制格式。 MongoDB最大的特点是支持的查询语言非常强大,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引,是一个面向集合的,模式自由的文档型数据库。

    刘美利 · 2018-07-23 14:320
  • 美团如何基于深度学习实现图像的智能审核?

    AI(人工智能)技术已经广泛应用于美团的众多业务,从美团App到大众点评App,从外卖到打车出行,从旅游到婚庆亲子,美团数百名最优秀的算法工程师正致力于将AI技术应用于搜索、推荐、广告、风控、智能调度、语音识别、机器人、无人配送等多个领域,帮助美团数亿消费者和数百万商户改善服务和体验,帮大家吃得更好,生活更好。

    赵钰莹 · 2018-07-16 10:300
  • AIOps智能监控在阿里故障管理工作中的实践!

    在自动化运维还不普及的时候,运维人员更多的运用手动的方式完成运维工作,这种方式耗时长,效率低。由此,如何合理发挥人工智能技术辅助运维人员进行故障管理工作逐步成为了业界关注的焦点。阿里巴巴的GOC团队通过研究并使用AIOps系统到运维业务场景中的方式,积累了大量的智能运营的方法论和技术体系。

    赵钰莹 · 2018-06-27 08:570