IT168企业级
扫码送文库金币
经过这么多年的发展，已经从大数据1.0的BI/Datawarehouse时代，经过大数据2.0的Web/APP过渡，进入到了IOT的大数据3.0
“大数据杀熟”成为热点话题已经一段时间了，为大家科普原理和揭秘本质的文章也数不胜数。然而，相比起“大数据杀熟”背后的策略和原理，我想大家可能更关心的是——我该怎么做，才能避免被“大数据杀熟”。
经过这么多年的发展，已经从大数据1.0的BI/Datawarehouse时代，经过大数据2.0的Web/APP过渡，进入到了IOT的大数据3.0时代，而随之而来的是数据架构的变化。
Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互
通常，企业在知晓编写代码和构建内部解决方案所需的成本和复杂性之后，首先会意识到对ETL工具的需求。提取，转换和加载(ETL)工具使企业能够在不同的数据系统中访问有意义且可用的数据。企业也可尝试组装开源ETL工具。
大家好，我来自清华大学自动化系，主要做机器学习和图像识别的研究。现在人工智能很流行，机器学习也推到风口浪尖上，图像识别已经变成产品，新闻媒体告诉我们AlphaGo、AlphaGo zero已经战胜了人类、皮肤癌的识别超过
过去的几个月中，我参加了一些公司数据科学、机器学习等方向初级岗位的面试。我面试的这些岗位和数据科学、常规机器学习还有专业的自然语言处理、计算机视觉相关。我参加了亚马逊、三星、优步、华为等大公司的面试，
本文介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据。在我们的业务开发中，往往会碰到下面这个场景：业务更新数据写到数据库中，业务更新数据需要实时传递给下游依赖处理，所以传统的处理架构可能
随着苏宁大数据平台的规模越来越大，HDFS集群Namenode逐渐出现性能瓶颈，特别是在凌晨任务的高并发期，Namenode的RPC响应延迟较高，单次写RPC请求甚至超过1s，严重影响了集群的计算性能。因此解决HDFS的扩展性问题，
大型企业到底如何看待数据及数据驱动?从热潮到落地，大数据的力量有无受到区块链、人工智能等新浪潮的冲击?在清华数据科学研究院联合大数据文摘发布的《顶级数据团队建设报告》中提到，数据化转型更多是一个至上而下
传统的Hadoop架构是建立在相信通过大规模分布式数据处理获得良好性能的唯一途径是将计算带入数据。在本世纪初，这确实是事实。当时，典型的企业数据中心的网络基础架构不能完成在服务器之间移动大量数据的任务，数据
如果要给机器学习划分流派的话，初步划分可以分为『归纳学习』和『统计学习』两大类。所谓『归纳学习』，就跟我们平时学习所用的归纳法差不多，也叫『从样例中学习』。归纳学习又分为两大类，一类是像我们归纳知识点
4月30日，阿里云发现，俄罗斯黑客利用Hadoop Yarn资源管理系统REST API未授权访问漏洞进行攻击。Hadoop是一款由Apache基金会推出的分布式系统框架，它通过著名的 MapReduce 算法进行分布式处理，Yarn是Hadoop集群的资
很早就有采集知乎用户数据的想法，要实现这个想法，需要写一个网络爬虫(Web Spider)。因为在学习 python，正好 python 写爬虫也是极好的选择，于是就写了一个基于 python 的网络爬虫。
2017年，Gartner的一份《2017年数据管理技术成熟度曲线》报告极其明显得标识出Hadoop即将进入衰落席。对此，IT168走访了国内一系列大数据厂商，在过去几个月，我们共同探讨了Gartner提出该观点的依据、用户对Hadoop生
盗梦空间中的造梦场景或许不再只是科幻电影的内容了。麻省理工学院硕士生Adam Horowitz领导的一个研究小组刚刚发布了一个“梦境控制系统”。通常，在我们进入深度睡眠的过程中，总有几分钟处在半睡半醒，迷迷糊糊的状
波士顿动力的网红机器狗不仅能稳步行走，还能送快递，但是科学家们对狗和AI的畅想远不止于此。华盛顿大学与艾伦人工智能研究所的答案是，记录一只汪星人在各种环境中行走、取物，在狗公园玩耍、吃东西的数据，将狗的
鉴于上次一篇文章——“云HBase小组成功抢救某公司自建HBase集群，挽救30+T数据”的读者反馈，对HBase的逆向工程比较感兴趣，并咨询如何使用相应工具进行运维等等。总的来说，就是想更深层理解HBase运维原理，提高运
循环神经网络(RNN)，长短期记忆(LSTM)，这些红得发紫的神经网络——是时候抛弃它们了!LSTM和RNN被发明于上世纪80、90年代，于2014年死而复生。接下来的几年里，它们成为了解决序列学习、序列转换(seq2seq)的方式，这
作为专业人士，我们需要做的第一件事就是认清我们做错了什么。在一些特殊情况下，没有人运维系统的某一部分，结果就导致发生重大事件时，我们无法立即解决。解决这类问题理论上很容易，比如及时的信息反馈，尽量不要
从Siri问世时语音交互产品的可有可无，再到现在语音交互成为某些场景下的刚需，众多大厂的布局都在宣告着iOT时代的到来。我们见识过各种各样的智能语音产品，主要分为三种类型：知识型、任务型和问答型。任务型似乎是
