【IT168 评论】经历了近三个月对国内厂商及企业用户的走访调研，笔者发现国内大部分厂商及企业对Hadoop，尤其是其核心组件的未来十分看好，并且Hadoop已经成为国内大多数互联网公司和大数据厂商基础架构中很重要的一部分，似乎并未把Gartner的“Hadoop在到达生产成熟期之前即会被淘汰”的结论放在心上。然而，在近期对国外大数据厂商Teradata及其两大银行客户——富国银行和加拿大皇家银行的采访中，笔者收到了与国内用户截然不同的反馈。
本期走访嘉宾：Teradata天睿公司策略性产品管理高级副总裁Tim Henry，富国银行副总裁刘维政，加拿大皇家银行数据及分析技术高级副总裁Neil Bartlett。
企业用户使用Hadoop的第一大难点：管理难!
Hadoop更直接的使用者是企业用户而不是大数据厂商，虽然数据湖或Hub的概念最初由大数据厂商提出，但真正的大规模应用还是在企业内部。这些企业很可能并不会选择Hadoop，因为Hadoop的管理相当困难，尤其是技术层面。
对企业而言，要想让数据真正发挥价值，必须通过数据治理和数据分析。然而，要想使用Hadoop进行数据治理，企业员工必须对Hadoop的整体运作流程以及各大组件非常熟悉，否则无法从众多组件中挑选出符合业务需求的组合，导致无法发挥Hadoop的真正价值。
Tim Henry表示，企业并不是对数据湖没有需求，而是对Hadoop的接受意愿较低，这也同样契合了Gartner的结论。即便Hadoop最大的几家厂商均来自于国外，但这并没有让国外企业部署Hadoop的热情升高。Tim Henry认为，未来，HDFS堆栈会更多的朝着S3和Spark的方向迁移。
当然，这种问题在Hadoop商用版和开源版之间有所区别，开源版本存在问题很正常，这可能是企业内部技术能力不足造成的，但企业用户更多的情况下是选择商用解决方案。若是商用解决方案，国内外厂商在服务层面也有明显不同。国内Hadoop相关厂商提供的服务较国外而言更加全面，大部分国内Hadoop厂商更倾向于将企业所需的产品或功能定制化开发并集成打包，方便企业用户直接选择，这可能是造成国内外企业用户对Hadoop态度不同的原因之一。
企业用户使用Hadoop的第二大难点：成本高!
企业用户选购产品时考察的两大因素，一是能否为业务带来价值；二是部署及后期维护成本。如果某项技术可以非常完美的解决企业内部某项需求，那么这项技术可能是对业务有驱动价值的。但是，当解决方案不止一个时，部署及维护成本就成为重要筛选标准。
美国富国银行和加拿大皇家银行是国外两大非常知名的银行且历史悠久，前者成立于1852年，是一家提供全能服务的银行，市值在全球范围内排在前列。后者成立于1869年，是北美多元化金融服务公司之一，也是加拿大资产最大的银行之一。对于Hadoop的部署，两家银行确实做了很多思考。
富国银行副总裁刘维政表示，很多企业用户在受到互联网的冲击之后，形成了一种“便宜且大而全就是好”的奇怪观念。但是，银行在选择某项解决方案时往往更加谨慎，会进行大量调研。根据富国银行的调研，如果一家银行从零开始使用Hadoop构建整个大数据存储分析平台，所需要的总成本实际上比一些主流商业方案，比如Teradata还要高，这是为什么呢?
从富国银行的角度来看，Hadoop有很好的社群开源机制，但这并不能满足银行对稳定性的要求。当银行的交易数据出现问题，用户并不在乎背后的支撑平台到底是Hadoop还是Teradata，而只在乎交易数据的准确性。
其次，企业用户之所以选择某种解决方案往往更在乎的是其服务，现在的大数据厂商不仅服务更加全面，而且更加注重与开源技术的结合，更加注重与企业现有语言、工具和技术的兼容性。加拿大皇家银行数据及分析技术高级副总裁Neil Bartlett补充道，Gartner之所以会得出这样的结论，也是因为市场对Hadoop越来越理性，对Hadoop的部署成本和交付结果有了更加理性的评估，这才造成Gartner得出“很多企业对Hadoop部署热情较低”的结论。
相比于国内市场对Hadoop未来发展的肯定，国外这两大银行用户对Hadoop的部署似乎并不持乐观态度。当然，正如上文所提到的，国内外对Hadoop态度不同可能是不同的环境和需求造成的。此外，笔者的前期采访更多代表着国内互联网企业和大数据厂商的态度，并不代表着国内银行的态度，因此这一点是有待商榷的，但富国银行和加拿大皇家银行对Hadoop不看好的态度是明确的。
