英特尔:将Hadoop“固化”到Xeon中
创始人
2024-09-09 10:10:20
0

 大数据有多热,Hadoop就有多热。

与AWS在私有云市场动作频仍一样,Hadoop近期热点事件也不少。 Hortonworks提供Hadoop big-data platform for Windows测试版, EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版, HP加入Hadoop并提供安全插件ArcSight。2月26日,在Hadoop无数的商业版和开源版中,同时拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本的Intel 再次爆料:要将Hadoop直接集成到Xeon中。

对于大数据分析而言,最基础的需求就是对于大量的结构化和非结构化数据,可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目,Hadoop吸引了诸多顶级玩家的加入。

以至于,目前市场上Hadoop发行版与开源版种类繁多。其中,不仅有Cloudera、HortonWorks、Amazon的EMR、MapR,也有IBM、Oracle、Microsoft、Intel、EMC等诸多版本的Hadoop。对Intel而言,其拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本。前者锁定行业客户,如电信、视频监控、生产制造等,后者核心代码和核心功能与前者相同,区别是支持节点数量和存储容量。此外,Intel还在GitHub维护着Project Panthera开源项目,其中包括即时分析、基于HBase的文档存储、基于Hive/MapReduce的分析SQL引擎、HiBench和HiTune等子项目。

 

 

Intel Hadoop发行版

Intel架构部门副总裁Boyd Davis说:“大数据生成很容易,但关键是要用起来。”围绕这一点,EMC和HP本周都有所动作。但Intel所做的更为直接:将Hadoop直接固化到芯片中。“Hadoop架构具有巨大的潜力,其完全可以做为硬件基础层存在,并在此之上构建可以实现水平分布的各式各样的堆栈。”如此,对于IT经理而言,自动配置与评估,调优和管理自然更为简便。

芯片就是Xeon,并在网络和I/0方面针对数据分析“新应用层”有特别的优化。

例如,通过固化Hadoop的Xeon处理器,Intel预计1TB的数据分析可以在7分钟内完成,而采用其他方案,预计将需要4小时以上。

除了使用AES-NI指令集有希望20倍的提升加密速度以外,Intel的Hadoop分布式框架还将通过固态驱动器与缓存加速来实现优化,查询速度将比Hive快8.5倍;Intel Labs通过AVX和SSE 4.2进行硬件增强压缩以及Active Tunner对集群进行自动调优。

而在安全方面,将提供一个“完整,加密”的Xeon处理器方案,从而使得用户不需求牺牲性能即可实现数据的高安全性。

差不多24个合作伙伴可以帮助Intel将“固化Hadoop的Xeon解决方案”推广到公有云和私有云中,比如Cisco,Dell和SAP。而为了加快部署,Intel还透露,会投资规模较小的大数据公司,如MongoDB和Guavus Anaytics,这样在基于Apache Hadoop的数据分析解决方案方面将更加丰富。

写在最后:

众所周知,Hadoop底层硬件平台多为Intel芯片,如此模式,是否会使Hadoop的竞争更加白热化?!这让译者想到2012年7月一次会议中,中国联通研究院副院长黄文良的介绍:

联通Hadoop系统的后台是178台基于英特尔至强5600处理器的两路刀片服务器,每台服务器配备了14TB存储容量。此外,系统还有3台NameNode节点服务器、入库服务节点服务器24台、Zookeeper节点服务器7台、集群监控节点1台和Web查询应用服务节点20台。这些也都是IA架构的x86服务器。

“我们也试过用Hadoop的开源版本,但是确实在性能上不如英特尔的Hadoop发行版,无论是监控能力还是稳定性都有很大区别。”

相关内容

热门资讯

如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下,MySQL服务器仅侦听来自localhos...
如何利用交换机和端口设置来管理... 在网络管理中,总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
施耐德电气数据中心整体解决方案... 近日,全球能效管理专家施耐德电气正式启动大型体验活动“能效中国行——2012卡车巡展”,作为该活动的...
20个非常棒的扁平设计免费资源 Apple设备的平面图标PSD免费平板UI 平板UI套件24平图标Freen平板UI套件PSD径向平...
德国电信门户网站可实时显示全球... 德国电信周三推出一个门户网站,直观地实时提供其安装在全球各地的传感器网络检测到的网络攻击状况。该网站...
为啥国人偏爱 Mybatis,... 关于 SQL 和 ORM 的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行...
《非诚勿扰》红人闫凤娇被曝厕所... 【51CTO.com 综合消息360安全专家提醒说,“闫凤娇”、“非诚勿扰”已经被黑客盯上成为了“木...
2012年第四季度互联网状况报... [[71653]]  北京时间4月25日消息,据国外媒体报道,全球知名的云平台公司Akamai Te...