Alluxio1.0发布:API顺畅衔接大数据应用与存储
创始人
2025-01-27 12:31:19
0次

【51CTO.com快译】最初定名为Tachyon的Alluxio公司正积极构建API方案,旨在帮助大数据应用程序以更快速度通过统一化接入方式访问数据所驻留的存储体系。

Alluxio的存储API能够支持Amazon S3、Google Cloud Storage、OpenStack Swift、EMC以及NetApp。

[[163187]]

目前已经迎来1.0版本的Alluxio API方案能够帮助Spark、MapReduce、Flink或者Presto等框架访问多种存储系统类型。除了Amazon S3、Google Cloud Storage以及OpenStack Swift等受支持云存储供应商外,EMC与NetApp等传统存储方案供应商亦在其支持列表当中。

从表面上看,Alluxio似乎属于一套类似于Memcached或者Redis的内存缓存系统。但恰恰相反,它立足于分布式计算应用与存储体系之间,并通过提供统一化API帮助前者与后者顺畅对接。各应用程序能够利用Alluxio的API享受到出色的访问速度,同时摆脱各类传统API(例如HDFS实现机制)糟糕的速度与兼容性表现。

在本月早些时候发布的一篇博文当中,英特尔公司的工程师们描述了Alluxio如何帮助其解决大数据框架使用当中所出现的各类常见难题,例如在不同应用程序之间进行数据共享。相较于将数据写入至HDFS再重新加以读取,现在用户能够将数据写入至Alluxio的内存内存储体系,并以更快速度完成二次读取。

同样的,一直困扰着Spark等大数据框架的JVM垃圾回收与堆缓存问题亦可通过Alluxio得到切实解决。IBM公司早在Alluxio尚处于Tachyon时代时即给出过类似的结论,表示其能够将内存内HDFS的写入速度提升110倍,同时“将端到端现实工作流延迟削减至原本的四分之一”。

Alluxio还能够对其它解决方案做出补充; 举例来说,通过将Apache Arrow与适合现代CPU之应用程序格式相对接以显著提高数据处理速度。Arrow所需要的存储数据全部由Alluxio负责供应。

作为Tachyon的化身,Alluxio已经开始为多个大数据项目提供支持,而Spark则正是其中的典型代表。该公司计划进一步面向其它大数据项目及存储系统供应商构建更为全面的支持能力。

原文链接:Big data, but faster: API speeds links between apps and storage

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

相关内容

热门资讯

PHP新手之PHP入门 PHP是一种易于学习和使用的服务器端脚本语言。只需要很少的编程知识你就能使用PHP建立一个真正交互的...
网络中立的未来 网络中立性是什... 《牛津词典》中对“网络中立”的解释是“电信运营商应秉持的一种原则,即不考虑来源地提供所有内容和应用的...
各种千兆交换机的数据接口类型详... 千兆交换机有很多值得学习的地方,这里我们主要介绍各种千兆交换机的数据接口类型,作为局域网的主要连接设...
粉嫩如何诠释霸道 东芝M805... “霸道粉”是个什么玩意东芝M805拿过来的时候,笔者扑哧笑了,不是笑这款笔记本,而是笑这款产品的颜色...
如何利用交换机和端口设置来管理... 在网络管理中,总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
什么是大数据安全 什么是大数据... 在《为什么需要大数据安全分析》一文中,我们已经阐述了一个重要观点,即:安全要素信息呈现出大数据的特征...
只需三步,让你掌握阿尔法路由器... 请参照以下阿尔法路由器设置方法,通过浏览器进入及设置宽带路由器。经过这三个步骤的设置,基本上能够熟悉...
如何更省钱? 近期特价热门硒鼓... 如今激光打印设备已经成为商务或企业的绝对主力办公设备,但采购者往往忽视了激光打印设备所用的耗材,相对...
全面诠释网络负载均衡 负载均衡的出现大大缓解了服务器的压力,更是有效的利用了资源,提高了效率。那么我们现在来说一下网络负载...
如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下,MySQL服务器仅侦听来自localhos...