对象存储系统 vs Hadoop 云存储怎么选?
创始人
2025-01-10 21:30:57
0次

[[128498]]

选择多如牛毛,为你的应用选择***的云存储系统并非易事。但是对象存储系统是一个选择,尤其是如果你的应用要求访问控制。而那些使用云进行大数据分析的则要考虑Hadoop。

对象存储系统,比如AWS S3、微软Azure Blob和谷歌云存储,可以在一个持久稳固且高度可用的系统中存储任意的对象,且独立于虚拟机实例之外。应用和用户可以在对象存储中使用简单的API访问数据;这些通常都基于表属性状态转移(REST)架构,但是也有面向编程语言的界面。

对象存储提供了数据上受限操作的访问控制。数据管理员可以在bucket层级上(类似于目录)或者对象层级上(类似目录中的文件)应用访问控制。存储对象的授权/认证通过云提供商的身份认证管理系统或者你的目录服务来管理。通过后者,你可能有一个本地的目录,同基于云的目录服务同步,巩固所有的访问控制角色和进入单一注册库的特权。

提及存储,对于那些使用云进行大数据分析的还有额外的选择考虑。比如AWS提供了弹性Map Reduce (EMR),这是一项Hadoop服务。Hadoop旨在同期文件系统工作,以HDFS著称。

当用户用EMR创建了一个Hadoop集群,他们可以从AWS S3或者一些其他的数据存储复制数据到集群上的HDFS,或者也可以直接从S3访问数据。HDFS使用本地存储,而且通常提供了比从S3恢复更好的性能,但是在运行Hadoop工作之前,也需要时间从S3复制数据到HDFS。如果EMR集群要运行一段时间,且针对多项工作使用相同的数据,可能值得额外的启动时间来从S3复制数据到HDFS。

云存储选择适用于广泛的需求,但是要针对你的需求找到正确的存储类型,也意味着要找到延迟、易用性、数据完整性和成本之间的合适的平衡点。

控制归档成本

云存储的另一个常用用例是归档。这个程序要需要较长时间复制数据来进行持久的存储。下面是在控制归档成本时需要考虑的三个内容:

  • 归档数据一次写入且很少读取。因此,***先考虑的就是受限的归档成本。
  • 对象存储可以用来归档,但是除非你需要低延迟检索,开支可能要比所需高。
  • AWS提供的Glacier归档存储服务成本比S3大幅减少。从Glacier检索数据用时数小时,因此并不适用于大多数应用。

原文链接:http://www.searchcloudcomputing.com.cn/showcontent_87943.htm

相关内容

热门资讯

PHP新手之PHP入门 PHP是一种易于学习和使用的服务器端脚本语言。只需要很少的编程知识你就能使用PHP建立一个真正交互的...
网络中立的未来 网络中立性是什... 《牛津词典》中对“网络中立”的解释是“电信运营商应秉持的一种原则,即不考虑来源地提供所有内容和应用的...
各种千兆交换机的数据接口类型详... 千兆交换机有很多值得学习的地方,这里我们主要介绍各种千兆交换机的数据接口类型,作为局域网的主要连接设...
粉嫩如何诠释霸道 东芝M805... “霸道粉”是个什么玩意东芝M805拿过来的时候,笔者扑哧笑了,不是笑这款笔记本,而是笑这款产品的颜色...
如何利用交换机和端口设置来管理... 在网络管理中,总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
什么是大数据安全 什么是大数据... 在《为什么需要大数据安全分析》一文中,我们已经阐述了一个重要观点,即:安全要素信息呈现出大数据的特征...
只需三步,让你掌握阿尔法路由器... 请参照以下阿尔法路由器设置方法,通过浏览器进入及设置宽带路由器。经过这三个步骤的设置,基本上能够熟悉...
如何更省钱? 近期特价热门硒鼓... 如今激光打印设备已经成为商务或企业的绝对主力办公设备,但采购者往往忽视了激光打印设备所用的耗材,相对...
全面诠释网络负载均衡 负载均衡的出现大大缓解了服务器的压力,更是有效的利用了资源,提高了效率。那么我们现在来说一下网络负载...
如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下,MySQL服务器仅侦听来自localhos...