豆瓣网开源数据库BeansDB发布 采用分布式键值存储
创始人
2024-06-18 22:11:34
0

【51CTO快报】2009年12月31日消息,国内著名SNS网站豆瓣网于昨日在Google Code上发布了其自主开发的数据库存储系统BeansDB。

BeansDB是一个针对大数据量、高可用性的分布式存储系统,其最具特色的是使用Key - Value(键 - 值)存储模式;BeansDB采用HashTree和简化的版本号来快速同步保证最终一致性;并采用类似memcached的去中心化结构,在客户端实现数据路由。

据悉,豆瓣网是以New BSD许可证发布的BeansDB,目前只提供了Python版本的客户端,其它语言的客户端可以由memcached的客户端稍加改造得到。BeansDB的Key Value存储系统之前在亚马逊公司开发的Dynamo数据库中被广泛使用,一些BeansDB的测试者称BeansDB更像是Dynamo的一个简化版。

关于豆瓣网技术架构方面的更多报道请参考51CTO.com视频专题:《大型网站架构技术专家谈

BeansDB特性一览:

◆高可用:通过多个可读写的用于备份实现高可用

◆最终一致性:通过哈希树实现快速完整数据同步(短时间内数据可能不一致)

◆容易扩展:可以在不中断服务的情况下进行容量扩展

◆高性能:异步IO和高性能的KeyValue数据TokyoCabinet

◆可配置的可用性和一致性:通过N,W,R进行配置

◆简单协议:Memcache兼容协议,大量可用客户端

客户端

目前只提供了Python版本的客户端,在python目录中,该目录中各文件的左右如下:

◆dbclient.py BeansDB的客户端,由memcached的客户端简单封装而成

◆status.py 查看BeansDB的状态,各个节点的数据分布,以及同步状态

◆sync.py 同步各节点

◆httpd.py HTTP方式访问BeansDB的内容(目前只有GET方式)

◆store.pyx, dbserver.py test.py setup.py

◆Python 版本的BeansDB,核心部分是C实现

BeansDB的一些性能测试

下面两幅图片是BeansDB在Google Code上性能测试截图,BeansDB的表现相当不错。

在小数据集上,它跟memcached一样快:

Beans在小数据集上的测试

 BeansDB实际部署情况下的性能(客户端测量):

BeansDB在实际部署下的性能

【编辑推荐】

  1. 对SQL说不!NoSQL的数据库技术革命
  2. 分布式可扩展非关系数据库聚焦
  3. 云计算推波助澜 非关系数据库蓄势待发
  4. 探寻关系数据库和ORM的最佳替代者

 

相关内容

热门资讯

如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下,MySQL服务器仅侦听来自localhos...
如何利用交换机和端口设置来管理... 在网络管理中,总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
施耐德电气数据中心整体解决方案... 近日,全球能效管理专家施耐德电气正式启动大型体验活动“能效中国行——2012卡车巡展”,作为该活动的...
Windows恶意软件20年“... 在Windows的早期年代,病毒游走于系统之间,偶尔删除文件(但被删除的文件几乎都是可恢复的),并弹...
20个非常棒的扁平设计免费资源 Apple设备的平面图标PSD免费平板UI 平板UI套件24平图标Freen平板UI套件PSD径向平...
德国电信门户网站可实时显示全球... 德国电信周三推出一个门户网站,直观地实时提供其安装在全球各地的传感器网络检测到的网络攻击状况。该网站...
着眼MAC地址,解救无法享受D... 在安装了DHCP服务器的局域网环境中,每一台工作站在上网之前,都要先从DHCP服务器那里享受到地址动...
为啥国人偏爱 Mybatis,... 关于 SQL 和 ORM 的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行...