.NET分布式缓存之Memcached执行速度检测
创始人
2024-04-30 19:10:54
0

前不久,俺写了篇文章谈到了.Net下面的分布式缓存的一些问题,并结合DNT里面实现模式发表了一些自己的看法,近来通过学习相关的东西又有了一些新的体会, 写在这里作为分布式缓存列系文章的第二部分.

其实对于性的扩展无非是Scale Up(向上扩展)或者是Scale Out(向外扩展), 微软对此的看法是一个App的缓存***是以它自己为物理边界进行读写,而不要放到别处去,这样带的问题可能有对象的序列化传送,反序列化,网络连接开销,跨进程的开销,对于高性能的站点来说都是不能忽视的问题.出于对这些因素的考虑微推荐的作法不是把多个应用放在一起在多台Server布署,而是将一个App划分成若干个小的应用布署到不同的服务器,下面的关系图展示了这种关系, 这样每种应用就可以独立管理自己的缓存数据,但是对于象用户数据这样的通用数据仍然会存在多处.

.NET分布式缓存:两种解决方案

为了解决缓存同步的问题,有人想出了解决办法, 可以参考这两个地方,这个是MS的,这里还有一个,先来看看Peter的这个吧, 主要思想就是把要放到缓存里面的东西加上一层包装CacheControlItem, 实现代码请去原文出处下载.

每台机器都维护一个WebFarm里面的成员服务器的列表,如果有新的服务器进来发现自己不在这个列表中则会通知其它的服务器把它加到这个名单里面。添加缓存的这程是这样, A服务器需要插入一个新的缓存值,它把这个项目插入到自己的缓存中,然后用它初始化一个CacheControlItem并指定它的缓存策略(优先级,缓存生存时间),设定它的动作,即添加,然后把这个结象序列化通过Web传送到每一个成员服务器,接受到这些数据的服务器跟据这个对象的Action指令,把反序列化后的对象加入到自己的缓存里面,这样一个同步的过程就完成了,移除缓存对象的过程与之类似,只不过不需要传送对象,只在包装类里面设定它的Action为删除就可以了. 当然,为了提高性能,可以实现一个异步的侦听线程专门用来响应缓存通知的请求. 总体上讲这处办法的效率比较低,在数据量较大的情况下可能会造成大量缓存数据的同步数据流。

我们再来看看M$是怎么做的,它的想法类似,只不过它不在WebFarm的成员服务器之间同步缓存,而只是保证每台机器不要读到已经失效的缓存数据,当缓存数据失效时(相关依赖数据被更新), 通过维护一个需要通知的服务器列表依次调用每台服务器上的WebService,如果当前服务器上存在这键值的缓存则使它失效.

这两个老外写的东西似乎都比较啰索,不过对初学者来说比较友好,可以一步步地知道这件事情的来龙去脉,理解会清楚更刻一些。

.NET分布式缓存:Memcached到底有多快?

看了这些如果还不满意,那么您可以试试Memcached它可以运行在Win32平台下,在上篇文章中我们已经提到了这个东西,但是它在.Net的平台下面究竟表现如何?是否能象在PHP平台下面一样地优秀,我们现在来做一个简单的测试, 对比使用.Net自带的Cache和Memcached两种实现方式,看看差距究竟有多大,过程是这样,分别生成10000个字符串对象并分别设定键值插入到缓存中,然后再取出来,看看花费的总时间. 服务器端:memcached-1.2.1-win32, 客户端: memcacheddotnet_clientlib-1.1.5, 服务器端的使用也比较简单,解压文件之后在命令行下面输入: c:\memcached -d install 先安装服务, 接着 c:\memcached -d start就可以了,详细使用方法见说明文件 -h 是查看帮助, 测试环境如下:

Memcached服务器 : Win2003 sp1, Framework 2.0,P4 D 3.4G, 768MB 内存, 千兆网卡.

Memcached客户机 : Win2003 sp1, Framework 2.0,T2060, 1G内存( 沙加的神舟笔记本;) ), 千兆网卡.

两台机器通过直连线相连.

.Net Cache单机测试 : P4 D 3.4G, 768MB 内存.

测试结果, 存取10000个条目的时间:

  1. Memcached  
  2. Set(秒)  1.48  1.37  1.48  1.37  1.46    
  3. Get(秒)  2.42 2.42  2.42  2.43  2.42    
  4.  
  5. HttpRuntime.Cache  
  6. Set(秒)  0.015  0.015  0.015  0.015  0.015    
  7. Get(秒)  
  8.  0.015 0.015  0.015  0.015  0.015    

.Net内建缓存测试代码

HttpRuntime.Cache

  1. protected void Page_Load(object sender, EventArgs e)  
  2. {  
  3.         int start = 200;  
  4.         int runs = 10000;  
  5.  
  6.         string keyBase = "testKey";  
  7.         string obj = "This is a test of an object blah blah es, serialization does not seem to slow things down so much.  The gzip compression is horrible horrible performance, so we only use it for very large objects.  I have not done any heavy benchmarking recently";  
  8.  
  9.         long begin = DateTime.Now.Ticks;  
  10.         for(int i = start; i < start+runs; i++)   
  11.         {  
  12.             HttpRuntime.Cache.Add(keyBase + i, obj,null,System.Web.Caching.Cache.NoAbsoluteExpiration,  
  13.                 TimeSpan.FromMinutes(1),System.Web.Caching.CacheItemPriority.Normal,null);  
  14.         }  
  15.         long end = DateTime.Now.Ticks;  
  16.         long time = end - begin;  
  17.  
  18.         Response.Write(runs + " sets: " + new TimeSpan(time).ToString() + "ms");  
  19.  
  20.         begin = DateTime.Now.Ticks;  
  21.         int hits = 0;  
  22.         int misses = 0;  
  23.         for(int i = start; i < start+runs; i++)   
  24.         {  
  25.             string str = (string) HttpRuntime.Cache.Get(keyBase + i);  
  26.             if(str != null)  
  27.                 ++hits;  
  28.             else 
  29.                 ++misses;  
  30.         }  
  31.         end = DateTime.Now.Ticks;  
  32.         time = end - begin;  
  33.  
  34.         Response.Write(runs + " gets: " + new TimeSpan(time).ToString() + "ms");  
  35. }  

Memcached测试代码

Memcached

  1. namespace Memcached.MemcachedBench  
  2. {  
  3.     using System;  
  4.     using System.Collections;  
  5.  
  6.     using Memcached.ClientLibrary;  
  7.  
  8.     public class MemcachedBench   
  9.     {  
  10.         [STAThread]  
  11.         public static void Main(String[] args)   
  12.         {  
  13.             int runs = 100;  
  14.             int start = 200;  
  15.             if(args.Length > 1)  
  16.             {  
  17.                 runs = int.Parse(args[0]);  
  18.                 start = int.Parse(args[1]);  
  19.             }  
  20.  
  21.             string[] serverlist = { "140.192.34.72:11211""140.192.34.73:11211" };  
  22.  
  23.             // initialize the pool for memcache servers  
  24.             SockIOPool pool = SockIOPool.GetInstance();  
  25.             pool.SetServers(serverlist);  
  26.  
  27.             pool.InitConnections = 3;  
  28.             pool.MinConnections = 3;  
  29.             pool.MaxConnections = 5;  
  30.  
  31.             pool.SocketConnectTimeout = 1000;  
  32.             pool.SocketTimeout = 3000;  
  33.  
  34.             pool.MaintenanceSleep = 30;  
  35.             pool.Failover = true;  
  36.  
  37.             pool.Nagle = false;  
  38.             pool.Initialize();  
  39.  
  40.             MemcachedClient mc = new MemcachedClient();  
  41.             mc.EnableCompression = false;  
  42.  
  43.             string keyBase = "testKey";  
  44.             string obj = "This is a test of an object blah blah es, serialization does not seem to slow things down so much.  The gzip compression is horrible horrible performance, so we only use it for very large objects.  I have not done any heavy benchmarking recently";  
  45.  
  46.             long begin = DateTime.Now.Ticks;  
  47.             for(int i = start; i < start+runs; i++)   
  48.             {  
  49.                 mc.Set(keyBase + i, obj);  
  50.             }  
  51.             long end = DateTime.Now.Ticks;  
  52.             long time = end - begin;  
  53.  
  54.             Console.WriteLine(runs + " sets: " + new TimeSpan(time).ToString() + "ms");  
  55.  
  56.             begin = DateTime.Now.Ticks;  
  57.             int hits = 0;  
  58.             int misses = 0;  
  59.             for(int i = start; i < start+runs; i++)   
  60.             {  
  61.                 string str = (string) mc.Get(keyBase + i);  
  62.                 if(str != null)  
  63.                     ++hits;  
  64.                 else 
  65.                     ++misses;  
  66.             }  
  67.             end = DateTime.Now.Ticks;  
  68.             time = end - begin;  
  69.  
  70.             Console.WriteLine(runs + " gets: " + new TimeSpan(time).ToString() + "ms");  
  71.             Console.WriteLine("Cache hits: " + hits.ToString());  
  72.             Console.WriteLine("Cache misses: " + misses.ToString());  
  73.  
  74.             IDictionary stats = mc.Stats();  
  75.             foreach(string key1 in stats.Keys)  
  76.             {  
  77.                 Console.WriteLine(key1);  
  78.                 Hashtable values = (Hashtable)stats[key1];  
  79.                 foreach(string key2 in values.Keys)  
  80.                 {  
  81.                     Console.WriteLine(key2 + ":" + values[key2]);  
  82.                 }  
  83.                 Console.WriteLine();  
  84.             }  
  85.  
  86.             SockIOPool.GetInstance().Shutdown();  
  87.         }  
  88.     }  
  89. }  

结论

通过这个对比测试我们可以看出内建的Cache比使用Memcached要快出约130倍,但是从总体速度上来看Memcached并不慢,这两种方式可以在项目中有选择性地结合使用可以产生很棒的效果.并且Memcached可使用的内存数量要多得多,同时也可以做集群避免单点问题.

以上就介绍了.NET分布式缓存之Memcached的速度检测。本文来自沙加的博客:《.Net下的分布式缓存(2)--实现分布式缓存同步的手段》

【编辑推荐】

  1. 如何避免ASP.NET缓存占用系统资源
  2. .NET缓存机制探讨与比对
  3. 概述ASP.NET缓存机制
  4. ASP.NET数据缓存之数据缓存浅谈
  5. ASP.NET数据缓存机制浅析

相关内容

热门资讯

如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下,MySQL服务器仅侦听来自localhos...
如何利用交换机和端口设置来管理... 在网络管理中,总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
施耐德电气数据中心整体解决方案... 近日,全球能效管理专家施耐德电气正式启动大型体验活动“能效中国行——2012卡车巡展”,作为该活动的...
Windows恶意软件20年“... 在Windows的早期年代,病毒游走于系统之间,偶尔删除文件(但被删除的文件几乎都是可恢复的),并弹...
20个非常棒的扁平设计免费资源 Apple设备的平面图标PSD免费平板UI 平板UI套件24平图标Freen平板UI套件PSD径向平...
德国电信门户网站可实时显示全球... 德国电信周三推出一个门户网站,直观地实时提供其安装在全球各地的传感器网络检测到的网络攻击状况。该网站...
着眼MAC地址,解救无法享受D... 在安装了DHCP服务器的局域网环境中,每一台工作站在上网之前,都要先从DHCP服务器那里享受到地址动...
为啥国人偏爱 Mybatis,... 关于 SQL 和 ORM 的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行...