对Python线程池进行详细说明
创始人
2024-06-23 18:51:20
0

下面给大家总结一下自己总结的对Python线程池经验之谈,对于那些没有接触学习过编程语言或者多开发语言略懂的用户而言,Python语言绝对是***的选择之一,并建议初学的程序员先从Python开始学习编程。

  1. import Queue, threading, sys   
  2. from threading import Thread   
  3. import time,urllib   
  4. # working thread   
  5. class Worker(Thread):   
  6.    worker_count = 0   
  7.    def __init__( self, workQueue, resultQueue, timeout = 0, **kwds):   
  8.        Thread.__init__( self, **kwds )   
  9.        self.id = Worker.worker_count   
  10.        Worker.worker_count += 1   
  11.        self.setDaemon( True )   
  12.        self.workQueue = workQueue   
  13.        self.resultQueue = resultQueue   
  14.        self.timeout = timeout   
  15.        self.start( )   
  16.    def run( self ):   
  17.        ''' the get-some-work, do-some-work main loop of worker threads '''   
  18.        while True:   
  19.            try:   
  20.                callable, args, kwds = self.workQueue.get(timeout=self.timeout)   
  21.                res = callable(*args, **kwds)   
  22.                print "worker[%2d]: %s" % (self.id, str(res) )   
  23.                self.resultQueue.put( res )   
  24.            except Queue.Empty:   
  25.                break   
  26.            except :   
  27.                print 'worker[%2d]' % self.id, sys.exc_info()[:2]   
  28.                   
  29. class WorkerManager:   
  30.    def __init__( self, num_of_workers=10timeout = 1):   
  31.        self.workQueue = Queue.Queue()   
  32.        self.resultQueue = Queue.Queue()   
  33.        self.workers = []   
  34.        self.timeout = timeout   
  35.        self._recruitThreads( num_of_workers )   
  36.    def _recruitThreads( self, num_of_workers ):   
  37.        for i in range( num_of_workers ):   
  38.            worker = Worker( self.workQueue, self.resultQueue, self.timeout )   
  39.            self.workers.append(worker)   
  40.    def wait_for_complete( self):   
  41.        # ...then, wait for each of them to terminate:   
  42.        while len(self.workers):   
  43.            worker = self.workers.pop()   
  44.            worker.join( )   
  45.            if worker.isAlive() and not self.workQueue.empty():   
  46.                self.workers.append( worker )   
  47.        print "All jobs are are completed."   
  48.    def add_job( self, callable, *args, **kwds ):   
  49.        self.workQueue.put( (callable, args, kwds) )   
  50.    def get_result( self, *args, **kwds ):   
  51.        return self.resultQueue.get( *args, **kwds )  

Worker类是一个Python线程池,不断地从workQueue队列中获取需要执行的任务,执行之,并将结果写入到resultQueue中。这里的workQueue和resultQueue都是现成安全的,其内部对各个线程的操作做了互斥。当从workQueue中获取任务超时,则线程结束。

WorkerManager负责初始化Python线程池,提供将任务加入队列和获取结果的接口,并能等待所有任务完成。一个典型的测试例子如下,它用10个线程去下载一个固定页面的内容,实际应用时应该是执行不同的任务。

  1. def test_job(id, sleep = 0.001 ):   
  2.    try:   
  3.        urllib.urlopen('[url]https://www.gmail.com/[/url]').read()   
  4.    except:   
  5.        print '[%4d]' % id, sys.exc_info()[:2]   
  6.    return id   
  7. def test():   
  8.    import socket   
  9.    socket.setdefaulttimeout(10)   
  10.    print 'start testing'   
  11.    wm = WorkerManager(10)   
  12.    for i in range(500):   
  13.        wm.add_job( test_job, i, i*0.001 )   
  14.    wm.wait_for_complete()   
  15.    print 'end testing'  

【编辑推荐】

  1. 有关Python系统文件进行介绍指导
  2. 如何正确的使用Python函数
  3. Python 构建工具进行详细介绍分析
  4. PythonAndroid浅析Python优势所在
  5. 如何使用Python模块解析配置文件?

相关内容

热门资讯

PHP新手之PHP入门 PHP是一种易于学习和使用的服务器端脚本语言。只需要很少的编程知识你就能使用PHP建立一个真正交互的...
网络中立的未来 网络中立性是什... 《牛津词典》中对“网络中立”的解释是“电信运营商应秉持的一种原则,即不考虑来源地提供所有内容和应用的...
各种千兆交换机的数据接口类型详... 千兆交换机有很多值得学习的地方,这里我们主要介绍各种千兆交换机的数据接口类型,作为局域网的主要连接设...
粉嫩如何诠释霸道 东芝M805... “霸道粉”是个什么玩意东芝M805拿过来的时候,笔者扑哧笑了,不是笑这款笔记本,而是笑这款产品的颜色...
什么是大数据安全 什么是大数据... 在《为什么需要大数据安全分析》一文中,我们已经阐述了一个重要观点,即:安全要素信息呈现出大数据的特征...
如何利用交换机和端口设置来管理... 在网络管理中,总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
全面诠释网络负载均衡 负载均衡的出现大大缓解了服务器的压力,更是有效的利用了资源,提高了效率。那么我们现在来说一下网络负载...
如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下,MySQL服务器仅侦听来自localhos...
30分钟搞定iOS自定义相机 最近公司的项目中用到了相机,由于不用系统的相机,UI给的相机切图,必须自定义才可以。就花时间简单研究...
Intel将Moblin社区控... 本周二,非营利机构Linux基金会宣布,他们将担负起Moblin社区的管理工作,而这之前,Mobli...