案例:多线程爬虫+json存储

Queue是python中的标准库，可以直接import Queue引用;队列是线程间最常用的交换数据的形式

python下多线程的思考

对于资源，加锁是个重要的环节。因为python原生的list,dict等，都是not thread safe的。而Queue，是线程安全的，因此在满足使用条件下，建议使用队列。

1. 初始化： class Queue.Queue(maxsize) FIFO 先进先出
2. 包中的常用方法:
   • Queue.qsize() 返回队列的大小
   • Queue.empty() 如果队列为空，返回True,反之False
   • Queue.full() 如果队列满了，返回True,反之False
   • Queue.full 与 maxsize 大小对应
   • Queue.get([block[, timeout]])获取队列，timeout等待时间
3. 创建一个“队列”对象
   • import Queue
   • myqueue = Queue.Queue(maxsize = 10)
   • 将一个值放入队列中
   • myqueue.put(10)
4. 将一个值从队列中取出
   • myqueue.get()

多线程示意图