我正在寻找关于线程安全信息urllib2和httplib。官方文档(http://docs.python.org/library/urllib2.html和http://docs.python.org/library/httplib.html)缺少有关此主题的任何信息。那里甚至没有提到 线程 一词…
urllib2
httplib
更新
好的,它们不是线程安全的。使它们具有线程安全性需要什么,或者存在使它们具有线程安全性的情况?我问是因为好像
OpenerDirector
httplib和urllib2是 不是 线程安全的。
urllib2不提供对全局(共享)OpenerDirector对象的序列化访问 urllib2.urlopen()。
urllib2.urlopen()
同样,httplib不提供对HTTPConnection对象的序列化访问(即通过使用线程安全的连接池),因此HTTPConnection在线程之间共享对象也不安全。
HTTPConnection
如果需要线程安全,建议使用httplib2或urllib3作为替代。
通常,如果模块的文档 中没有提到线程安全 ,则我认为它不是线程安全的。您可以查看模块的源代码以进行验证。
在浏览源代码以确定模块是否是线程安全的时,您可以从threading或multiprocessing模块中查找对线程同步原语的用法,或从中查找 queue.Queue。
threading
multiprocessing
queue.Queue
以下是urllib2.py(Python 2.7.2)的相关源代码片段:
urllib2.py
_opener = None def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT): global _opener if _opener is None: _opener = build_opener() return _opener.open(url, data, timeout) def install_opener(opener): global _opener _opener = opener
当并发线程调用install_opener()和时,存在明显的竞争条件urlopen()。
install_opener()
urlopen()
另外,请注意,urlopen()使用Request对象作为url参数进行调用可能会使该Request对象发生变化(请参见参考资料中的OpenerDirector.open()),因此并发调用urlopen()共享Request对象并不安全。
Request
url
OpenerDirector.open()
urlopen()如果满足以下条件,则总的来说是线程安全的: