自定义的worker用于处理各种特殊需求。
有网友想用html_json提取雪球网（https://xueqiu.com/）的数据，可是雪球网用了反爬虫技术，网站要求有cookies才能访问到json文件，否则不让访问。在普通的浏览器上，先访问一下首页就有cookies了。
于是写一个雪球网专用的worker，基本复用html_json。它先访问雪球的首页获取cookies，再用这个cookies访问json文件，然后再把json文件交给html_json的代码处理数据。
写一个worker，只要准备两个函数就可以了：
1、用@worker('xueqiu')装饰的函数是xueqiu的worker，它有两个参数：
- 参数data_dict是保存信息源data内容的字典，也就是驱动worker工作的数据，是由下面那个函数生成的。
- 参数worker_dict也是字典，可以存放一些动态数据，供下次运行此worker时使用。这里没有用到它。
如果在运行worker时出现异常，可以用c_worker_exception(title, url='', summary='')生成一条异常信息，以便更清晰地向用户描述出现的问题，具体方法可参考html_re、html_json。
2、用@dataparser('xueqiu')装饰的函数是xueqiu的xml解析器，它的作用是把信息源xml里的data翻译成一个字典，也就是worker的参数data_dict。有一个参数：
- 参数xml_string是信息源xml文件的完整内容，一个字符串。
把程序以utf-8编码保存为xueqiu.py，放到src/workers目录下，重启程序就可以用了。
实际用法和html_json完全一样，只不过xml里的worker要换成xueqiu。
# coding=utf-8
import urllib.request from http.cookiejar import CookieJar from worker_manage import worker, dataparser from . import html_json ua = ('Mozilla/5.0 (Windows NT 6.1; rv:38.0)' ' Gecko/20100101 Firefox/38.0') # 从首页得到cookies def get_cookies(): # build opener proxy = urllib.request.ProxyHandler({}) cj = urllib.request.HTTPCookieProcessor(CookieJar()) opener = urllib.request.build_opener(proxy, cj) # request req = urllib.request.Request('https://xueqiu.com/') req.add_header('User-Agent', ua) # open r = opener.open(req) return cj # 下载指定网址 def get_url(cj, url): # build opener proxy = urllib.request.ProxyHandler({}) opener = urllib.request.build_opener(proxy, cj) # request req = urllib.request.Request(url) req.add_header('User-Agent', ua) # open r = opener.open(req) ret_data = r.read().decode('utf-8') return ret_data @worker('xueqiu') def xueqiu_worker(data_dict, worker_dict): # 得到cookies cj = get_cookies() # 用cookies下载指定网址 url = data_dict['url'] string = get_url(cj, url) # 用html_json解析数据 return html_json.parse_html(data_dict, url, string) @dataparser('xueqiu') def xueqiu_parser(xml_string): return html_json.html_json_parser(xml_string)
这个worker很简陋，没有考虑网络超时、自动重试，也没有用c_worker_exception生成更清晰的异常信息。
如果用它抓取的是国内金融交易数据，还可以精益求精，加上时间判断，在非交易时段直接返回一个空列表。