1、熟悉Java网络爬虫框架（jsoup、Selenium、HttpClient、htmlUnit等至少一种）；

2、熟练使用正则表达式、xpath、css、选择器等页面提取方式，能够从结构化的和非结构化的数据中提取信息；

3、熟悉redis、rabbitMQ等消息中间件技术；

4、熟悉redis、MongoDB、Cassandra等至少一种飞关系型存储的开发；

5、熟悉反爬虫技术，了解反爬虫机制；

6、熟悉Spring（Spring-Boot）、MyBatis等主流的开发框架，并有Web应用的开发经验；

优先条件：有大数据相关经验，熟悉mapreduce/spark等计算机框架优先