- 发布日期：
- 2018-08-13 11:12:16
- 职位名称：
- AI爬虫工程师
- 所属行业：
- 所在省份：
- 上海
- 薪资范围：
- 联系方式：
- jobs@dsi.com.cn
职位描述
工作职责
负责公司内互联网网页、图片、音视频等数据爬虫的架构设计、开发、实现
与Research部门对接，一起完成互联网数据爬取任务
使用大数据工具处理爬取数据
岗位要求
对技术有热爱和好奇心，热爱挑战
熟悉至少一种爬虫框架(scrapy、pyspider)，了解其实现原理。
熟练使用python、java、scala等编程语言
熟悉HTTP协议和网页前后端技术，了解如何解析网页爬取信息
熟悉分布式爬虫设计原理，使用过常见的分布式间件(比如RabbitMQ, Redis, zookeeper, kafka等)及数据库(mysql, mongodb)
了解常见的反爬虫机制和应对手段
3年以上工作经验
良好的沟通能力
有领导团队经验者优先
负责公司内互联网网页、图片、音视频等数据爬虫的架构设计、开发、实现
与Research部门对接，一起完成互联网数据爬取任务
使用大数据工具处理爬取数据
岗位要求
对技术有热爱和好奇心，热爱挑战
熟悉至少一种爬虫框架(scrapy、pyspider)，了解其实现原理。
熟练使用python、java、scala等编程语言
熟悉HTTP协议和网页前后端技术，了解如何解析网页爬取信息
熟悉分布式爬虫设计原理，使用过常见的分布式间件(比如RabbitMQ, Redis, zookeeper, kafka等)及数据库(mysql, mongodb)
了解常见的反爬虫机制和应对手段
3年以上工作经验
良好的沟通能力
有领导团队经验者优先