日韩第一精品,五月天丁香亚洲,欲望之翼中文字幕电影完整版未删减百度云,沉默的冰山电影完整版在线观看,2024久久精品,俺来俺去www,黑人性hd

職位描述：
崗位職責(zé)：
1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì)、開發(fā)。
2、完成帶領(lǐng)團(tuán)隊(duì)完成數(shù)據(jù)采集爬取、解析提取、清洗入庫(kù)等數(shù)據(jù)生產(chǎn)工作。
3、研究網(wǎng)頁(yè)特點(diǎn)和規(guī)律，對(duì)網(wǎng)頁(yè)信息進(jìn)行分類、抽取、數(shù)據(jù)清洗、存儲(chǔ)結(jié)構(gòu)等研發(fā)和優(yōu)化工作。
4、負(fù)責(zé)定向爬取視頻資源及相關(guān)聯(lián)信息。
5、負(fù)責(zé)領(lǐng)域知識(shí)的定向爬取、深度提取和挖掘。
6、對(duì)數(shù)據(jù)進(jìn)行清洗、整理、去重及合并等工作。
任職資格：
1、大專以上學(xué)歷，3年以上python/java或c#開發(fā)經(jīng)驗(yàn)，熟悉一種開源爬蟲系統(tǒng)實(shí)現(xiàn)或作為主力參與過(guò)一個(gè)完整的爬蟲開發(fā)項(xiàng)目。
2、熟悉網(wǎng)頁(yè)爬取原理及技術(shù)，熟悉深度抓取、動(dòng)態(tài)網(wǎng)頁(yè)抓取技術(shù)、熟悉請(qǐng)求偽裝，模擬登陸，代理應(yīng)用，爬蟲和反爬技術(shù)。
3、精通正則表達(dá)式、javascript、json、http協(xié)議、html，善于從各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中抽取有用的信息。
4、熟練多線程技術(shù)、網(wǎng)絡(luò)編程技術(shù)等相關(guān)優(yōu)勢(shì)經(jīng)驗(yàn)者優(yōu)先。
5、熟悉hadoop、hbase、zookeeper、spark、storm、solr、hive、kafka、redis、mongodb等相關(guān)技術(shù)者優(yōu)先；具有驗(yàn)證碼破解經(jīng)驗(yàn)者優(yōu)先。