職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
【保定總部工作】
1. 負責定向數據的采集與爬取、解析處理、入庫及備份等數據日常工作;
2. 研究主流網站的爬取方法及數據清洗處理,負責非定向數據的清洗、整理、整合及合并等工作;
3. 參與分布式爬蟲的框架的維護與開發(fā);負責公司采集系統(tǒng)架構開發(fā)和性能優(yōu)化;爬蟲框架工具化,使數據采集人員簡單適用,高效采集數據;
4. 及時解決生產上的系統(tǒng)問題,并對用戶提供技術支持;并能根據項目安排采集指定站點數據;
5. 其他部門內數據相關工作。
任職資格:
1. 本科以上學歷,計算機相關專業(yè);
2. 5年以上Python開發(fā)經驗,至少2個以上完整的中大型爬蟲開發(fā)經驗;
3. 熟練掌握基于爬蟲框架Selenuim、Scrapy、PySpider、Crawley,puppeteer;
4. 熟悉瀏覽器運行原理,懂得js逆向,熟悉web端常用反爬技術;
5. 熟悉抓包工具(Wireshark、Fiddler、charles等);
6. 熟練使用一種以上數據庫(Doris/MySQL/mongodb)與消息中間件kafka;7. 具有反爬解決經驗,對Js逆向、封IP 、復雜驗證碼、模擬Cookie 登錄等,有過實際經驗;
工作地點
地址:北京大興區(qū)北京-大興區(qū)亦城時代北京大興區(qū)亦城時代廣場T5-16層
??
點擊查看地圖
詳細位置,可以參考上方地址信息
求職提示:用人單位發(fā)布虛假招聘信息,或以任何名義向求職者收取財物(如體檢費、置裝費、押金、服裝費、培訓費、身份證、畢業(yè)證等),均涉嫌違法,請求職者務必提高警惕。
職位發(fā)布者
閆先生HR
長城汽車股份有限公司
-
汽車·摩托車
-
1000人以上
-
私營·民營企業(yè)
-
河北保定市太行路1234號

應屆畢業(yè)生
本科
最近更新
467人關注
注:聯系我時,請說是在江蘇人才網上看到的。
