應屆畢業(yè)生
本科
最近更新
467人關注
職位描述
該職位還未進行加V認證，請仔細了解后再進行投遞！
【保定總部工作】
1. 負責定向數據的采集與爬取、解析處理、入庫及備份等數據日常工作；
2. 研究主流網站的爬取方法及數據清洗處理，負責非定向數據的清洗、整理、整合及合并等工作；
3. 參與分布式爬蟲的框架的維護與開發(fā)；負責公司采集系統(tǒng)架構開發(fā)和性能優(yōu)化；爬蟲框架工具化，使數據采集人員簡單適用，高效采集數據；
4. 及時解決生產上的系統(tǒng)問題，并對用戶提供技術支持；并能根據項目安排采集指定站點數據；
5. 其他部門內數據相關工作。
任職資格：
1. 本科以上學歷，計算機相關專業(yè)；
2. 5年以上Python開發(fā)經驗，至少2個以上完整的中大型爬蟲開發(fā)經驗；
3. 熟練掌握基于爬蟲框架Selenuim、Scrapy、PySpider、Crawley，puppeteer；
4. 熟悉瀏覽器運行原理，懂得js逆向，熟悉web端常用反爬技術；
5. 熟悉抓包工具(Wireshark、Fiddler、charles等)；
6. 熟練使用一種以上數據庫(Doris/MySQL/mongodb)與消息中間件kafka；7. 具有反爬解決經驗，對Js逆向、封IP 、復雜驗證碼、模擬Cookie 登錄等，有過實際經驗；
注：聯系我時，請說是在江蘇人才網上看到的。
工作地點
地址：北京大興區(qū)北京-大興區(qū)亦城時代北京大興區(qū)亦城時代廣場T5-16層
??
點擊查看地圖
詳細位置，可以參考上方地址信息
求職提示：用人單位發(fā)布虛假招聘信息，或以任何名義向求職者收取財物（如體檢費、置裝費、押金、服裝費、培訓費、身份證、畢業(yè)證等），均涉嫌違法，請求職者務必提高警惕。
職位發(fā)布者
閆先生HR
長城汽車股份有限公司
-
汽車·摩托車
-
1000人以上
-
私營·民營企業(yè)
-
河北保定市太行路1234號
