日韩第一精品,五月天丁香亚洲,欲望之翼中文字幕电影完整版未删减百度云,沉默的冰山电影完整版在线观看,2024久久精品,俺来俺去www,黑人性hd

大模型數(shù)據(jù)爬取、清洗工程師
崗位職責(zé):
為人工智能領(lǐng)域研究提供高質(zhì)量數(shù)據(jù)集，包括但不僅限于以下工作內(nèi)容：
1、負(fù)責(zé)設(shè)計、開發(fā)、維護(hù)數(shù)據(jù)采集代碼，收集互聯(lián)網(wǎng)公開數(shù)據(jù)
2、負(fù)責(zé)指定網(wǎng)頁、小程序、APP等內(nèi)容采集以及抽取和去重等工作
3、負(fù)責(zé)合作數(shù)據(jù)對接、數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫等工作
任職要求：
1、2年及以上工作經(jīng)驗計算機(jī)相關(guān)專業(yè)，擅長互聯(lián)網(wǎng)數(shù)據(jù)采集、大數(shù)據(jù)處理等一項或多項，富有責(zé)任心。
2、熟練掌握Python語言，對數(shù)據(jù)敏感，具有良好的邏輯分析能力；
3、熟悉Linux系統(tǒng)，精通Python編程語言，熟悉爬蟲原理、常見的反爬蟲技術(shù)和cookie的登錄原理，掌握requests，selenium，scrapy等模塊的用法，
4、熟悉常見的數(shù)據(jù)庫，如redis、mongodb和mysql等其中一種或幾種，有數(shù)據(jù)清洗分析的工作經(jīng)驗，了解大數(shù)據(jù)平臺的基本原理；
5、熟悉多線程、反爬蟲、驗證碼識并精通網(wǎng)頁抓取原理及技術(shù)，熟練使用正則表達(dá)式、csspath、xpath等獲取信息；
6、熟悉爬取的各類實現(xiàn)方式和技術(shù)細(xì)節(jié)，包括不限于：熟悉常見的反爬策略、掌握網(wǎng)絡(luò)協(xié)議分析（http1.1/http2等）、有JavaScript反爬/逆向（AST）、APP反爬/逆向等；
熱愛技術(shù)，喜歡鉆研，注重代碼質(zhì)量，工作認(rèn)真細(xì)致，有良好的協(xié)作意識；
五天八小時工作制，