久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

求職意向

后端開發(fā) 山西太原 薪資面議 隨時(shí)到崗

教育背景

2020.x -2020x 錘子簡(jiǎn)歷大學(xué) 會(huì)計(jì)與審計(jì)

工作經(jīng)驗(yàn)

2020.x -2020x 錘子簡(jiǎn)歷信息技術(shù)有限公司 python開發(fā)工程師

• 負(fù)責(zé)大量爬蟲得開發(fā)
• 根據(jù)公司設(shè)計(jì)文檔或需求說明獨(dú)立完成功能模塊的編寫工作；
  

• 與公司產(chǎn)品工程師、前端工程師進(jìn)行溝通，實(shí)現(xiàn)公司W(wǎng)eb產(chǎn)品后臺(tái)研發(fā)；
  

• 完成站點(diǎn)系統(tǒng)代碼的實(shí)現(xiàn)，編寫代碼注釋和開發(fā)文檔；
  
• 通力合作，與項(xiàng)目團(tuán)隊(duì)分析并解決日常開發(fā)過程中的問題；
• 協(xié)助測(cè)試工程師完成功能模塊中基礎(chǔ)功能的測(cè)試及 Bug 修改，修復(fù)程序缺陷
  

項(xiàng)目經(jīng)驗(yàn)

2020.x -2020x 愛多商城 

• 項(xiàng)目名稱：裁判文書爬蟲開發(fā)
• 項(xiàng)目環(huán)境：scrapy

• 項(xiàng)目職責(zé)： 裁判文書，為公司的一大重點(diǎn)爬蟲，我負(fù)責(zé)維護(hù)以及改版重新開發(fā)，其中大大小小改版10余次，目前還在正常運(yùn)行，其中運(yùn)用到了種子保全，nodejs破解等的服務(wù)，種子保全主要是因?yàn)榕老x是需要消耗種子以達(dá)到搜索的目的，以往的種子類型爬蟲，主要是將種子存放到ssdb中，爬蟲在ssdb隊(duì)列中，獲取種子進(jìn)行搜索，但由于裁判文書的種子，會(huì)有無效種子，也會(huì)有失敗的案例，為了更好的統(tǒng)計(jì)以及盡量不丟失種子，爬蟲接入了種子保全，流程為，將種子依舊灌入到ssdb隊(duì)列，但種子保全服務(wù)，需要將灌入的種子實(shí)時(shí)的遷徙到mongodb中，并且給每一個(gè)種子增加一個(gè)唯一id，以及一個(gè)時(shí)間戳，這個(gè)時(shí)間戳的用處是如果該種子被取走但抓取失敗后，并不會(huì)從mongodb中消失，而是會(huì)設(shè)置一個(gè)字段來標(biāo)記已經(jīng)是被消耗的種子，等到第二天才會(huì)把標(biāo)記抹除。爬蟲會(huì)調(diào)用單獨(dú)的接口去獲取種子，等到抓取完畢之后調(diào)用刪除接口將該種子刪掉，如果爬蟲根據(jù)該種子沒有搜到數(shù)據(jù)，調(diào)用單獨(dú)接口，指定狀態(tài)碼，再將該種子刪除。nodejs服務(wù)主要是為了破解網(wǎng)站將cookie加密，調(diào)用指定方法，破解js，獲取到正確的cookie，其中該爬蟲也用到了des3破解，使用python語言加密的參數(shù)解密。

2020.x -2020x  

• 項(xiàng)目名稱：采集平臺(tái)
• 項(xiàng)目簡(jiǎn)介：統(tǒng)一管理爬蟲并所有爬蟲進(jìn)行異常監(jiān)控
• 項(xiàng)目環(huán)境：Flask+ Linux + MySQL +Django+ssdb+ Redis 
  

• 項(xiàng)目職責(zé)： 該平臺(tái)主要是用來管理爬蟲的一個(gè)采集平臺(tái)，其中有任務(wù)管理，監(jiān)控中心，智能監(jiān)控，定時(shí)器管理，數(shù)據(jù)查詢，項(xiàng)目和分類幾大模塊，其中任務(wù)管理主要是為了統(tǒng)一管理爬蟲的停止及啟動(dòng)，也可以統(tǒng)計(jì)爬蟲的抓取量，監(jiān)控中心，也是監(jiān)控每天所有爬蟲的統(tǒng)計(jì)量，智能監(jiān)控則是監(jiān)控有無異常爬蟲及異常原因，定期會(huì)將異常爬蟲整理以郵件的形式發(fā)送給維護(hù)人，定時(shí)器管理為增加及修改定時(shí)器，關(guān)聯(lián)到任務(wù)本身，定時(shí)啟動(dòng)，數(shù)據(jù)查詢也可以查詢指定爬蟲的原文數(shù)量及結(jié)果數(shù)量，項(xiàng)目和分類則是將爬蟲歸類到不同的分類中，以便統(tǒng)一管理。
  

2020.x -2020x 食文化 

• 項(xiàng)目名稱：澄鏡項(xiàng)目
• 項(xiàng)目環(huán)境： MySQL + SSDB + Redis + scrapy
  
• 項(xiàng)目職責(zé)： 爬蟲框架的調(diào)試，將數(shù)據(jù)庫與框架連接，以及進(jìn)行爬蟲的開發(fā)

自我評(píng)價(jià)

• 本人為人誠(chéng)懇、樂觀向上、擁有較強(qiáng)得適應(yīng)能力；
• 富有團(tuán)隊(duì)精神和團(tuán)隊(duì)意識(shí)，熱衷于學(xué)習(xí)新技能