久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

求職意向

大數(shù)據(jù)工程師 薪資面議 隨時(shí)到崗

教育背景

2020.x -2020x 錘子簡(jiǎn)歷大學(xué) 會(huì)計(jì)學(xué)

2020.x -2020x 黑馬程序員 云計(jì)算大數(shù)據(jù)

工作經(jīng)驗(yàn)

2020.x -2020x 錘子簡(jiǎn)歷信息技術(shù)有限公司 Hadoop開(kāi)發(fā)工程師

1、主要從事軟件編碼工作。
2、需求調(diào)研，需求分析，功能模塊分析以及編碼實(shí)現(xiàn)等。
3、調(diào)整整個(gè)項(xiàng)目的開(kāi)發(fā)周期
4、參與系統(tǒng)的業(yè)務(wù)需求分析

項(xiàng)目經(jīng)驗(yàn)

2020.x -2020x 她社區(qū)論壇日志分析系統(tǒng) 

系統(tǒng)架構(gòu)： Spark+Hadoop+Zookeeper+Flume+Hive+Hbase+Sqoop
項(xiàng)目描述： 通過(guò)對(duì)她社區(qū)網(wǎng)站的日志進(jìn)行分析，計(jì)算網(wǎng)站關(guān)鍵指標(biāo)，其中關(guān)鍵性指標(biāo)有，瀏覽量:頁(yè)面瀏覽量即為PV，是指所有用戶(hù)瀏覽頁(yè)面的總和，用戶(hù)每打開(kāi)一個(gè)頁(yè)面就被記錄1 次。注冊(cè)用戶(hù)數(shù):對(duì)系統(tǒng)每天的注冊(cè)用戶(hù)數(shù)進(jìn)行統(tǒng)計(jì)。獨(dú)立ip數(shù)：從某種程度上來(lái)說(shuō)，獨(dú)立IP的多少，是衡量網(wǎng)站推廣活動(dòng)好壞最直接的數(shù)據(jù)。跳出率=跳出數(shù)/PV：跳出率是非常重要的訪(fǎng)客黏性指標(biāo)，它顯示了訪(fǎng)客對(duì)網(wǎng)站的興趣程度：跳出率越低說(shuō)明流量質(zhì)量越好，訪(fǎng)客對(duì)網(wǎng)站的內(nèi)容越感興趣，這些訪(fǎng)客越可能是網(wǎng)站的有效用戶(hù)、忠實(shí)用戶(hù)。板塊訪(fǎng)問(wèn)量pv，和板塊獨(dú)立ip訪(fǎng)問(wèn)量。
業(yè)務(wù)描述 :
1. 參與前期項(xiàng)目分析，得出網(wǎng)站的關(guān)鍵性能指標(biāo)
2. 對(duì)數(shù)據(jù)進(jìn)行清洗
3. 負(fù)責(zé)網(wǎng)站的瀏覽量統(tǒng)計(jì)，用戶(hù)注冊(cè)統(tǒng)計(jì)等模塊的設(shè)計(jì)
主要責(zé)任：
1. 使用Flume把日志數(shù)據(jù)導(dǎo)入到Hdfs中將 明細(xì)日志使用Hbase存儲(chǔ)
2. 通過(guò)Spark對(duì)數(shù)據(jù)進(jìn)行清洗 后使用Hive進(jìn)行數(shù)據(jù)的多維分析 將結(jié)果用Sqoop導(dǎo)出到MySQL中并提供圖表和表格進(jìn)行數(shù)據(jù)展示

2020.x -2020x 樂(lè)玩家社區(qū)用戶(hù)行為分析系統(tǒng) 

系統(tǒng)架構(gòu)：Hadoop+Zookeeper+Flume+Hive+Hbase+Sqoop+SSM
項(xiàng)目描述： 樂(lè)玩家社區(qū)是聯(lián)想手機(jī)社區(qū)論壇，用于用戶(hù)粉絲交流互動(dòng)，同時(shí)發(fā)布聯(lián)想手機(jī)的各個(gè)品 牌宣傳信息，以及收集用戶(hù)反饋，用戶(hù)可以在上面發(fā)帖，提建議，發(fā)起各種交流活動(dòng)，通過(guò) 對(duì)樂(lè)玩家社區(qū)網(wǎng)站的日志進(jìn)行分析，計(jì)算網(wǎng)站關(guān)鍵指標(biāo)，其中關(guān)鍵性指標(biāo)有，瀏覽量:頁(yè)面 瀏覽量即為PV(Page View)，每日登陸用戶(hù)數(shù)UV，每周UV，。跳出率=跳出數(shù)/PV：跳出率 是非常重要的訪(fǎng)客黏性指標(biāo)，它顯示了訪(fǎng)客對(duì)網(wǎng)站的興趣程度：跳出率越低說(shuō)明流量質(zhì)量越 好，訪(fǎng)客對(duì)網(wǎng)站的內(nèi)容越感興趣，這些訪(fǎng)客越可能是網(wǎng)站的有效用戶(hù)、忠實(shí)用戶(hù)。板塊訪(fǎng)問(wèn) 量pv，和板塊獨(dú)立ip訪(fǎng)問(wèn)量。多維度用戶(hù)留存率
業(yè)務(wù)描述 :
1. 監(jiān)聽(tīng)每天的日志目錄，將每天的日志文件上傳到Hdfs上相應(yīng)的目錄下
2. 對(duì)數(shù)據(jù)進(jìn)行清洗
3. 用Hive進(jìn)行網(wǎng)站的pv，uv，用戶(hù)注冊(cè)數(shù)，用戶(hù)留存率進(jìn)行多維度分析統(tǒng)計(jì)
主要責(zé)任：
1. 使用Flume把日志數(shù)據(jù)導(dǎo)入到Hdfs中并 通過(guò)Spark對(duì)數(shù)據(jù)進(jìn)行清洗
2. 使用Hive進(jìn)行數(shù)據(jù)的多維分析將分析結(jié)果使用Sqoop導(dǎo)出到MySQL中
3. 提供圖表和表格進(jìn)行數(shù)據(jù)展示

2020.x -2020x 爬取電商網(wǎng)站商品信息 

系統(tǒng)架構(gòu)：Hadoop+Zookeeper+Hbase+Redis+Solr+Flume+Kafka+
                Storm
項(xiàng)目描述： 對(duì)各大電商網(wǎng)站的指定商品類(lèi)型數(shù)據(jù)的基本信息進(jìn)行對(duì)比分析，給用戶(hù)提供一個(gè)推薦商品的一個(gè)功能平臺(tái)。整個(gè)項(xiàng)目分為四大模塊：數(shù)據(jù)采集，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)處理，系統(tǒng)監(jiān)控。 數(shù)據(jù)采集主要從電商網(wǎng)站上面爬取相應(yīng)的商品信息，比如商品的圖片，商品的價(jià)格，商品的詳細(xì)參數(shù)等。數(shù)據(jù)存儲(chǔ)主要是把從電商網(wǎng)站上面爬取來(lái)的數(shù)據(jù)，根據(jù)數(shù)據(jù)的類(lèi)型不同，存儲(chǔ)到指定的數(shù)據(jù)倉(cāng)庫(kù)中。 數(shù)據(jù)處理我們需要對(duì)Hbase的原始數(shù)據(jù)建立索引，方便用Solr進(jìn)行查詢(xún)。系統(tǒng)監(jiān)控我們使用Zookeeper對(duì)各節(jié)點(diǎn)的信息進(jìn)行監(jiān)控，使用log4j記錄日志，先寫(xiě)入到kafka，后臺(tái)的Storm程序?qū)?shù)據(jù)進(jìn)行消費(fèi)匯總，最后將數(shù)據(jù)存入到MySQL中 。
業(yè)務(wù)描述 :
1. 負(fù)責(zé)系統(tǒng)的監(jiān)控，利用Zookeeper對(duì)集群中的各個(gè)節(jié)點(diǎn)進(jìn)行監(jiān)控，當(dāng)其中的有節(jié)點(diǎn)宕機(jī)了，會(huì)用郵 件通知運(yùn)維人員進(jìn)行相應(yīng)的處理
2. 負(fù)責(zé)將獲取來(lái)的數(shù)據(jù)信息存放到Hbase數(shù)據(jù)庫(kù)中，并且對(duì)數(shù)據(jù)建立索引等操作
主要責(zé)任：
1. 對(duì)采集的數(shù)據(jù)進(jìn)行存儲(chǔ)，根據(jù)數(shù)據(jù)的類(lèi)型和運(yùn)用場(chǎng)景不同，分別存放到Redis和Hbase中并使用web前端框架,對(duì)數(shù)據(jù)進(jìn)行展現(xiàn)
2. 同時(shí)對(duì)采集的商品信息通過(guò)Solr建立索引，方便后續(xù)查詢(xún)
3. 系統(tǒng)監(jiān)控，主要是正對(duì)于集群中的硬件以及集群的節(jié)點(diǎn)的運(yùn)行狀體進(jìn)行監(jiān)控

2020.x -2020x 楓葉連鎖酒店客戶(hù)評(píng)價(jià)分析 

項(xiàng)目架構(gòu):SSM+Kafka+Hadoop+Hive+Spark+Flume
項(xiàng)目簡(jiǎn)介：面向酒店的咨詢(xún)服務(wù)通過(guò)對(duì)酒店房間的住宿統(tǒng)計(jì)分析，幫助酒店提高收益。通過(guò)對(duì)酒店客戶(hù)的用戶(hù)畫(huà)像分析，幫助酒店更好的了解客戶(hù)。監(jiān)控網(wǎng)絡(luò)上的負(fù)面評(píng)價(jià)，及時(shí)作出處理，提升酒店品牌形象。
業(yè)務(wù)描述 :
1. 負(fù)責(zé)將爬取到的數(shù)據(jù)解析出來(lái)
2. 負(fù)責(zé)系統(tǒng)的監(jiān)控，利用zookeeper對(duì)集群中的各個(gè)節(jié)點(diǎn)進(jìn)行監(jiān)控，當(dāng)其中的有節(jié)點(diǎn)宕機(jī)了，會(huì)用郵 件通知運(yùn)維人員進(jìn)行相應(yīng)的處理
3. 負(fù)責(zé)將獲取來(lái)的數(shù)據(jù)信息存放到hbase數(shù)據(jù)庫(kù)中，并且對(duì)數(shù)據(jù)建立索引等
主要責(zé)任：
1. 使用Flume將爬取的數(shù)據(jù)上傳到Hdfs上相應(yīng)的目錄下
2. 將百度自然語(yǔ)言處理api返回的情感傾向保存到Hive上
3. 使用Hive分析情感傾向及評(píng)論觀點(diǎn)，使用Sqoop導(dǎo)出到MySQL中并提供圖表和表格進(jìn)行數(shù)據(jù)展示

自我評(píng)價(jià)

參與過(guò)多個(gè)項(xiàng)目的開(kāi)發(fā)，熟悉常見(jiàn)業(yè)務(wù)處理，能快速融入團(tuán)隊(duì)； 邏輯思維能力強(qiáng)，思路清楚，學(xué)習(xí)能力強(qiáng)，對(duì)新技術(shù)有著強(qiáng)烈的好奇心； 樂(lè)于與用戶(hù)以及同事和領(lǐng)導(dǎo)溝通，以便快速解決項(xiàng)目遇到的問(wèn)題； 具有良好的英語(yǔ)閱讀能力，能閱讀英文資料、技術(shù)文檔等