久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

求職意向

大數(shù)據(jù)工程師 薪資面議 隨時到崗

教育背景

2020.x -2020x 錘子簡歷大學(xué) 會計學(xué)

2020.x -2020x 黑馬程序員 云計算大數(shù)據(jù)

工作經(jīng)驗

2020.x -2020x 錘子簡歷信息技術(shù)有限公司 Hadoop開發(fā)工程師

1、主要從事軟件編碼工作。
2、需求調(diào)研，需求分析，功能模塊分析以及編碼實現(xiàn)等。
3、調(diào)整整個項目的開發(fā)周期
4、參與系統(tǒng)的業(yè)務(wù)需求分析

項目經(jīng)驗

2020.x -2020x 她社區(qū)論壇日志分析系統(tǒng) 

系統(tǒng)架構(gòu)： Spark+Hadoop+Zookeeper+Flume+Hive+Hbase+Sqoop
項目描述： 通過對她社區(qū)網(wǎng)站的日志進行分析，計算網(wǎng)站關(guān)鍵指標，其中關(guān)鍵性指標有，瀏覽量:頁面瀏覽量即為PV，是指所有用戶瀏覽頁面的總和，用戶每打開一個頁面就被記錄1 次。注冊用戶數(shù):對系統(tǒng)每天的注冊用戶數(shù)進行統(tǒng)計。獨立ip數(shù)：從某種程度上來說，獨立IP的多少，是衡量網(wǎng)站推廣活動好壞最直接的數(shù)據(jù)。跳出率=跳出數(shù)/PV：跳出率是非常重要的訪客黏性指標，它顯示了訪客對網(wǎng)站的興趣程度：跳出率越低說明流量質(zhì)量越好，訪客對網(wǎng)站的內(nèi)容越感興趣，這些訪客越可能是網(wǎng)站的有效用戶、忠實用戶。板塊訪問量pv，和板塊獨立ip訪問量。
業(yè)務(wù)描述 :
1. 參與前期項目分析，得出網(wǎng)站的關(guān)鍵性能指標
2. 對數(shù)據(jù)進行清洗
3. 負責網(wǎng)站的瀏覽量統(tǒng)計，用戶注冊統(tǒng)計等模塊的設(shè)計
主要責任：
1. 使用Flume把日志數(shù)據(jù)導(dǎo)入到Hdfs中將 明細日志使用Hbase存儲
2. 通過Spark對數(shù)據(jù)進行清洗 后使用Hive進行數(shù)據(jù)的多維分析 將結(jié)果用Sqoop導(dǎo)出到MySQL中并提供圖表和表格進行數(shù)據(jù)展示

2020.x -2020x 樂玩家社區(qū)用戶行為分析系統(tǒng) 

系統(tǒng)架構(gòu)：Hadoop+Zookeeper+Flume+Hive+Hbase+Sqoop+SSM
項目描述： 樂玩家社區(qū)是聯(lián)想手機社區(qū)論壇，用于用戶粉絲交流互動，同時發(fā)布聯(lián)想手機的各個品 牌宣傳信息，以及收集用戶反饋，用戶可以在上面發(fā)帖，提建議，發(fā)起各種交流活動，通過 對樂玩家社區(qū)網(wǎng)站的日志進行分析，計算網(wǎng)站關(guān)鍵指標，其中關(guān)鍵性指標有，瀏覽量:頁面 瀏覽量即為PV(Page View)，每日登陸用戶數(shù)UV，每周UV，。跳出率=跳出數(shù)/PV：跳出率 是非常重要的訪客黏性指標，它顯示了訪客對網(wǎng)站的興趣程度：跳出率越低說明流量質(zhì)量越 好，訪客對網(wǎng)站的內(nèi)容越感興趣，這些訪客越可能是網(wǎng)站的有效用戶、忠實用戶。板塊訪問 量pv，和板塊獨立ip訪問量。多維度用戶留存率
業(yè)務(wù)描述 :
1. 監(jiān)聽每天的日志目錄，將每天的日志文件上傳到Hdfs上相應(yīng)的目錄下
2. 對數(shù)據(jù)進行清洗
3. 用Hive進行網(wǎng)站的pv，uv，用戶注冊數(shù)，用戶留存率進行多維度分析統(tǒng)計
主要責任：
1. 使用Flume把日志數(shù)據(jù)導(dǎo)入到Hdfs中并 通過Spark對數(shù)據(jù)進行清洗
2. 使用Hive進行數(shù)據(jù)的多維分析將分析結(jié)果使用Sqoop導(dǎo)出到MySQL中
3. 提供圖表和表格進行數(shù)據(jù)展示

2020.x -2020x 爬取電商網(wǎng)站商品信息 

系統(tǒng)架構(gòu)：Hadoop+Zookeeper+Hbase+Redis+Solr+Flume+Kafka+
                Storm
項目描述： 對各大電商網(wǎng)站的指定商品類型數(shù)據(jù)的基本信息進行對比分析，給用戶提供一個推薦商品的一個功能平臺。整個項目分為四大模塊：數(shù)據(jù)采集，數(shù)據(jù)存儲，數(shù)據(jù)處理，系統(tǒng)監(jiān)控。 數(shù)據(jù)采集主要從電商網(wǎng)站上面爬取相應(yīng)的商品信息，比如商品的圖片，商品的價格，商品的詳細參數(shù)等。數(shù)據(jù)存儲主要是把從電商網(wǎng)站上面爬取來的數(shù)據(jù)，根據(jù)數(shù)據(jù)的類型不同，存儲到指定的數(shù)據(jù)倉庫中。 數(shù)據(jù)處理我們需要對Hbase的原始數(shù)據(jù)建立索引，方便用Solr進行查詢。系統(tǒng)監(jiān)控我們使用Zookeeper對各節(jié)點的信息進行監(jiān)控，使用log4j記錄日志，先寫入到kafka，后臺的Storm程序?qū)?shù)據(jù)進行消費匯總，最后將數(shù)據(jù)存入到MySQL中 。
業(yè)務(wù)描述 :
1. 負責系統(tǒng)的監(jiān)控，利用Zookeeper對集群中的各個節(jié)點進行監(jiān)控，當其中的有節(jié)點宕機了，會用郵 件通知運維人員進行相應(yīng)的處理
2. 負責將獲取來的數(shù)據(jù)信息存放到Hbase數(shù)據(jù)庫中，并且對數(shù)據(jù)建立索引等操作
主要責任：
1. 對采集的數(shù)據(jù)進行存儲，根據(jù)數(shù)據(jù)的類型和運用場景不同，分別存放到Redis和Hbase中并使用web前端框架,對數(shù)據(jù)進行展現(xiàn)
2. 同時對采集的商品信息通過Solr建立索引，方便后續(xù)查詢
3. 系統(tǒng)監(jiān)控，主要是正對于集群中的硬件以及集群的節(jié)點的運行狀體進行監(jiān)控

2020.x -2020x 楓葉連鎖酒店客戶評價分析 

項目架構(gòu):SSM+Kafka+Hadoop+Hive+Spark+Flume
項目簡介：面向酒店的咨詢服務(wù)通過對酒店房間的住宿統(tǒng)計分析，幫助酒店提高收益。通過對酒店客戶的用戶畫像分析，幫助酒店更好的了解客戶。監(jiān)控網(wǎng)絡(luò)上的負面評價，及時作出處理，提升酒店品牌形象。
業(yè)務(wù)描述 :
1. 負責將爬取到的數(shù)據(jù)解析出來
2. 負責系統(tǒng)的監(jiān)控，利用zookeeper對集群中的各個節(jié)點進行監(jiān)控，當其中的有節(jié)點宕機了，會用郵 件通知運維人員進行相應(yīng)的處理
3. 負責將獲取來的數(shù)據(jù)信息存放到hbase數(shù)據(jù)庫中，并且對數(shù)據(jù)建立索引等
主要責任：
1. 使用Flume將爬取的數(shù)據(jù)上傳到Hdfs上相應(yīng)的目錄下
2. 將百度自然語言處理api返回的情感傾向保存到Hive上
3. 使用Hive分析情感傾向及評論觀點，使用Sqoop導(dǎo)出到MySQL中并提供圖表和表格進行數(shù)據(jù)展示

自我評價

參與過多個項目的開發(fā)，熟悉常見業(yè)務(wù)處理，能快速融入團隊； 邏輯思維能力強，思路清楚，學(xué)習能力強，對新技術(shù)有著強烈的好奇心； 樂于與用戶以及同事和領(lǐng)導(dǎo)溝通，以便快速解決項目遇到的問題； 具有良好的英語閱讀能力，能閱讀英文資料、技術(shù)文檔等