久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

求職意向

大數(shù)據(jù)工程師 薪資面議 隨時(shí)到崗

教育背景

2020.x -2020x 錘子簡歷大學(xué) 會(huì)計(jì)學(xué)

2020.x -2020x 黑馬程序員 云計(jì)算大數(shù)據(jù)

工作經(jīng)驗(yàn)

2020.x -2020x 錘子簡歷信息技術(shù)有限公司 Hadoop開發(fā)工程師

1、主要從事軟件編碼工作。
2、需求調(diào)研，需求分析，功能模塊分析以及編碼實(shí)現(xiàn)等。
3、調(diào)整整個(gè)項(xiàng)目的開發(fā)周期
4、參與系統(tǒng)的業(yè)務(wù)需求分析

項(xiàng)目經(jīng)驗(yàn)

2020.x -2020x 她社區(qū)論壇日志分析系統(tǒng) 

系統(tǒng)架構(gòu)： Spark+Hadoop+Flume+Hbase+Sqoop
項(xiàng)目描述： 她社區(qū)以女性社區(qū)為切入點(diǎn)，用戶可自發(fā)根據(jù)自己的興趣建立屬于自己的圈子，發(fā)帖交友，通過對她社區(qū)網(wǎng)站的日志進(jìn)行用戶日志和安全日志進(jìn)行分析，用戶模塊分析用戶行為信息，計(jì)算網(wǎng)站關(guān)鍵指標(biāo)PV，UV，注冊用戶數(shù)，獨(dú)立ip數(shù)，跳出率等，安全模塊分析服務(wù)器、防火墻等設(shè)備的日志，供安全審計(jì)系統(tǒng)使用，用于監(jiān)控系統(tǒng)安全、進(jìn)行可信取證等
業(yè)務(wù)描述 :
1. 監(jiān)聽每天的日志目錄，將每天的日志文件上傳到Hdfs上相應(yīng)的目錄下并進(jìn)行處理，分析數(shù)據(jù)生成相應(yīng)報(bào)表
2. 定期對數(shù)據(jù)報(bào)表進(jìn)行匯總處理
主要責(zé)任：
1. 主要負(fù)責(zé)分析用戶模塊，應(yīng)用Flume把日志數(shù)據(jù)導(dǎo)入到Hdfs中將 明細(xì)日志使用Hbase存儲(chǔ)
2. 通過Spark對數(shù)據(jù)進(jìn)行清洗 后進(jìn)行多維分析 并將結(jié)果用Sqoop導(dǎo)出到MySQL中并提供圖表和表格進(jìn)行數(shù)據(jù)展示

2020.x -2020x 楓葉連鎖酒店客戶評價(jià)分析 

項(xiàng)目架構(gòu):Kafka+Hadoop+Hive+Spark+Sqoop
項(xiàng)目簡介：面向酒店的咨詢服務(wù)通過對酒店房間的住宿統(tǒng)計(jì)分析，幫助酒店提高收益。通過對酒店客戶的用戶畫像分析，幫助酒店更好的了解客戶。監(jiān)控網(wǎng)絡(luò)上的負(fù)面評價(jià)，及時(shí)作出處理，提升酒店品牌形象。
業(yè)務(wù)描述 :
1. 收益分析，入住率分析 訂單量分析 年、季度、月、同比環(huán)比分析
2. 事情輿情監(jiān)控，覆蓋主流評論平臺(tái)，保證監(jiān)測信息的全面 對信息進(jìn)行實(shí)時(shí)采集，最短采集頻率1次/分鐘
3. 為企業(yè)的客戶分析人群畫像，深度了解自己客戶的基本屬性、消費(fèi)屬性、行為屬性等
主要責(zé)任：
1. 使用Sqoop將將數(shù)據(jù)數(shù)據(jù)上傳到Hdfs上相應(yīng)的目錄下，并應(yīng)用Hive將數(shù)據(jù)存儲(chǔ)，對數(shù)據(jù)處理分析收益
2. 通過Kafka獲取流數(shù)據(jù)及時(shí)監(jiān)控主流平臺(tái)重要輿情信息，并通過Spark對數(shù)據(jù)分析實(shí)時(shí)反應(yīng)預(yù)警

2020.x -2020x 樂玩家社區(qū)用戶行為分析系統(tǒng) 

系統(tǒng)架構(gòu)：Hadoop+Zookeeper+Flume+Hive+Hbase+Sqoop+SSM
項(xiàng)目描述：樂玩家社區(qū)是聯(lián)想手機(jī)社區(qū)論壇，用于用戶粉絲交流互動(dòng)，同時(shí)發(fā)布聯(lián)想手機(jī)的各個(gè)品 牌宣傳信息，以及收集用戶反饋，用戶可以在上面發(fā)帖，提建議，發(fā)起各種交流活動(dòng)，通過 對樂玩家社區(qū)網(wǎng)站的日志進(jìn)行分析，計(jì)算網(wǎng)站關(guān)鍵指標(biāo)，其中關(guān)鍵性指標(biāo)有，PV，UV，每周UV。跳出率。板塊訪問 量pv，和板塊獨(dú)立ip訪問量。多維度用戶留存率
業(yè)務(wù)描述 :
1. 監(jiān)聽每天的日志目錄，將每天的日志文件上傳到Hdfs上相應(yīng)的目錄下
2. 對數(shù)據(jù)進(jìn)行清洗
3. 用Hive進(jìn)行網(wǎng)站的pv，uv，用戶注冊數(shù)，用戶留存率進(jìn)行多維度分析統(tǒng)計(jì)
主要責(zé)任：
1. 使用Flume把日志數(shù)據(jù)導(dǎo)入到Hdfs中并 通過Spark對數(shù)據(jù)進(jìn)行清洗
2. 使用Hive進(jìn)行數(shù)據(jù)的多維分析將分析結(jié)果使用Sqoop導(dǎo)出到MySQL中
3. 提供圖表和表格進(jìn)行數(shù)據(jù)展示

2020.x -2020x 爬取電商網(wǎng)站商品信息 

系統(tǒng)架構(gòu)：Hadoop+Zookeeper+Hbase+Redis+Solr+Flume+Kafka+
                Storm
項(xiàng)目描述： 對各大電商網(wǎng)站的指定商品類型數(shù)據(jù)的基本信息進(jìn)行對比分析，給用戶提供一個(gè)推薦商品的一個(gè)功能平臺(tái)。整個(gè)項(xiàng)目分為四大模塊：數(shù)據(jù)采集，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)處理，系統(tǒng)監(jiān)控。 數(shù)據(jù)采集主要從電商網(wǎng)站上面爬取相應(yīng)的商品信息，比如商品的圖片，商品的價(jià)格，商品的詳細(xì)參數(shù)等。數(shù)據(jù)存儲(chǔ)主要是把從電商網(wǎng)站上面爬取來的數(shù)據(jù)，根據(jù)數(shù)據(jù)的類型不同，存儲(chǔ)到指定的數(shù)據(jù)倉庫中。 數(shù)據(jù)處理我們需要對Hbase的原始數(shù)據(jù)建立索引，方便用Solr進(jìn)行查詢。系統(tǒng)監(jiān)控我們使用Zookeeper對各節(jié)點(diǎn)的信息進(jìn)行監(jiān)控，使用log4j記錄日志，先寫入到kafka，后臺(tái)的Storm程序?qū)?shù)據(jù)進(jìn)行消費(fèi)匯總，最后將數(shù)據(jù)存入到MySQL中 。
業(yè)務(wù)描述 :
1. 負(fù)責(zé)系統(tǒng)的監(jiān)控，利用Zookeeper對集群中的各個(gè)節(jié)點(diǎn)進(jìn)行監(jiān)控，當(dāng)其中的有節(jié)點(diǎn)宕機(jī)了，會(huì)用郵 件通知運(yùn)維人員進(jìn)行相應(yīng)的處理
2. 負(fù)責(zé)將獲取來的數(shù)據(jù)信息存放到Hbase數(shù)據(jù)庫中，并且對數(shù)據(jù)建立索引等操作
主要責(zé)任：
1. 對采集的數(shù)據(jù)進(jìn)行存儲(chǔ)，根據(jù)數(shù)據(jù)的類型和運(yùn)用場景不同，分別存放到Hbase中并使用web前端框架,對數(shù)據(jù)進(jìn)行展現(xiàn)
2. 同時(shí)對采集的商品信息通過Solr建立索引，方便后續(xù)查詢
3. 系統(tǒng)監(jiān)控，主要是正對于集群中的硬件以及集群的節(jié)點(diǎn)的運(yùn)行狀體進(jìn)行監(jiān)控

自我評價(jià)

參與過多個(gè)項(xiàng)目的開發(fā)，熟悉常見業(yè)務(wù)處理，能快速融入團(tuán)隊(duì)； 邏輯思維能力強(qiáng)，思路清楚，學(xué)習(xí)能力強(qiáng)，對新技術(shù)有著強(qiáng)烈的好奇心； 樂于與用戶以及同事和領(lǐng)導(dǎo)溝通，以便快速解決項(xiàng)目遇到的問題； 具有良好的英語閱讀能力，能閱讀英文資料、技術(shù)文檔等