久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

基本信息

姓名：錘子簡歷

年齡：29歲

電話：137****3334

郵箱：513965****@qq.com

經(jīng)驗(yàn)：7年

意向：大數(shù)據(jù)工程師

教育背景

時間：2010-09 - 2014-07

學(xué)校：錘子簡歷科技學(xué)院 | 專業(yè)：信息管理與信息系統(tǒng) | 學(xué)歷：本科

工作經(jīng)歷

工作時間：2016-01 - 至今

公司名稱：錘子簡歷信息技術(shù)有限公司 | 所在部門： | 所在崗位：大數(shù)據(jù)工程師

工作描述：

在分支任職大數(shù)據(jù)工程師，負(fù)責(zé)大數(shù)據(jù)產(chǎn)品項(xiàng)目組與咪咕音樂有限公司業(yè)務(wù)支撐中心部門項(xiàng)目開發(fā)及運(yùn)維工作，主要負(fù)責(zé)工作內(nèi)容：1、負(fù)責(zé)業(yè)務(wù)支撐中心的一級VGOP、咪咕杭州研發(fā)中心對外供數(shù)的所有數(shù)據(jù)維護(hù)以及新增接口的開發(fā)、增、刪、修、調(diào)整字段類型等。

2、負(fù)責(zé)中央音樂平臺對外全國分省供數(shù)業(yè)務(wù)，涉及到的業(yè)務(wù)有咪咕彩鈴、鈴音盒、客戶端使用及發(fā)展、振鈴、全曲及各大話單的數(shù)據(jù)業(yè)務(wù)開發(fā)及運(yùn)維、新增加接口數(shù)據(jù)各省份需求。

3、一級VGOP對外稽核數(shù)據(jù)采集并取至基地服務(wù)器，由各負(fù)責(zé)人獲取數(shù)據(jù)進(jìn)行結(jié)算。

4、每月一級VGOP、中央音樂平臺對外分省供數(shù)月報數(shù)據(jù)出數(shù)運(yùn)維維護(hù)工作保障月報能按時對外供數(shù)。

5、wap門戶小時數(shù)據(jù)的供數(shù)業(yè)務(wù)，對外供數(shù)給一級VGOP、咪咕杭研中心供數(shù)，CP月數(shù)據(jù)更新，VGOP號段更新業(yè)務(wù)數(shù)據(jù)等等。

6、主要用到的系統(tǒng)環(huán)境及開發(fā)，維護(hù)的工具有：LinuxUnix、AIX系統(tǒng)，Oracle 、PL/SQL,ETL運(yùn)維工具、mysql數(shù)據(jù)庫，shell腳本編程，crontab定點(diǎn)服務(wù)、python編程工具,CRT工具、UE編輯器。

7、給wap門戶渠道做數(shù)據(jù)分析，并給出用戶消費(fèi)情況做計量圖表，統(tǒng)計出用戶的消費(fèi)偏好數(shù)據(jù)信息，進(jìn)行跟進(jìn)分析然后研發(fā)出新產(chǎn)品提供給各類消費(fèi)偏好者推薦使用。

8、咪咕指數(shù)分析，由數(shù)據(jù)庫統(tǒng)計每個月的量收總額來做對比，進(jìn)行數(shù)據(jù)分析及調(diào)整用戶潛在的消費(fèi)意識數(shù)據(jù)，如；有些客戶端只是開通特級會員，特級會員功能有比較多的免費(fèi)業(yè)務(wù)，還有贈送給其它客戶端需求數(shù)據(jù)，拿進(jìn)行跟進(jìn)分析，然而可以從特級會員客戶中挖掘潛在的客戶進(jìn)行推薦，這樣就能咪咕消費(fèi)指數(shù)業(yè)務(wù)增長。

2017年03月-開始負(fù)責(zé)搬遷老系統(tǒng)數(shù)據(jù)Oracle平臺的數(shù)據(jù)資料表調(diào)度數(shù)據(jù)源供數(shù)（對外供數(shù)模塊）到大數(shù)據(jù)平臺供數(shù)，其中分省供數(shù)模塊我用了半個月的時間把全國31個省份的接口全部重新開發(fā)完成，主要用到工具為hive、spark、python框架sql。

2017年7月出差到湖北移動做武漢經(jīng)分spark報表開發(fā)，展示在市場部一線應(yīng)用平臺，主要用到的工具為移動的4A平臺，DAC平臺，多租戶模式開發(fā)，涉及保密協(xié)議范圍。

2017年8月做武漢移動業(yè)務(wù)支撐數(shù)據(jù)中心，遷移湖北渠道優(yōu)化模塊工作，程序開發(fā)數(shù)據(jù)質(zhì)量核對，完善老系統(tǒng)無法滿足的條件，主要用移動4A平臺、DACP平臺，Hadoop、HDFS、Map/Reduce、hive、spark工具開發(fā)。

工作時間：2017-07 - 至今

公司名稱：錘子簡歷信息科技有限公司 | 所在部門： | 所在崗位：IT 助理工程師，大數(shù)據(jù)助理工程師

工作描述：

[產(chǎn)線大數(shù)據(jù)自動化 專案]

編寫生產(chǎn)線程式實(shí)現(xiàn)工業(yè)自動化，以及大數(shù)據(jù)化，并為生產(chǎn)線的運(yùn)行提供技術(shù)支持。

通過對生產(chǎn)線上所有設(shè)備傳送到Kafka的數(shù)據(jù)進(jìn)行實(shí)時監(jiān)聽，并依據(jù)不同標(biāo)準(zhǔn)對所有數(shù)據(jù)進(jìn)行處理，定時反饋給Kafka。同時對異常數(shù)據(jù)進(jìn)行累計判斷或者清零，對不同級別的異常拋送不同級別的警報到web service，以便送到相應(yīng)的客戶端，發(fā)出提示以及警報。后續(xù)分別將處理過的數(shù)據(jù)通過Nifi 傳入MQTT和ElasticSearch。 本專案實(shí)作使用了loopback（strongloop），kafka，npm，ElasticSearch等大數(shù)據(jù)環(huán)境。使用VSCode編寫，在nodejs環(huán)境下執(zhí)行，編寫使用javascript，Node.js，Angular.js等。實(shí)作部署使用MQTT，Nifi，HeidiSql，Xampp，F(xiàn)ileZilla，Putty等。項(xiàng)目涉及MariaDB，maven，ZooKeeper，Spark，F(xiàn)link等大數(shù)據(jù)環(huán)境。

項(xiàng)目經(jīng)歷

項(xiàng)目時間：2016-05 - 至今

項(xiàng)目名稱：游戲數(shù)據(jù)分析 | 項(xiàng)目工具：Spark+flume+kafka+zookeeper+redis

項(xiàng)目描述：

項(xiàng)目介紹

該項(xiàng)目是為游戲公司開發(fā)的運(yùn)營分析平臺，數(shù)據(jù)由該游戲公司提供。通過使用Logstash從日志服務(wù)器中實(shí)時采集數(shù)據(jù)，下沉到kafka集群中，使用sparkstreaming對數(shù)據(jù)進(jìn)行實(shí)時處理，獲取到一些需要實(shí)時展現(xiàn)的指標(biāo)，比如，當(dāng)前在線人數(shù)，當(dāng)日新增玩家用戶,活躍玩家，玩家留存率，以及游戲習(xí)慣，實(shí)時充值金額，實(shí)時玩家區(qū)域分布等。將實(shí)時數(shù)據(jù)保存到redis中，并從redis中獲取數(shù)據(jù)到前臺展示

我的職責(zé)

1.參與了需求分析，架構(gòu)分析，編寫開發(fā)文檔。

2.參與了新增玩家用戶的分析及代碼實(shí)現(xiàn)。

3.參與了活躍玩家用戶的分析及代碼實(shí)現(xiàn)。

4.參與了玩家留存率的分析及代碼的實(shí)現(xiàn)。

5.參與了玩家流失率的分析。

6.優(yōu)化代碼以及對后期代碼的測試。

項(xiàng)目時間：2016-09 - 至今

項(xiàng)目名稱：交互式實(shí)時數(shù)據(jù)分析平臺

項(xiàng)目描述：

項(xiàng)目介紹

項(xiàng)目名稱 : 交互式數(shù)據(jù)分析系統(tǒng)（準(zhǔn)實(shí)時數(shù)據(jù)分析平臺）

技術(shù)架構(gòu) : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker

開發(fā)環(huán)境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)

項(xiàng)目描述 : 該系統(tǒng)是一個交互式用戶行為分析系統(tǒng)。系統(tǒng)的主要用戶為公司內(nèi)部的PM和運(yùn)營人員，用戶根據(jù)自己的需求去

分析某一類客戶的流量數(shù)據(jù)。根據(jù)分析結(jié)果，PM可以優(yōu)化產(chǎn)品設(shè)計，運(yùn)營人員可以為自己的運(yùn)營工作提供數(shù)據(jù)

支持。用戶在系統(tǒng)界面中選擇某個分析功能對應(yīng)的菜單，并進(jìn)入對應(yīng)的任務(wù)創(chuàng)建界面，然后選擇篩選條件和任務(wù)

參數(shù)，并提交任務(wù)。在接收到用戶提交的任務(wù)之后，根據(jù)任務(wù)類型選擇其對應(yīng)的Spark作業(yè)，啟動一條子線

程來執(zhí)行Spark-submit命令以提交Spark作業(yè)。Spark作業(yè)運(yùn)行在Yarn集群上，并針對Hdfs中的海量

數(shù)據(jù)使用SparkSQL進(jìn)行計算，最終將計算結(jié)果寫入Hdfs中。另外還集成Flume，Kafka和Spark,

利用SparkStreaming，進(jìn)行實(shí)時分析。用戶通過系統(tǒng)界面查看任務(wù)分析結(jié)果，將結(jié)果返回給界面進(jìn)行展現(xiàn)。

項(xiàng)目職責(zé) :負(fù)責(zé)項(xiàng)目的集群搭建部署，需求分析, 參與庫表的設(shè)計及代碼的編寫和測試優(yōu)化工作

開發(fā)步驟 : 數(shù)據(jù)收集階段：Flume采集供應(yīng)商接口上的數(shù)據(jù),實(shí)現(xiàn)flume自定義攔截器,滿足業(yè)務(wù)需求。

Kafka拉取flume上的數(shù)據(jù)傳給sparkStreaming進(jìn)行數(shù)據(jù)處理（實(shí)時ETL的程序），ETL處理的數(shù)據(jù)保存到Hdfs中。

數(shù)據(jù)處理階段：SparkCore處理Hdfs上的數(shù)據(jù)，通過RDD進(jìn)行離線處理和Dstream準(zhǔn)實(shí)時處理之后保存到Hdfs中。

數(shù)據(jù)展示階段：通過JDBC連接Hdfs處理好的數(shù)據(jù)，進(jìn)行圖表展示。

功能模塊 : 用戶訪問會話（session）分析模塊，頁面跳出率統(tǒng)計分析模塊，

各區(qū)域熱門商品統(tǒng)計分析模塊，廣告點(diǎn)擊流量實(shí)時統(tǒng)計分析模塊

我的職責(zé)

個人評價

5年的大數(shù)據(jù)軟件質(zhì)量保證和性能調(diào)優(yōu)從業(yè)經(jīng)驗(yàn)；

熟悉Hadoop，Hive, Spark等大數(shù)據(jù)組件的基本運(yùn)維及調(diào)優(yōu)；

熟悉大數(shù)據(jù)測試基準(zhǔn)（TPCx-BB， TPC-DS等），具有企業(yè)級云平臺(AWS, AliCloud)的性能瓶頸分析及調(diào)優(yōu)實(shí)戰(zhàn)經(jīng)驗(yàn)；

擅長使用自動化工具進(jìn)行系統(tǒng)性能/功能測試及系統(tǒng)分析；

熟悉Linux及腳本語言，具有自動化測試工具開發(fā)經(jīng)驗(yàn)；

8年以上軟件測試經(jīng)驗(yàn)，熟悉軟件測試流程，具有一定的測試管理經(jīng)驗(yàn)；

對機(jī)器學(xué)習(xí)、深度學(xué)習(xí)領(lǐng)域有所涉獵。

個人技能

1．能搭使用Hive和HBase的系統(tǒng)架構(gòu)，和能用Hive進(jìn)行海量數(shù)據(jù)的統(tǒng)計分析以及，能根據(jù)需求設(shè)計HBase表，能對Hive、HBase進(jìn)行搭建Hadoop的系統(tǒng)架構(gòu)和Hadoop集群。 2.能使用開源日志收集框架flume，Kafka消息隊列。 3.能夠使用Python2.7的版本，進(jìn)行編程部署， 實(shí)現(xiàn)MapReducer框架，解決離線分析的場景和作業(yè)。 4.能夠使用java,Scala進(jìn)行項(xiàng)目的開發(fā)，能夠?qū)崿F(xiàn)Spark框架的研發(fā)作業(yè)。 5.能使用SparkStreaming進(jìn)行實(shí)時數(shù)據(jù)的分析。 6.能使用MapReduce的原理和流程和其API開發(fā)應(yīng)用程序 7．能使用Storm的原理和流程和使用API開發(fā)應(yīng)用程序，以及Storm+Kafka實(shí)時流處理架構(gòu) 8.清楚spark任務(wù)提交流程，對spark作業(yè)能進(jìn)行調(diào)優(yōu) 9.能操作MySQL、Oracle數(shù)據(jù)庫 10.能使用Python進(jìn)行網(wǎng)頁爬蟲，和Python與MySQL的交互