久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

基本信息

姓名：錘子簡歷

年齡：23歲

電話：159****4849

郵箱：368804****@qq.com

經驗：1年

意向：大數據工程師

教育背景

時間：2011-09 - 2015-07

學校：錘子簡歷大學 | 專業(yè)：計算機科學與技術 | 學歷：本科

工作經歷

工作時間：2010-03 - 2014-05

公司名稱：錘子簡歷信息技術有限公司 | 所在部門：軟件與服務事業(yè)集團/數據解決方案事業(yè)部 | 所在崗位：高級軟件測試工程師

工作描述：

1）進行測試需求分析，制定測試計劃，合理分配測試資源；

2）設計開發(fā)測試用例，開發(fā)相關自動化測試框架及工具

3）負責產品集成測試（功能，性能，穩(wěn)定性），報告并追蹤產品問題，提供系統(tǒng)測試及驗收報告

4）與開發(fā)團隊緊密合作，分析系統(tǒng)性能瓶頸，提供優(yōu)化意見

5）優(yōu)化軟件質量保證流程，提高效率及實用性

工作時間：2015-11 - 2017-09

公司名稱：錘子簡歷人才咨詢有限公司 | 所在部門： | 所在崗位：大數據工程師

工作描述：

根據需求，負責相關大數據應用模塊設計；

參與大數據產品的數據分析、數據模型、功能設計及產品研發(fā)工作；

研究各種數據清洗，修復方法；

研究大數據有關的數據分析方法；

負責有關大數據分析產品的設計和開發(fā)。

項目經歷

項目時間：2016-09 - 2017-09

項目名稱：交互式實時數據分析平臺

項目描述：

項目介紹

項目名稱 : 交互式數據分析系統(tǒng)（準實時數據分析平臺）

技術架構 : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker

開發(fā)環(huán)境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)

項目描述 : 該系統(tǒng)是一個交互式用戶行為分析系統(tǒng)。系統(tǒng)的主要用戶為公司內部的PM和運營人員，用戶根據自己的需求去

分析某一類客戶的流量數據。根據分析結果，PM可以優(yōu)化產品設計，運營人員可以為自己的運營工作提供數據

支持。用戶在系統(tǒng)界面中選擇某個分析功能對應的菜單，并進入對應的任務創(chuàng)建界面，然后選擇篩選條件和任務

參數，并提交任務。在接收到用戶提交的任務之后，根據任務類型選擇其對應的Spark作業(yè)，啟動一條子線

程來執(zhí)行Spark-submit命令以提交Spark作業(yè)。Spark作業(yè)運行在Yarn集群上，并針對Hdfs中的海量

數據使用SparkSQL進行計算，最終將計算結果寫入Hdfs中。另外還集成Flume，Kafka和Spark,

利用SparkStreaming，進行實時分析。用戶通過系統(tǒng)界面查看任務分析結果，將結果返回給界面進行展現(xiàn)。

項目職責 :負責項目的集群搭建部署，需求分析, 參與庫表的設計及代碼的編寫和測試優(yōu)化工作

開發(fā)步驟 : 數據收集階段：Flume采集供應商接口上的數據,實現(xiàn)flume自定義攔截器,滿足業(yè)務需求。

Kafka拉取flume上的數據傳給sparkStreaming進行數據處理（實時ETL的程序），ETL處理的數據保存到Hdfs中。

數據處理階段：SparkCore處理Hdfs上的數據，通過RDD進行離線處理和Dstream準實時處理之后保存到Hdfs中。

數據展示階段：通過JDBC連接Hdfs處理好的數據，進行圖表展示。

功能模塊 : 用戶訪問會話（session）分析模塊，頁面跳出率統(tǒng)計分析模塊，

各區(qū)域熱門商品統(tǒng)計分析模塊，廣告點擊流量實時統(tǒng)計分析模塊

我的職責

項目時間：2014-11 - 2017-09

項目名稱：Intel新一代數據中心平臺的性能評測及調優(yōu)

項目描述：

項目介紹

Intel內部合作項目 -- 對數據中心平臺新一代產品發(fā)布提供性能評測及調優(yōu)

我的職責

負責基于大數據測試基準(TPCx-BB，TPC-DS等)，對新一代數據中心平臺進行基本性能評估。

負責對新一代數據中心平臺進行性能調優(yōu)（涉及Hadoop, Java, OS, BIOS等幾個層面），充分挖掘系統(tǒng)軟硬件資源的能力。

撰寫內部技術報告，提交給數據中心部門進行審核。

個人評價

熟悉hadoop生態(tài)圈一些開源組件flume、sqoop、zookeeper等，熟悉Java，Linux，熟悉關

系型數據庫mysql、oracle，熟悉數據倉庫hive，會寫SQL語句，熟悉yarn工作原理及

mapreduce原理，了解hbase，spark，spark_rdd

性格開朗，為人細心，做事一絲不茍，能吃苦耐勞，工作腳踏實地，有較強的責任心，

具有團隊合作精神，又具有較強的獨立工作能力，思維活躍。

個人技能

能夠安裝、部署、Hadoop2.x集群，熟悉Hadoop生態(tài)系統(tǒng)的相關產品，熟悉HDFS分布式文件系統(tǒng)，Sqoop數據庫ETL工具，F(xiàn)lume日志收集，MapReduce分布式計算框架，熟練掌握Sql/Hql的編寫，Zookeeper分布式協(xié)作，Yarn資源管理器，Hive數據倉庫，HBase實時協(xié)作數據庫，熟悉Spark內存計算，熟悉MySQL/ORACLE數據庫安裝、管理、調優(yōu)、備份、容災、安全等技能一般,熟悉MapReduce編程。熟悉Linux操作系統(tǒng)，熟悉shell，熟練運用SecureCRT, Xshell，MyEclipse，F(xiàn)ileZilla Client等應用軟件。