久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

求職意向

數(shù)據研發(fā)工程師 薪資面議 隨時到崗

教育背景

2020.x -2020x 錘子簡歷大學 機械設計制造及其自動化

工作經驗

2020.x -2020x 有數(shù)金服 大數(shù)據工程師

公司大數(shù)據基礎平臺的建設，處理和提取數(shù)據

2020.x -2020x 博彥科技 大數(shù)據工程師

數(shù)據倉庫開發(fā)

項目經驗

2020.x -2020x 浙江省政府數(shù)據清洗平臺項目 核心開發(fā)程序員

參與浙江省大數(shù)據平臺的建設，構建了以HDFS為基礎，Spark Streaming，Hive作為數(shù)據處理工具，Hbase及Phoenix作為數(shù)據存儲查詢的大數(shù)據平臺。在數(shù)據平臺的基礎上，使用datax從各省市的Mysql、Oracle采集數(shù)據，參與設計并實現(xiàn)了一整套數(shù)據治理和管理體系。在2017年中旬交付給省政府

2020.x -2020x E化平臺 數(shù)據倉庫開發(fā)

基于spark采集平安金管家等APP的日志，轉換成hive表。針對hive進行udf函數(shù)開發(fā)，補充Hive沒有的函數(shù)。基于python開發(fā)了oracle sql到hive sql的轉換工具，可以簡單的轉換Oracle的存儲過程到hive sql，自動生成Oracle到Hive的Sqoop數(shù)據同步腳本。

2020.x -2020x 知鳥直播數(shù)據集市 數(shù)據倉庫開發(fā)

維護已有的數(shù)據報表，整理元數(shù)據以及整個報表的加工邏輯，并修復了大量的數(shù)據問題。主要使用工具Hive

2020.x -2020x 互聯(lián)網集市 數(shù)據倉庫開發(fā)

基于互聯(lián)網保險銷售數(shù)據，建立數(shù)據管理體系，構建一套以代理人，客戶，app操作，app促銷活動四個主題的數(shù)據集市。

自我評價

1.深入掌握Python、Scala。可以使用Java開發(fā)udf函數(shù)。
2. 熟悉分布式系統(tǒng)的原理，在微信公眾號寫了一系列關于存儲，一致 性，數(shù)據復制等分布式系統(tǒng)的文章
3. 熟悉Hive，Spark，Sqoop，Datax，Hbase等Hadoop生態(tài)圈工具
4. 熟知數(shù)據倉庫模型的建立以及HiveSql優(yōu)化。