久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

求職意向

數(shù)據(jù)研發(fā)工程師 薪資面議 隨時(shí)到崗

教育背景

2020.x -2020x 錘子簡(jiǎn)歷大學(xué) 機(jī)械設(shè)計(jì)制造及其自動(dòng)化

工作經(jīng)驗(yàn)

2020.x -2020x 有數(shù)金服 大數(shù)據(jù)工程師

公司大數(shù)據(jù)基礎(chǔ)平臺(tái)的建設(shè)，處理和提取數(shù)據(jù)

2020.x -2020x 博彥科技 大數(shù)據(jù)工程師

數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)

項(xiàng)目經(jīng)驗(yàn)

2020.x -2020x 浙江省政府?dāng)?shù)據(jù)清洗平臺(tái)項(xiàng)目 核心開(kāi)發(fā)程序員

參與浙江省大數(shù)據(jù)平臺(tái)的建設(shè)，構(gòu)建了以HDFS為基礎(chǔ)，Spark Streaming，Hive作為數(shù)據(jù)處理工具，Hbase及Phoenix作為數(shù)據(jù)存儲(chǔ)查詢的大數(shù)據(jù)平臺(tái)。在數(shù)據(jù)平臺(tái)的基礎(chǔ)上，使用datax從各省市的Mysql、Oracle采集數(shù)據(jù)，參與設(shè)計(jì)并實(shí)現(xiàn)了一整套數(shù)據(jù)治理和管理體系。在2017年中旬交付給省政府

2020.x -2020x E化平臺(tái) 數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)

基于spark采集平安金管家等APP的日志，轉(zhuǎn)換成hive表。針對(duì)hive進(jìn)行udf函數(shù)開(kāi)發(fā)，補(bǔ)充Hive沒(méi)有的函數(shù)?；趐ython開(kāi)發(fā)了oracle sql到hive sql的轉(zhuǎn)換工具，可以簡(jiǎn)單的轉(zhuǎn)換Oracle的存儲(chǔ)過(guò)程到hive sql，自動(dòng)生成Oracle到Hive的Sqoop數(shù)據(jù)同步腳本。

2020.x -2020x 知鳥直播數(shù)據(jù)集市 數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)

維護(hù)已有的數(shù)據(jù)報(bào)表，整理元數(shù)據(jù)以及整個(gè)報(bào)表的加工邏輯，并修復(fù)了大量的數(shù)據(jù)問(wèn)題。主要使用工具Hive

2020.x -2020x 互聯(lián)網(wǎng)集市 數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)

基于互聯(lián)網(wǎng)保險(xiǎn)銷售數(shù)據(jù)，建立數(shù)據(jù)管理體系，構(gòu)建一套以代理人，客戶，app操作，app促銷活動(dòng)四個(gè)主題的數(shù)據(jù)集市。

自我評(píng)價(jià)

1.深入掌握Python、Scala。可以使用Java開(kāi)發(fā)udf函數(shù)。
2. 熟悉分布式系統(tǒng)的原理，在微信公眾號(hào)寫了一系列關(guān)于存儲(chǔ)，一致 性，數(shù)據(jù)復(fù)制等分布式系統(tǒng)的文章
3. 熟悉Hive，Spark，Sqoop，Datax，Hbase等Hadoop生態(tài)圈工具
4. 熟知數(shù)據(jù)倉(cāng)庫(kù)模型的建立以及HiveSql優(yōu)化。