久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

錘子簡(jiǎn)歷品牌推廣師
大數(shù)據(jù)開發(fā)工程師簡(jiǎn)歷范文
作者:錘子簡(jiǎn)歷 2021/04/09 04:40:00
閱讀 448

求職意向

大數(shù)據(jù)開發(fā)工程師 上海 薪資面議 隨時(shí)到崗

教育背景

2020.x -2020x 錘子簡(jiǎn)歷大學(xué) 網(wǎng)絡(luò)工程

2020.x -2020x 錘子簡(jiǎn)歷大學(xué) 計(jì)算機(jī)技術(shù)

工作經(jīng)驗(yàn)

2020.x -2020x 喜馬拉雅FM 大數(shù)據(jù)開發(fā)工程師

   主要工作內(nèi)容可分為三個(gè)部分 首先是參與開發(fā)和維護(hù)推薦系統(tǒng) 包括推薦系統(tǒng)相關(guān)功能基礎(chǔ)功能設(shè)施 如用戶特征模塊 推薦數(shù)據(jù)實(shí)時(shí)和離線分發(fā)模塊 根據(jù)產(chǎn)品需求設(shè)計(jì)相關(guān)的推薦業(yè)務(wù) 如一鍵聽。然后是基礎(chǔ)設(shè)施服務(wù)的開發(fā) 包括服務(wù)性能監(jiān)控模塊 監(jiān)控線上服務(wù)的訪問性能 主要是HBase查詢性能和方法調(diào)用的延遲 和HBase數(shù)據(jù)內(nèi)存副本同步服務(wù) 最后就是參與畫像系統(tǒng)建設(shè)  

2020.x -2020x 中國(guó)移動(dòng) 大數(shù)據(jù)運(yùn)維工程師

    主要負(fù)責(zé)大數(shù)據(jù)平臺(tái)的流處理框架的維護(hù) 包括Kafka Flume等

項(xiàng)目經(jīng)驗(yàn)

2020.x -2020x HBase數(shù)據(jù)本地內(nèi)存副本同步服務(wù) 

  背景 線上服務(wù)需要依賴的一些數(shù)據(jù)很多存在于HBase上 而且這些HBase表數(shù)據(jù)不是很大 一般在幾千行到幾萬(wàn)行 可以一次性加載進(jìn)內(nèi)存 還有這些HBase表數(shù)據(jù)更新頻率比較低 所以頻繁全量拉取到服務(wù)節(jié)點(diǎn)內(nèi)存會(huì)導(dǎo)致性能浪費(fèi) 所以考慮增量實(shí)現(xiàn) 基于上述需求考慮構(gòu)建一個(gè)統(tǒng)一的數(shù)據(jù)副本同步服務(wù) 用于各個(gè)相關(guān)具體業(yè)務(wù)的數(shù)據(jù)副本同步需求

  實(shí)現(xiàn) 為實(shí)現(xiàn)HBase數(shù)據(jù)的增量同步更新 需要給HBase數(shù)據(jù)在內(nèi)存中構(gòu)建出一個(gè)索引 為加快索引訪問速度 可以將索引結(jié)構(gòu)設(shè)計(jì)為哈希樹 通過客戶端保存的索引與服務(wù)端保存的索引進(jìn)行比較 確定出待更新的數(shù)據(jù) 每次客戶端需要發(fā)起內(nèi)存副本同步更新時(shí) 首先是發(fā)送整個(gè)索引的哈希值 如果相同 則本次更新將不會(huì)執(zhí)行 否則發(fā)送整個(gè)索引樹給服務(wù)端 服務(wù)端通過將本地保存的索引樹與客戶端發(fā)送過來的索引樹進(jìn)行比較得出客戶端內(nèi)存副本是需要進(jìn)行刪除 更新還是追加 之后將增量更新部分和最新索引發(fā)送給客戶端

2020.x -2020x 畫像系統(tǒng)建設(shè) 

  畫像系統(tǒng)是進(jìn)行用戶推薦相關(guān)業(yè)務(wù)開發(fā)不可缺少的基礎(chǔ)設(shè)施 畫像系統(tǒng)由多個(gè)模塊組成 包括

1.畫像配置模塊 在畫像系統(tǒng)中一個(gè)畫像有組和畫像名確定 組包括user(注冊(cè)用戶) device(非注冊(cè)用戶) album(專輯) track(聲音)等 畫像配置模塊提供了一個(gè)畫像注冊(cè)的Web頁(yè)面 用于注冊(cè)各個(gè)畫像
2.畫像查詢模塊 是畫像服務(wù)的入口 以RPC形式對(duì)外提供查詢服務(wù) user和device畫像以HBase和Sharded Redis的組合提供了存儲(chǔ)層實(shí)現(xiàn) 當(dāng)Sharded Redis查詢不到時(shí)將穿透到HBase 其它組畫像直接在Codis Redis上查詢
3.畫像收集更新模塊 畫像收集更新方式包括離線更新和實(shí)時(shí)更新 離線更新以離線MapReduce或Spark任務(wù)形式更新畫像 實(shí)時(shí)更新包括推模式和拉模式 推模式以RPC形式對(duì)外提供收集接口 客戶端通過該接口將畫像數(shù)據(jù)推送到服務(wù)上 拉模式主要是編寫Flink SQL作業(yè)實(shí)時(shí)讀取Kafka上的日志數(shù)據(jù) 解析后存入畫像系統(tǒng)
4.畫像可視化后臺(tái) 畫像可視化后臺(tái)提供  畫像分布可視化展現(xiàn)的頁(yè)面 單個(gè)畫像在各個(gè)用戶類型上的分布情況 用戶類型包括登錄月活用戶 設(shè)備月活用戶 登錄日活和設(shè)備日活用戶等 分布情況用條形圖形式呈現(xiàn) 實(shí)時(shí)查詢滿足多個(gè)畫像查詢條件的用戶數(shù)量
5.畫像管理模塊 畫像管理模塊用于刪除過期的位于Redis緩存中的畫像數(shù)據(jù) 用戶畫像數(shù)據(jù)在Redis中以Hash形式存儲(chǔ) 更新某個(gè)具體畫像時(shí)會(huì)整體更新整個(gè)用戶畫像數(shù)據(jù)TTL 為正確TTL畫像數(shù)據(jù) 在HBase中人工綁定畫像的過期時(shí)間戳 畫像管理模塊在后臺(tái)異步刪除過期的畫像
6.畫像預(yù)熱模塊 畫像預(yù)熱主要是提高畫像查詢性能 讀取Kafka中實(shí)時(shí)開屏用戶信息 預(yù)先將HBase中的畫像數(shù)據(jù)緩存到Redis上 減少畫像查詢的穿透率

2020.x -2020x 基于Fink SQL的實(shí)時(shí)作業(yè)注冊(cè)和運(yùn)行后臺(tái) 

背景 算法人員想通過編寫SQL語(yǔ)句快速實(shí)現(xiàn)實(shí)時(shí)作業(yè)的開發(fā) 用于從Kafka在讀取用戶行為日志 抽取畫像和實(shí)現(xiàn)一些簡(jiǎn)單的實(shí)時(shí)計(jì)算

實(shí)現(xiàn) 提供作業(yè)注冊(cè)和配置頁(yè)面 用于算法人員編寫實(shí)時(shí)作業(yè) 提供類SQL語(yǔ)法編寫Flink作業(yè)并在底層轉(zhuǎn)換為Flink SQL & Table代碼

2020.x -2020x 一鍵聽 

    一鍵聽是一個(gè)具體的聲音流產(chǎn)品 其上定義了很多頻道 每個(gè)頻道包含有很多聲音專輯 每個(gè)專輯就是一個(gè)聲音列表 用戶每次點(diǎn)擊某個(gè)頻道就會(huì)產(chǎn)生收聽行為 在內(nèi)部實(shí)現(xiàn)中為每個(gè)用戶維護(hù)一個(gè)頻道的收聽索引 收聽索引是一個(gè)二維結(jié)構(gòu) 一個(gè)維度是專輯的收聽位置 另一個(gè)維度是該專輯下聲音的收聽位置 首次進(jìn)入的用戶將根據(jù)其用戶特征和該頻道內(nèi)專輯的特征計(jì)算出一個(gè)索引 如果用戶不喜歡聽該專輯 也就是客戶端返回過來的播放時(shí)長(zhǎng)很短 那就將該專輯放到收聽索引的最后位置 如果用戶喜歡聽該專輯 也就是客戶端返回過來的播放時(shí)長(zhǎng)達(dá)到一定的時(shí)長(zhǎng) 則繼續(xù)播放該專輯下面的聲音 這樣通過與用戶不斷的交互去動(dòng)態(tài)改變頻道收聽的索引信息來實(shí)現(xiàn)最大化的推薦效果

自我評(píng)價(jià)

   1.性格隨和 易于相處 具有較強(qiáng)的溝通和理解能力

   2.對(duì)技術(shù)有一定對(duì)追求 有代碼潔癖 能夠接受新的技術(shù) 對(duì)于技術(shù)難點(diǎn)有刨根問底的探究精神

內(nèi)容來源說明:本文章來自網(wǎng)絡(luò)收集,如侵犯了你的權(quán)益,請(qǐng)聯(lián)系QQ:2772182309進(jìn)行刪除。
智能在線簡(jiǎn)歷編輯器
錘子簡(jiǎn)歷在線簡(jiǎn)歷制作,一鍵導(dǎo)出,快速生成 專屬你的優(yōu)秀求職簡(jiǎn)歷,敲定高薪 Offer~
立即創(chuàng)建簡(jiǎn)歷

【使用錘子簡(jiǎn)歷小程序制作簡(jiǎn)歷】

范文模板 更多>