久久精品国产一区二区电影,久久精品国产亚洲av瑜伽,精品无人区一码卡二卡三,久草热8精品视频在线观看 ,久久99精品久久久久麻豆

項(xiàng)目經(jīng)驗(yàn)（案例一）

項(xiàng)目時(shí)間：2014-05 - 至今

項(xiàng)目名稱：Intel & Cloudera戰(zhàn)略合作項(xiàng)目--CDH產(chǎn)品發(fā)布

項(xiàng)目描述：

項(xiàng)目介紹

Intel與Cloudera進(jìn)行戰(zhàn)略合作。Intel在技術(shù)上支持CDH的產(chǎn)品發(fā)布，將Intel Hadoop發(fā)行版的某些特定功能優(yōu)化后整合到CDH產(chǎn)品中，同時(shí)加入基于IA平臺的某些優(yōu)化（如MKL）以期達(dá)到更好的性能。

我的職責(zé)

負(fù)責(zé)Intel某些特定功能的測試需求分析和測試計(jì)劃的制定。

負(fù)責(zé)Intel某些特定功能的功能和穩(wěn)定性測試，比如MKL, HBase MOB（Moderate Object Storage)等。

基于大數(shù)據(jù)測試基準(zhǔn)(Hi-Bench, TPCx-BB等)，提供針對CDH的性能測試和分析報(bào)告。

基于內(nèi)部云測試平臺(底層為OpenStack)，協(xié)助Cloudera團(tuán)隊(duì)進(jìn)行提高CDH安裝部署測試的覆蓋率。

項(xiàng)目經(jīng)驗(yàn)（案例二）

項(xiàng)目時(shí)間：2017-03 - 2017-09

項(xiàng)目名稱：美鄰后臺流量分析系統(tǒng)

項(xiàng)目描述：

項(xiàng)目介紹

? 美鄰手機(jī)app，用于收集用戶反饋，提建議，發(fā)起各種交流活動，通過埋點(diǎn)對美鄰app的日志進(jìn)行分析，計(jì)算app相關(guān)指標(biāo)，其中指標(biāo)包括：頁面瀏覽量即為PV(Page View)，每日登陸用戶數(shù)UV，每周UV，跳出率（跳出數(shù)/PV）。跳出率是非常重要的訪客黏性指標(biāo)，它顯示了訪客對應(yīng)用的興趣程度：跳出率越低說明流量質(zhì)量越好，訪客對網(wǎng)站的內(nèi)容越感興趣，這些訪客越可能是網(wǎng)站的有效用戶、忠實(shí)用戶。板塊訪問量pv，和板塊獨(dú)立ip訪問量。

我的職責(zé)

1．參與前期項(xiàng)目分析，設(shè)計(jì)系統(tǒng)整體架構(gòu)

2．使用flume監(jiān)聽每天的日志目錄，將每天的日志文件上傳到hdfs上相應(yīng)的目錄下

3．通過寫mapreduce任務(wù)對數(shù)據(jù)進(jìn)行清洗

4．負(fù)責(zé)網(wǎng)站的瀏覽量統(tǒng)計(jì)，用戶注冊統(tǒng)計(jì)等模塊的設(shè)計(jì)。

項(xiàng)目經(jīng)驗(yàn)（案例三）

項(xiàng)目時(shí)間：2016-11 - 2017-03

項(xiàng)目名稱：騰翼it管理系統(tǒng)

項(xiàng)目描述：

項(xiàng)目介紹

針對醫(yī)院行業(yè)目前面臨的運(yùn)維挑戰(zhàn)，推出"醫(yī)院行業(yè)智慧運(yùn)維解決方案"，通過深度剖析業(yè)務(wù)系統(tǒng)組件及業(yè)務(wù)流量定位問題根源，快速分析問題，輔助運(yùn)維人員及時(shí)解決問題，為領(lǐng)導(dǎo)提供決策依據(jù)。

我的職責(zé)

1、負(fù)責(zé)開發(fā)和維護(hù)Java后端服務(wù)，為用戶提供穩(wěn)定可靠的服務(wù)；

2、負(fù)責(zé)開發(fā)和維護(hù)基礎(chǔ)服務(wù)，構(gòu)建安全可靠的服務(wù)平臺；

3、負(fù)責(zé)Java相關(guān)的應(yīng)用開發(fā)。

項(xiàng)目經(jīng)驗(yàn)（案例四）

項(xiàng)目時(shí)間：2015-01 - 2015-11

項(xiàng)目名稱：眾泰基于大數(shù)據(jù)的發(fā)展分析 | 項(xiàng)目工具：linux、hadoop-2.6.0-cdh5.5.2、sqoop-1.4.6-cdh5.5.2、zookeeper-3.4.5-cdh5.5.2、hbase-1.0.0-cdh5.5.2、hive-1.1.0-cdh5.5.2、kafka、JDK 1.7.0、spark-1.5.0-cdh5.5.2、mysql、oracle等

項(xiàng)目描述：

項(xiàng)目介紹

面對汽車行業(yè)數(shù)字化浪潮發(fā)掘企業(yè)數(shù)據(jù)價(jià)值，推動業(yè)務(wù)發(fā)展和創(chuàng)新，采用先進(jìn)的云計(jì)算和大數(shù)據(jù)分析等技術(shù)搭建的數(shù)據(jù)分析應(yīng)用生態(tài)體系。通過企業(yè)內(nèi)部的數(shù)據(jù)系統(tǒng)獲取研發(fā)、生產(chǎn)、營銷銷售、售后等各種信息，結(jié)合互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)等用戶端口獲取用戶的用車習(xí)慣、需求，以及對產(chǎn)品的抱怨等等。這些大數(shù)據(jù)經(jīng)過大數(shù)據(jù)分析以后得出一些結(jié)論，為車型的研發(fā)、改進(jìn)為營銷策略的制定；為廣告的精準(zhǔn)投放；為生產(chǎn)、庫存的調(diào)整；為銷售、售后的跟進(jìn)；提供數(shù)據(jù)、智力支持。 統(tǒng)計(jì)用戶的審美喜好、用車習(xí)慣，給新車的設(shè)計(jì)師提供參考。這樣出來的新車，勢必?fù)碛袝充N的基礎(chǔ)。 在廣告投放階段，云鏡能精準(zhǔn)地找到潛在客戶，甚至廣告的形式及內(nèi)容都可以根據(jù)用戶的喜好進(jìn)行定制。這毫無疑問會提高廣告效果。對用戶的抱怨進(jìn)行統(tǒng)計(jì)分析，可以及時(shí)發(fā)現(xiàn)并處理用戶抱怨，提高用戶滿意度，同時(shí)為車型改進(jìn)提供參考。

監(jiān)測到某一車型多次出現(xiàn)同一故障，系統(tǒng)可以通過車載終端、手機(jī)對相同車型的車主進(jìn)行提醒。讓車主到4S店進(jìn)行預(yù)防性檢查，同時(shí)可以進(jìn)行進(jìn)店預(yù)約，節(jié)約車主時(shí)間。

項(xiàng)目描述：

1、數(shù)據(jù)來源： 數(shù)據(jù)傳統(tǒng)來源已經(jīng)有了相對成熟生產(chǎn)系統(tǒng)體系，包括銷售領(lǐng)域的分銷商管理系統(tǒng)(DMS)，經(jīng)銷商使用的CRM、客服中心(Call center)、生產(chǎn)管理系統(tǒng)，質(zhì)量管理系統(tǒng)(QIS)等等，因此可以滿足日常主機(jī)廠自身日常運(yùn)營分析、產(chǎn)品分析以及對渠道運(yùn)營分析。

1)車聯(lián)網(wǎng)系統(tǒng)：目前越來越多的主機(jī)廠考慮部署或者已經(jīng)部署車聯(lián)網(wǎng)系統(tǒng)，通過車聯(lián)網(wǎng)系統(tǒng)有效補(bǔ)充用戶日常數(shù)據(jù)缺失，以ADAS系統(tǒng)為例，可以捕獲如下數(shù)據(jù)：用戶駕駛行為數(shù)據(jù)：用戶每次駕駛里程，轉(zhuǎn)向習(xí)慣，行駛速度、是否有疲勞駕駛等，可以有效幫助客戶畫像數(shù)據(jù)構(gòu)建產(chǎn)品參數(shù)實(shí)時(shí)獲?。翰煌悴考年P(guān)鍵運(yùn)營指標(biāo)，如轉(zhuǎn)速、溫度、電子指標(biāo)等，從而為精細(xì)化產(chǎn)品質(zhì)量預(yù)測和分析提供基礎(chǔ)

2)網(wǎng)絡(luò)輿情信息：網(wǎng)絡(luò)已經(jīng)是用戶信息傳播的主要渠道，相比主機(jī)廠傳統(tǒng)方式，網(wǎng)絡(luò)信息會更早、更全面反映用戶對主機(jī)廠的相關(guān)信息，通過部署自有網(wǎng)絡(luò)爬蟲系統(tǒng)或者購買第三方的SAAS服務(wù)，可以針對重點(diǎn)門戶、知名行業(yè)網(wǎng)站、論壇、電商平臺等通過爬蟲系統(tǒng)可以捕獲網(wǎng)絡(luò)新聞、論壇帖子、用戶評論等網(wǎng)絡(luò)信息基于大數(shù)據(jù)技術(shù)處理，通過網(wǎng)絡(luò)信息進(jìn)行市場營銷、品牌影響力、用戶習(xí)慣、產(chǎn)品質(zhì)量等分析，以品牌為例，可以完成品牌日常熱度、口碑傾向等分析。

3)第三方外部數(shù)據(jù)：行業(yè)性數(shù)據(jù)：通過乘聯(lián)會等行業(yè)組織的數(shù)據(jù)引入，可以有效解決市場趨勢分析的數(shù)據(jù)引入;第三方用戶標(biāo)簽數(shù)據(jù)：和第三方數(shù)據(jù)合作中，得到用戶級的數(shù)據(jù)交換，考慮到第三方數(shù)據(jù)匹配成功率不足的問題，這就需要構(gòu)建統(tǒng)一的用戶標(biāo)簽體系和用戶多ID體系;此外更為可行的做法是充分利用第三方的做好用戶畫像分析數(shù)據(jù)，優(yōu)先完善用戶群統(tǒng)計(jì)數(shù)據(jù);

2、數(shù)據(jù)導(dǎo)入和預(yù)處理：使用sqoop抽取oracle數(shù)據(jù)庫中的數(shù)據(jù)，因?yàn)閿?shù)據(jù)采集端數(shù)據(jù)來自多個(gè)數(shù)據(jù)庫，因此數(shù)據(jù)格式存在差異，需要抽取到hadoop平臺上，在導(dǎo)入的過程中依據(jù)數(shù)據(jù)特征進(jìn)行一些簡單的清洗、篩選。

3、數(shù)據(jù)分析和統(tǒng)計(jì)：對已經(jīng)導(dǎo)入的海量數(shù)據(jù)依據(jù)其本身特征進(jìn)行分析并為之分類匯總，以滿足大多數(shù)常見的分析需求。

4、數(shù)據(jù)挖掘：針對前面已經(jīng)數(shù)據(jù)分類匯總，利用數(shù)據(jù)挖掘算法對這些匯總數(shù)據(jù)進(jìn)行深一步挖掘。數(shù)據(jù)挖掘算法都比較復(fù)雜，沒有預(yù)先設(shè)置的公式，這也是考驗(yàn)一個(gè)公司實(shí)力、人工智能的一個(gè)環(huán)節(jié)，只有相對準(zhǔn)確合適的算法才能從大數(shù)據(jù)中得到有價(jià)值的數(shù)據(jù)分析結(jié)果。

項(xiàng)目架構(gòu)：

1、相關(guān)負(fù)責(zé)組：數(shù)據(jù)收集組、數(shù)據(jù)處理組、分析組、建模算法組、數(shù)據(jù)展示組。

2、數(shù)據(jù)收集有多方面數(shù)據(jù)，有數(shù)據(jù)收集組通過爬蟲在相關(guān)對重點(diǎn)門戶、知名行業(yè)網(wǎng)站、論壇、電商平臺等通過爬蟲系統(tǒng)可以捕獲網(wǎng)絡(luò)新聞、論壇帖子、用戶評論等網(wǎng)絡(luò)信息。

3、數(shù)據(jù)處理組負(fù)責(zé)將數(shù)據(jù)庫抽取出來的數(shù)據(jù)，數(shù)據(jù)抽取組的數(shù)據(jù)進(jìn)行相關(guān)的清洗、篩選，并將數(shù)據(jù)進(jìn)行海量小數(shù)據(jù)合并。

4、分析組負(fù)責(zé)大量離線數(shù)據(jù)的分析，匯總分析出各種型號車輛的各項(xiàng)參數(shù)，以及根據(jù)售后維修的數(shù)據(jù)分析出出現(xiàn)問題最多的前10名的車型及其維修的部件的型號，并且匯總根據(jù)售后反饋回來的信息， 再次綜合出已出現(xiàn)問題的車型及其部件編號。還有網(wǎng)上爬蟲來自網(wǎng)絡(luò)新聞、論壇帖子、用戶評論等網(wǎng)絡(luò)信息，分析出客戶期望以及車輛問題。其中還包括用戶的行為分析，通過車輛的定位來確定客戶的喜好消費(fèi)，綜合上方收集來的用戶駕駛習(xí)慣來為用戶定制專有的用戶畫像。還有分析各地區(qū)人們的不同而分別投放不同的廣告。

我的職責(zé)

1、在hadoop生態(tài)圈上利用sqoop工具進(jìn)行oracle數(shù)據(jù)庫的增量抽取到HDFS

2、在hive中對數(shù)據(jù)進(jìn)行分析、處理、創(chuàng)建、修改客戶專屬畫像和汽車專屬畫像

3、按業(yè)務(wù)要求對hive進(jìn)行優(yōu)化

4、按業(yè)務(wù)要求HQL的編寫及調(diào)優(yōu)