大數(shù)據(jù)平臺方案(分享3篇)。

大數(shù)據(jù)平臺方案 篇1

職責：

1、 規(guī)劃及建設(shè)大數(shù)據(jù)平臺;

2、 負責大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、挖掘算法等設(shè)計、研發(fā)以及維護、優(yōu)化工作;

3、負責分析、挖掘、對抗各種產(chǎn)品安全層面的惡意行為;

4、 參與項目的系統(tǒng)設(shè)計和核心代碼開發(fā)，指導(dǎo)和培訓(xùn)其他工程師;

5、 整理和提交技術(shù)文檔，負責核心功能模塊的代碼編寫和測試工作。

崗位要求：

1、 計算機、統(tǒng)計學等相關(guān)專業(yè)本科及以上學歷，具有深厚的數(shù)學、統(tǒng)計學和計算機相關(guān)知識，精通數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的相關(guān)技術(shù)，3年以上大數(shù)據(jù)開發(fā)相關(guān)經(jīng)驗;

2、具有非常扎實的Java基礎(chǔ)，熟悉Shell、Python、R、Scala等一種以上語言;

3、算法基礎(chǔ)扎實，熟悉常見的數(shù)據(jù)結(jié)構(gòu)，了解分布式算法和分布式系統(tǒng)的技術(shù)原理;

4、精通MapReduce設(shè)計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流云計算，大數(shù)據(jù)相關(guān)軟件有充分的了解，并且有實踐經(jīng)驗，能解決應(yīng)用中的復(fù)雜問題;

5、熟悉大數(shù)據(jù)處理相關(guān)技術(shù)，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

6、研讀過Hadoop、Hbase、Hive源代碼者，能夠在特定業(yè)務(wù)中進行定制改造者優(yōu)先;

7、具有海量數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)分析相關(guān)項目的工作經(jīng)驗者優(yōu)先。

大數(shù)據(jù)平臺方案 篇2

職責：

1、參與大規(guī)模數(shù)據(jù)快速查詢系統(tǒng)的架構(gòu)設(shè)計和開發(fā);

2、大規(guī)模數(shù)據(jù)挖掘和機器學習算法的實現(xiàn);

3、在線和離線海量數(shù)據(jù)分析平臺的開發(fā);

4、研究大數(shù)據(jù)前沿技術(shù)，提升系統(tǒng)的運維效率;

5、實現(xiàn)大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺的自動化運維。

【任職要求】：

1、計算機相關(guān)專業(yè),具有3年以上大數(shù)據(jù)開發(fā)經(jīng)驗，熟悉Java,Linux;

2、熟悉Hadoop大數(shù)據(jù)處理系統(tǒng)的開發(fā),搭建及部署者優(yōu)先

3、熟練地處理數(shù)據(jù)模型、數(shù)據(jù)ETL以及存儲管理;

4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程序開發(fā)者優(yōu)先;

5、熟悉分布式系統(tǒng)概念、架構(gòu)，有大規(guī)模分布式系統(tǒng)設(shè)計、實現(xiàn)、部署等經(jīng)驗;

6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。

讀書筆記吧（dsbj1.com）小編精心推薦:
• 大數(shù)據(jù)方案?|?政務(wù)大數(shù)據(jù)方案?|?大數(shù)據(jù)采集方案?|?大數(shù)據(jù)技術(shù)方案?|?大數(shù)據(jù)平臺方案?|?大數(shù)據(jù)平臺技術(shù)方案

大數(shù)據(jù)平臺方案 篇3

職責：

1. 對數(shù)據(jù)進行結(jié)構(gòu)化、標準化處理，對處理流程進行自動化搭建

2. 通過ETL/Cube數(shù)據(jù)建模，構(gòu)建基于數(shù)據(jù)倉庫的分析工具;

3. 參與數(shù)據(jù)與公司軟件產(chǎn)品及第三軟件的API對接;

4. 搭建與優(yōu)化，數(shù)據(jù)采集、處理、可視化流程中所需的框架與模塊開發(fā);

5. 協(xié)同內(nèi)外部力量完成需求的表達與技術(shù)攻關(guān)。

任職要求：

1. 熟悉數(shù)據(jù)庫的設(shè)計和開發(fā)如：Oracle/Mysql/MSSQL/Redis等，有處理大量數(shù)據(jù)經(jīng)驗的優(yōu)先;

3. 熟練使用ETL工具進行數(shù)據(jù)抽取，清洗，轉(zhuǎn)換，關(guān)聯(lián)等操作;

4. 熟練使用Linux操作系統(tǒng),具備編寫shell的能力;

5. 熟練使用主流的開發(fā)框架，掌握以下語言：Java、Python;了解過源碼的優(yōu)先;

6. 具有2年以上數(shù)據(jù)倉庫(DW)、商務(wù)智能(BI)、大數(shù)據(jù)等方面的軟件或項目開發(fā)經(jīng)驗;

7. 了解可視化及BI工具者優(yōu)先;

推薦閱讀: 大數(shù)據(jù)平臺方案(分享3篇) 大數(shù)據(jù)采集方案(收藏十六篇) 最新大數(shù)據(jù)采集方案(合集三篇) 決戰(zhàn)大數(shù)據(jù)讀后感精選 【寫作模板】大數(shù)據(jù)相關(guān)的文章之四

讀書筆記吧小編為您推薦大數(shù)據(jù)平臺方案專題，歡迎訪問：大數(shù)據(jù)平臺方案

熱門標簽: 大數(shù)據(jù)心得 大數(shù)據(jù)講座心得 大數(shù)據(jù)黨建述職 平臺方案 決戰(zhàn)大數(shù)據(jù)讀后感 親水平臺施工方案