最新大數(shù)據(jù)采集方案(合集三篇)。

大數(shù)據(jù)采集方案 篇1

職責(zé):

1、負(fù)責(zé)所分管團(tuán)隊(duì)的團(tuán)隊(duì)建設(shè)和日常管理工作;

2、負(fù)責(zé)核心技術(shù)問題攻關(guān)和性能優(yōu)化，持續(xù)維護(hù)和引進(jìn)最新的大數(shù)據(jù)技術(shù)到城市大數(shù)據(jù)平臺中，支撐城市級大數(shù)據(jù)平臺業(yè)務(wù);

3、承擔(dān)城市數(shù)據(jù)標(biāo)準(zhǔn)編制和數(shù)據(jù)模型的設(shè)計(jì);

4、承擔(dān)項(xiàng)目中數(shù)據(jù)相關(guān)方案設(shè)計(jì)及數(shù)據(jù)團(tuán)隊(duì)管理;

5、參與城市大數(shù)據(jù)項(xiàng)目中數(shù)據(jù)采集、加工過程、分析挖掘模型算法的實(shí)施工作。

任職資格:

1、1年以上數(shù)據(jù)開發(fā)工作經(jīng)驗(yàn)，熟練使用SQL查詢引擎;

2、熟悉Hadoop、Mpp、Oracle等至少一種數(shù)據(jù)倉庫工具

3、具備良好的編程語言基礎(chǔ)如：java/python/scala/c++/shell等

4、二本以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)或者有相關(guān)培訓(xùn)經(jīng)歷者優(yōu)先

5、 個人素質(zhì)要求：目光長遠(yuǎn)、態(tài)度誠懇、崗位有穩(wěn)定性，能夠長期培養(yǎng)、具備很強(qiáng)的自學(xué)能力、承壓能力強(qiáng)、接受出差支援項(xiàng)目等工作。對數(shù)據(jù)工作具備濃厚的興趣并有明確職業(yè)規(guī)劃，優(yōu)秀的學(xué)習(xí)能力和團(tuán)隊(duì)溝通協(xié)作能力，對新技術(shù)有濃厚興趣并有鉆研精神。

大數(shù)據(jù)采集方案 篇2

職責(zé)：

1、負(fù)責(zé)數(shù)據(jù)分析、加工、清理，相關(guān)處理腳本和程序的開發(fā);

2、負(fù)責(zé)開發(fā)大數(shù)據(jù)工具，如報(bào)表平臺、多維度分析工具、ETL平臺、調(diào)度平臺的研發(fā);

3、負(fù)責(zé)分布式大數(shù)據(jù)平臺應(yīng)用開發(fā)(Hadoop/Spark/Hive/HBase等);

4、負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺的維護(hù)、優(yōu)化。

任職要求：

1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，具有5年及以上的大數(shù)據(jù)ETL或數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，熟悉大數(shù)據(jù)組件的維護(hù)以及調(diào)優(yōu);

2、熟練掌握J(rèn)ava或Python編程語言，熟悉大數(shù)據(jù)架構(gòu)體系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術(shù)中的一個或者多個，熟悉Sqoop、DataX等數(shù)據(jù)導(dǎo)入工具;

3、能熟練使用Hive、HBase、Spark等加工和處理數(shù)據(jù)，有海量數(shù)據(jù)處理經(jīng)驗(yàn);

4、有數(shù)據(jù)倉庫開發(fā)經(jīng)驗(yàn)/BI系統(tǒng)開發(fā)經(jīng)驗(yàn)優(yōu)先;

5、有電商行業(yè)數(shù)據(jù)處理與分析平臺開發(fā)經(jīng)驗(yàn)者優(yōu)先。

大數(shù)據(jù)采集方案 篇3

職責(zé)

1、負(fù)責(zé)基于hadoop/spark生態(tài)系統(tǒng)、億級別數(shù)據(jù)的全文檢索，搜索引擎的產(chǎn)品研發(fā);

2、基于海量用戶行為數(shù)據(jù)和其他數(shù)據(jù)，分析和研究數(shù)據(jù)與實(shí)際業(yè)務(wù)的關(guān)聯(lián)關(guān)系，并與實(shí)際業(yè)務(wù)應(yīng)用相結(jié)合開發(fā);

3、負(fù)責(zé)大數(shù)據(jù)分析需求設(shè)計(jì)和開發(fā)，承擔(dān)數(shù)據(jù)抽取、清洗、轉(zhuǎn)化等數(shù)據(jù)處理程序開發(fā)。

任職要求：

1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術(shù)及其生態(tài)圈，具備相關(guān)項(xiàng)目開發(fā)經(jīng)驗(yàn)，有數(shù)據(jù)實(shí)時(shí)計(jì)算項(xiàng)目經(jīng)驗(yàn)優(yōu)先;

2、有搜索引擎全文檢索開發(fā)經(jīng)驗(yàn) ，如：elasticsearch、solr;

3、熟悉python、R任意一門開發(fā)語言;

4、有SAAS，PAAS企業(yè)級應(yīng)用平臺或者互聯(lián)網(wǎng)，金融等大型應(yīng)用平臺開發(fā)經(jīng)驗(yàn)優(yōu)先考慮;

5、 本科及以上學(xué)歷，計(jì)算機(jī)/軟件工程/統(tǒng)計(jì)學(xué)/數(shù)學(xué)等相關(guān)專業(yè)，互聯(lián)網(wǎng)/金融等行業(yè)3年以上工作經(jīng)驗(yàn);

6、擁有良好的代碼習(xí)慣，要求結(jié)構(gòu)清晰、命名規(guī)范、邏輯性強(qiáng)、代碼冗余率低，代碼注釋清晰;

7、熟悉使用svn，禪道等項(xiàng)目管理工具，有良好的團(tuán)隊(duì)協(xié)作開發(fā)經(jīng)驗(yàn).