最新大數(shù)據(jù)架構師的崗位職責10篇
最新大數(shù)據(jù)架構師的崗位職責有哪些?職責的意思是職務上應盡的責任,表示必須承擔的工作范圍、工作任務和工作責任。下面小編給大家?guī)砹俗钚麓髷?shù)據(jù)架構師的崗位職責10篇,供大家參考。
最新大數(shù)據(jù)架構師的崗位職責【篇1】
1、建設大數(shù)據(jù)平臺,主要技術為k8s, docker;
2、跟進開源社區(qū)的更新,閱讀文檔,驗證feature;
3、閱讀容器生態(tài)圈各組件的開源項目代碼,開發(fā)新功能;
4、持續(xù)提升平臺的性能和穩(wěn)定性。
最新大數(shù)據(jù)架構師的崗位職責【篇2】
職責:
1、負責大數(shù)據(jù)基礎平臺的整體規(guī)劃和架構設計,參與需求分析、技術決策以及詳細設計;
2、為現(xiàn)有大數(shù)據(jù)集群Hadoop、hive平臺提供性能調(diào)優(yōu)、架構優(yōu)化重組,解決系統(tǒng)中的關鍵問題和技術難題;
3、把握基礎業(yè)務復雜系統(tǒng)的設計,確保系統(tǒng)的架構質(zhì)量,編寫核心部分代碼;
4、持續(xù)挑戰(zhàn)新的技術方向,攻克大數(shù)據(jù)量,高并發(fā),穩(wěn)定性等各種技術難點。
任職資格:
1、計算機或相關專業(yè)本科及以上學歷;
2、5年以上hadoop的應用開發(fā)經(jīng)驗,5年以上數(shù)據(jù)倉庫開發(fā)實踐經(jīng)驗,至少一個企業(yè)級數(shù)據(jù)倉庫項目開發(fā)經(jīng)驗或者大數(shù)據(jù)處理項目經(jīng)驗;
3、良好的編程開發(fā)能力,精通PHP及其他開發(fā)語言;
4、熟悉mysql等數(shù)據(jù)庫經(jīng)驗,具備優(yōu)秀的SQL編寫、調(diào)優(yōu)能力;
5、熟練掌握Linux常規(guī)命令與工具,精通shell, perl, python等腳本語言至少一種;
6、軟件基礎理論知識扎實,具有良好的數(shù)據(jù)結構、算法功底;
7、對新技術敏感,學習能力強,樂于接受挑戰(zhàn),具有良好的團隊合作精神;
最新大數(shù)據(jù)架構師的崗位職責【篇3】
職責:
1、負責企業(yè)大數(shù)據(jù)平臺的基礎建設、管理及制定拓展規(guī)劃;
2、負責大數(shù)據(jù)平臺相關自動化服務工具的設計、開發(fā);
3、參與Hadoop、Hbase、Spark等核心平臺組件的開發(fā)、優(yōu)化;
4、對平臺特殊場景化的數(shù)據(jù)應用制定相關實踐方案;
5、大數(shù)據(jù)團隊的搭建。
任職資格:
1、統(tǒng)招本科以上學歷,計算機等相關專業(yè),5年以上工作經(jīng)驗;
2、具有Hadoop等大規(guī)模集群管理經(jīng)驗、海量(PB)數(shù)據(jù)處理經(jīng)驗;
3、精通Hadoop、Hive、Hbase等離線平臺相關組件的原理機制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系統(tǒng);
5、熟悉高并發(fā)、分布式開發(fā)等相關知識,具有后端服務優(yōu)化相關經(jīng)驗;
6、熟悉爬蟲常用框架以及反爬技術;
7、具有良好的溝通能力、分析問題與攻關問題的能力;
8、有責任心,工作積極,對新領域新技術有熱情。
最新大數(shù)據(jù)架構師的崗位職責【篇4】
職責:
1、數(shù)據(jù)分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能后臺服務系統(tǒng)的架構設計工作,包括系統(tǒng)總體規(guī)劃、架構設計、系統(tǒng)分析、軟件實現(xiàn)、性能優(yōu)化;
3、指導開發(fā)人員開發(fā),并解決系統(tǒng)出現(xiàn)的問題,理解物業(yè)需求;
4、制定開發(fā)計劃和控制開發(fā)進度,負責指導研發(fā)團隊開展設計工作;
任職要求:
1、碩士以上,計算機或先關專業(yè);
2、5年左右軟件開發(fā)經(jīng)驗,含3年以上系統(tǒng)分析、設計經(jīng)驗,有大型軟件項目大型軟件項目;有中大型互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)庫架構設計及管理經(jīng)驗,
3、 具備良好的組件級建模能力,熟悉HTTP、TCP等協(xié)議
4、熟練使用UML進行軟件架構設計,至少精通EA,RATIONAL, VISIO等一種設計工具.
5、精通至少一種編程語言,熟悉 Linux 相關技術,能獨立在上面進行開發(fā)、測試和部署
6、深入理解數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)、分布式體系架構和關鍵技術
最新大數(shù)據(jù)架構師的崗位職責【篇5】
職責:
1.負責公司大數(shù)據(jù)底層框架的整體架構設計,結合公司實際業(yè)務情況進行技術選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;
2.負責統(tǒng)一數(shù)據(jù)平臺項目的整體評估、設計、架構及關鍵模塊的開發(fā),不斷提升系統(tǒng)的穩(wěn)定性和效率;
3.負責架構優(yōu)化及系統(tǒng)關鍵模塊的設計開發(fā),協(xié)助團隊解決開發(fā)過程中的技術難題;
4.建立良好的公司內(nèi)外的業(yè)界技術影響力;有效輔導團隊,提升數(shù)據(jù)研發(fā)能力;
任職要求:
1.從事大數(shù)據(jù)項目相關開發(fā)和設計2年以上經(jīng)驗;有作為技術負責人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)實踐經(jīng)驗優(yōu)先;
2.擁有一定的算法和數(shù)據(jù)結構基礎;有很強的數(shù)據(jù)設計抽象能力,善于從復雜的數(shù)據(jù)問題中找到關鍵路徑;
3.熟悉目前正在發(fā)展的大數(shù)據(jù)分布式平臺前沿技術的應用;包括但不僅僅限于:hadoop、storm、spark、等;
4. 良好的邏輯思維能力,良好的業(yè)務解讀能力,懂電力或通信業(yè)務優(yōu)先;
5.具有鉆研精神,樂于接受挑戰(zhàn);
最新大數(shù)據(jù)架構師的崗位職責【篇6】
職責:
1、負責規(guī)劃科技大數(shù)據(jù)平臺及科技數(shù)據(jù)入庫自動化的方案設計;
2、負責大數(shù)據(jù)平臺的開發(fā)和維護,以及對外服務接口的開發(fā);
3、負責大數(shù)據(jù)平臺的優(yōu)化和改進工作。
任職要求
1、計算機相關專業(yè)本科及以上學歷,5年以上開發(fā)經(jīng)驗,其中3年以上為互聯(lián)網(wǎng)、大數(shù)據(jù)相關的開發(fā)經(jīng)驗;
2、熟知Hadoop生態(tài)圈體系,精通Hadoop/Spark/Storm/Kafka中的一項或幾項,深刻理解MapReduce的運行原理和機制,有MPI經(jīng)驗者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相關數(shù)據(jù)庫的構建和操作,尤其是數(shù)據(jù)庫集群的構建和操作,熟悉Neo4j者尚佳;
4、具有機器學習相關項目經(jīng)驗者優(yōu)先。
最新大數(shù)據(jù)架構師的崗位職責【篇7】
職責:
1.負責整個大數(shù)據(jù)平臺架構的設計和構建;
2.負責構建大數(shù)據(jù)平臺的數(shù)據(jù)交換、任務調(diào)度等通用平臺;
3.制定開發(fā)、測試、實施、維護的標準和規(guī)范,指導和培訓工程師,不斷提升團隊能力。
4.參與系統(tǒng)需求分析、架構設計、技術選型、應用設計與開發(fā)以及測試與部署,負責編寫核心部分代碼。
5.持續(xù)挑戰(zhàn)新的技術方向,攻克大數(shù)據(jù)量、高并發(fā)、高可用、可擴展等技術難點。
任職要求:
1.3年以上大數(shù)據(jù)架構經(jīng)驗,豐富的數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、機器學習項目經(jīng)驗
2.大規(guī)模數(shù)據(jù)處理的架構和設計實戰(zhàn)經(jīng)驗
3.精通Spark、MR,熟練HDFS、Yarn、Hbase、Hive、MongoDB,熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等,并具有豐富的大型數(shù)據(jù)平臺工程經(jīng)驗
4.深刻理解大數(shù)據(jù)處理(流計算,分布式計算,分布式文件系統(tǒng),分布式存儲等)相關技術和實現(xiàn)方法
5.熟悉主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等企業(yè)數(shù)據(jù)管理相關的體系和方法,熟練Linux/Unix平臺上的開發(fā)環(huán)境
6.本科或以上學歷,計算機軟件或相關專業(yè),豐富的java開發(fā)經(jīng)驗和互聯(lián)網(wǎng)背景優(yōu)先。
7.具有比較強的問題分析和處理能力,有比較優(yōu)秀的動手能力,熱衷技術,精益求精
最新大數(shù)據(jù)架構師的崗位職責【篇8】
職責:
1.參與公司數(shù)據(jù)平臺系統(tǒng)規(guī)劃和架構工作,主導系統(tǒng)的架構設計和項目實施,確保項目質(zhì)量和關鍵性能指標達成;
2.統(tǒng)籌和推進制造工廠內(nèi)部數(shù)據(jù)系統(tǒng)的構建,搭建不同來源數(shù)據(jù)之間的邏輯關系,能夠為公司運營診斷、運營效率提升提供數(shù)據(jù)支持;
3.負責數(shù)據(jù)系統(tǒng)需求對接、各信息化系統(tǒng)數(shù)據(jù)對接、軟件供應商管理工作
5.根據(jù)現(xiàn)狀制定總體的數(shù)據(jù)治理方案及數(shù)據(jù)體系建立,包括數(shù)據(jù)采集、接入、分類、開發(fā)標準和規(guī)范,制定全鏈路數(shù)據(jù)治理方案;深入挖掘公司數(shù)據(jù)業(yè)務,超強的數(shù)據(jù)業(yè)務感知力,挖掘數(shù)據(jù)價值,推動數(shù)據(jù)變現(xiàn)場景的落地,為決策及業(yè)務賦能;
6.定義不同的數(shù)據(jù)應用場景,推動公司的數(shù)據(jù)可視化工作,提升公司數(shù)據(jù)分析效率和數(shù)據(jù)價值轉(zhuǎn)化。
任職要求:
1.本科以上學歷,8年以上軟件行業(yè)從業(yè)經(jīng)驗,5年以上大數(shù)據(jù)架構設計經(jīng)驗,熟悉BI平臺、大數(shù)據(jù)系統(tǒng)相關技術架構及技術標準;
2.熟悉數(shù)據(jù)倉庫、熟悉數(shù)據(jù)集市,了解數(shù)據(jù)挖掘、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)建模相關技術;
3.熟悉大數(shù)據(jù)相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企業(yè)信息化系統(tǒng)及相關數(shù)據(jù)庫技術;
5.具備大數(shù)據(jù)平臺、計算存儲平臺、可視化開發(fā)平臺經(jīng)驗,具有制造企業(yè)大數(shù)據(jù)系統(tǒng)項目開發(fā)或?qū)嵤┙?jīng)驗優(yōu)先;
6.對數(shù)據(jù)敏感,具備優(yōu)秀的業(yè)務需求分析和報告展示能力,具備制造企業(yè)數(shù)據(jù)分析和數(shù)據(jù)洞察、大數(shù)據(jù)系統(tǒng)的架構設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協(xié)調(diào)能力,具備結果導向思維,有相關項目管理經(jīng)驗優(yōu)先。
最新大數(shù)據(jù)架構師的崗位職責【篇9】
職責:
1. 深刻理解政府行業(yè)業(yè)務模式,構建政府行業(yè)的數(shù)據(jù)模型,制定公司大數(shù)據(jù)技術發(fā)展路線;
2. 對接業(yè)務研究和技術部門,主動搜集和轉(zhuǎn)化需求,組織數(shù)據(jù)中心業(yè)務開發(fā),進行數(shù)據(jù)相關產(chǎn)品需求分析和設計;
3. 搭建數(shù)據(jù)倉庫,研發(fā)數(shù)據(jù)庫管理系統(tǒng),搜集、提取、處理業(yè)務積累的海量數(shù)據(jù),開展數(shù)據(jù)分析和挖掘;
4. 根據(jù)公司戰(zhàn)略和發(fā)展需要,規(guī)劃數(shù)據(jù)中心重點工作和任務;落實部門人員、事務管理,開展跨部門、跨地區(qū)協(xié)作,協(xié)助對外交流與合作。
職位要求:
1. 5年以上相關工作經(jīng)驗,有團隊管理和項目管理經(jīng)驗者優(yōu)先;
2.了解政府運作機制,掌握財政行業(yè)知識,有電子政務行業(yè)經(jīng)驗者優(yōu)先;
3. 熟練掌握使用Java或Python,精通數(shù)據(jù)庫查詢語言如SQL,Oracle等,在機器學習模型和算法方向有應用經(jīng)驗者優(yōu)先;
4. 具備數(shù)據(jù)中心產(chǎn)品策劃整體思維,有大數(shù)據(jù)處理、分析、挖掘經(jīng)驗者優(yōu)先;
5. 邏輯思維嚴密,具備業(yè)務抽象、分解和標準化的能力,口頭和書面表達優(yōu)秀;
6. 有較強的大局意識和良好的團隊合作意識,富有領導力,具備優(yōu)秀的人際交往和溝通能力。
最新大數(shù)據(jù)架構師的崗位職責【篇10】
職責:
1、負責相關開源系統(tǒng)/組件的性能、穩(wěn)定性、可靠性等方面的深度優(yōu)化;
2、負責解決項目上線后生產(chǎn)環(huán)境的各種實際問題,保障大數(shù)據(jù)平臺在生產(chǎn)上的安全、平穩(wěn)運行;
3、推動優(yōu)化跨部門的業(yè)務流程, 參與業(yè)務部門的技術方案設計、評審、指導;
4、負責技術團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區(qū)金石路316號新希望中鼎國際辦公,月底項目結束后在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術擔當,解決核心技術問題;
2、3年以上大數(shù)據(jù)平臺項目架構或開發(fā)經(jīng)驗,對大數(shù)據(jù)生態(tài)技術體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實踐, 注重文檔管理、注重工程規(guī)范優(yōu)先;
4、熟悉Java后臺開發(fā)體系,具備微服務架構的項目實施經(jīng)驗,有Dubbo/Spring cloud微服務架構設計經(jīng)驗優(yōu)先;
5、性格開朗、善于溝通,有極強的技術敏感性和自我驅(qū)動學習能力,注重團隊意識。