怎樣成為大資料人才,分析如何成為一名大資料開發工程師

2022-01-09 15:27:17 字數 4226 閱讀 9075

1樓:安徽新華電腦專修學院

作為it類職業中的「大熊貓」,大資料工程師這個職業在國內人才市場可謂是一顆閃耀的新星。由於剛剛出於萌芽階段,這個領域出現很大的人才缺口。

大資料是眼下最帶感的技術名稱之一,大資料行業的火爆發展也自然也衍生出了一些與大資料相關的職業,比如網際網路資料分析師、資料工程師等等,通過對資料的挖掘分析來影響企業的商業決策已屢見不鮮。

這類職業的人群在國外被叫做資料科學家(data scientist),這個頭銜最早由d.j.pati和jeff hammerbacher於2023年提出,他們後來分別成為了領英(linkedin)和facebook資料科學團隊的負責人。

而資料科學家這個職位目前也已經在美國傳統的電信、零售、金融、製造、物流、醫療、教育等行業裡開始創造價值。

不過在國內,大資料應用還只是處於海平面上的一顆新星,不夠成熟不夠明亮,所以與其期望有乙個全才來完成整個鏈條上的所有環節,更多公司會根據自己已有的資源和短板,招聘能和現有團隊互補的人才,幫助公司發展。

於是每家公司對大資料工作的要求不盡相同:有的專注資料庫程式設計、有的重點突出應用數學和統計學知識、有的是希望能找到懂得產品和市場的資料應用型人才。這種種的條件讓很多公司會針對自己的業務型別和團隊分工,給這群與大資料打交道的人一些新的頭銜和定義:

比如資料探勘工程師、網際網路資料分析師、資料探勘師、使用者分析專家等都是經常在國內公司裡出現的title,在此我們將其統稱為「大資料工程師」 。

由於國內的大資料工作還處在乙個有待開發的階段,因此能從資料的銀河中挖掘出多少有效價值完全取決於工程師的個人能力。西線學院小編在這裡也為大家羅列一些行業所需的資料分析人才所包括的能力清單:想要成為資料工程師你要有計算機編碼能力、數學及統計學相關背景,當然如果能對一些特定領域或行業有比較深入的了解,對於其快速判斷並抓準關鍵因素則更有幫助。

從一些大公司的人才需求層面而言,擁有碩博學歷是比較好的選擇,不過阿里巴巴集團研究員薛貴榮強調,學歷並不是最主要的因素,能有大規模處理資料的經驗並且有喜歡在資料海洋中挖掘尋寶的好奇心會更適合這個工作。所以學歷不如經歷,只要擁有大規模處理資料的經驗,在資料行業發光發熱指日可待。

2樓:尚矽谷

大資料開發前景是很不錯的,像大資料開發這樣的專業還是一線城市比較好,師資力量跟得上、就業的薪資也是可觀的,學大資料開發面授班的時間大約半年,學習大資料開發可以按照路線圖的順序,

大資料處理需要什麼樣的人才?需要具備哪些技能?

3樓:

既然你是零基礎,就得從頭學起了

先學習基礎知識,從基本的學起,

首先要深刻理解什麼是大資料,大資料的特點和價值等先讀一下《大資料時代》

然後,從基本的工具開始,比如excel,spss可以看書《誰說菜鳥不會資料分析》全套書籍

等有了一定的基礎和能力後,再學習r語言或python如果要做真正的大資料分析,hadoop估計你也少不了要用的!-

小白想轉行做大資料,怎麼入行

4樓:知於大資料

大資料現在這麼火,想往大資料方面發展,但是英文、數學不好的可以嗎?? 學習大資料該學哪些技術??大資料和程式設計師比哪個要好學點??

等等。。。很多人學大資料的原因就是大資料找工作好找,薪資很高,,當然,為了這個原因也是可以的,畢竟這個時代就業壓力確實很大,為了乙個好的工作學一門技術,,但是我想問下你,你的專業是什麼呢??對於計算機/軟體,你的興趣是什麼?

是計算機專業,對作業系統、硬體、網路、伺服器感興趣?是軟體專業,對軟體開發、程式設計、寫**感興趣?還是數學、統計學專業,對資料和數字特別感興趣。。

其實說這些不是為了說明大資料有多難,只是告訴你這就是大資料的三個發展方向,平台搭建/優化/運維/監控、大資料開發/設計/架構、資料分析/挖掘。。這三個方面沒有哪個容易學些、哪個薪資高些、哪個發展前景好些。。。

現如今大資料開源框架也是越來越多,舉幾個常用的例子:

檔案儲存:hadoop hdfs、tachyon、kfs

流式、實時計算:storm、spark streaming、s4、heron

k-v、nosql資料庫:hbase、redis、mongodb

資源管理:yarn、mesos

日誌收集:flume、scribe、logstash、kibana

訊息系統:kafka、stormmq、zeromq、rabbitmq

查詢分析:hive、impala、pig、presto、phoenix、sparksql、drill、flink、kylin、druid

分布式協調服務:zookeeper

集群管理與監控:ambari、ganglia、nagios、cloudera manager

資料探勘、機器學習:mahout、spark mllib

資料同步:sqoop

任務排程:oozie

上面有30多種框架了吧,哈哈,是不是有點慌了,雖然有這麼多框架,別說全部精通了,就算是全會用的,估計現在也沒有幾個,就要看你在三個方面往哪個方面發展了。就拿第二個來說(開發/設計、架構),且先聽聽我的建議:

一、初識hadoop

hadoop可以算是大資料儲存和計算的開山鼻祖,現在大多開源的大資料框架都依賴hadoop或者與它能很好的相容。

關於hadoop,你至少需要搞清楚以下是什麼:

hadoop 1.0、hadoop 2.0

mapreduce、hdfs

namenode、datanode

jobtracker、tasktracker

yarn、resourcemanager、nodemanager

自己搭建hadoop,請使用第一步和第二步,能讓它跑起來就行。

建議先使用安裝包命令列安裝,不要使用管理工具安裝。

另外:hadoop1.0知道它就行了,現在都用hadoop 2.0.

二、更高效的wordcount

首先,你得先學習sql,訪問、查詢資料庫的基本語言還是要懂的。。然後sql on hadoop之hive,hive是資料倉儲工具,資料倉儲是邏輯上的概念,底層使用的是資料庫,資料倉儲的特點:資料全(海量)、穩定;所謂穩定,比如資料庫的資料經常要更新,而資料倉儲的資料是不會被更新,只會被查詢,所以說hive適合做資料倉儲。

最後就是了解hive的工作原理,學會hive的工作命令。

三、把別處的資料搞到hadoop上

四、把hadoop上的資料搞到別處去

五、例項分析

六、實時資料

七、更新查詢資料

八、高大上的機器學習

完成了第

一、二,說明你已經快步入大資料的行列了,寫的不好也請多多包涵。

詳細了解 可登入**:網頁鏈結

5樓:加公尺谷大資料科技

大資料的發展前景很不錯,目前應用領域很廣泛,由於大資料人才的匱乏,很多企業非常苦惱人才的問題,這幾年,大資料從業者的福利待遇幾乎在很多行業中算是最高的。

大資料相關有各方面的工作,有需要用到高深的技術的,也有簡單的工作,主要你願意並且有決心從事大資料相關工作,不管你先前讀什麼專業,一定能找到最適合你的切入點,進入大資料行業工作。

大資料業務流程有4個基本環節,分別是:業務理解、資料準備、資料探勘、分析應用

在這個流程裡有三個職能領域:

大資料系統研發,承擔整個運營系統的構建與維護、資料準備、平台與工具開發;

大資料探勘,負責關鍵模型應用與研究工作;

大資料分析應用,既是外部需求的接入者,也是解決方案的輸出者,很多時候也會承擔全盤統籌的角色。

6樓:烈火三代

這個要看你具體往哪個方面發展了,建議最好去報個培訓班培訓下,這樣入行就比較簡單了。純手工操作,希望能夠幫到你,謝謝採納!!!

7樓:匿名使用者

可以去培訓機構了解下,然後在做對比,給自己先規劃一下

8樓:尊威天下網路

通過cda那邊了解到成為一名優秀的資料分析師,應用數學、統計學、數量經濟學專業本科或者工學碩士層次水平的數學知識背景是不可少的。其次,作為一名資料分析師、至少需要熟練spss、statistic、eviews、sas等資料分析軟體中的一門

9樓:長沙新華電腦學院

想學大資料的朋友很多,但是所有想學大資料的朋友,就真的是都適合學大資料嗎?並不是,學大資料的朋友,你得邏輯能力強、具備一定的程式設計能力、還得有著不錯的統計分析能力。

不過這邊是網際網路it學校,初中起步就可以入學大資料等

成為資料分析師需要具備哪些能力,如何成為一個資料分析師?需要具備哪些技能?

九道門聊資料 資料分析師最重要的技能其實並不是程式設計,敲 的能力,不侷限於工具的使用上,如果只會工具,就算再厲害,也只能當個 工具人 在業內俗稱表哥表姐,特替代性高而且工資很低。那麼究竟什麼才是資料分析師最重要的技能呢?我給大家簡單地總結了一下,資料分析最重要的其實是軟能力 1.業務能力 現在大部...

如何用大資料分析創造商業價值大資料如何給企業創造實際價值?

法則15 大資料價值不在大,而在於挖掘能力 可以利用大資料對 人 進行畫像 通過人的資料對於人的需求或者潛在需求做出判斷,從而及時精準地為人提供產品 服務,獲得商業利益。2.大資料 可以對顧客群體細分,然後對每個群體量體裁衣般的採取獨特的行動。瞄準特定的顧客群體來進行營銷和服務是商家一直以來的追求。...

如何做好大資料應用,如何進行大資料分析及處理?

打馬過草原 大資料就是網際網路發展到現今階段的一種表象或特徵而已,沒有必要神話它或對它保持敬畏之心,在以雲端計算為代表的技術創新大幕的襯托下,這些原本很難收集和使用的資料開始容易被利用起來了,通過各行各業的不斷創新,大資料會逐步為人類創造更多的價值。對於公司決策發展這塊,我們都用finebi去解決的...