正文

數(shù)據(jù)架構師需要學什么（數(shù)據(jù)架構師需要學什么專業(yè)）

發(fā)布時間：2023-04-30 16:08:54 稿源：創(chuàng)意嶺閱讀： 1628

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關于數(shù)據(jù)架構師需要學什么的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

創(chuàng)意嶺作為行業(yè)內優(yōu)秀企業(yè)，服務客戶遍布全國，設計相關業(yè)務請撥打175-8598-2043，或微信：1454722008

本文目錄:

1、大數(shù)據(jù)相關證書有哪些
2、大數(shù)據(jù)開發(fā)工程師以后可以從事哪些崗位？
3、26歲想自學數(shù)據(jù)庫工程師或者大數(shù)據(jù)架構師難嗎從來沒碰過代碼希望有經(jīng)驗的人指導下
4、etl是什么

數(shù)據(jù)架構師需要學什么（數(shù)據(jù)架構師需要學什么專業(yè)）

一、大數(shù)據(jù)相關證書有哪些

大數(shù)據(jù)需要考專業(yè)人員分析認證；數(shù)據(jù)科學專業(yè)成就認證；工程方面分析和優(yōu)化（CPEE）證書；挖掘大規(guī)模數(shù)據(jù)集研究生證書；優(yōu)化大數(shù)據(jù)分析證書；EMC數(shù)據(jù)科學家助理（EMCDSA）；Cloudera認證專家。

大數(shù)據(jù)需要學習的證書：

1、專業(yè)人員分析認證-INFORMS

CAP認證是一個嚴格的通用分析認證。它證明了對分析過程的端到端理解，從構建業(yè)務和分析問題到獲取數(shù)據(jù)，方法，模型構建，部署和模型生命周期管理。它需要完成CAP考試（這個考試可以在100多個國家的700多個計算機的測試中心進行）和遵守CAP的道德規(guī)范。

2、數(shù)據(jù)科學專業(yè)成就認證-Columbia University

這個數(shù)據(jù)科學認證是由TheFU基金會工程與應用科學學院和哥倫比亞大學藝術與科學研究生院聯(lián)合提供的。該計劃包括四個課程：數(shù)據(jù)科學算法（CS/IEOR），概率與統(tǒng)計（STATS），機器學習數(shù)據(jù)科學（CS）和探索性數(shù)據(jù)分析和可視化（STATS）。

3、工程方面分析和優(yōu)化（CPEE）證書–INSOFE

這個密集的18周課程，其中包括10個課程（講座和實驗室）為學習者分析的各個方面，包括使用大數(shù)據(jù)使用Hadoop。它專注于R和Hadoop技能，以及統(tǒng)計建模，數(shù)據(jù)分析，機器學習，文本挖掘和優(yōu)化技能。學習者將在一個真實世界的頂點項目中實施一系列的測試評估。

4、挖掘大規(guī)模數(shù)據(jù)集研究生證書-Stanford University

為軟件工程師，統(tǒng)計學家，預測建模師，市場研究人員，分析專業(yè)人員，以及數(shù)據(jù)挖掘者設計，此認證需要四個課程，并演示掌握高效和強大的技術和算法，從大型數(shù)據(jù)集，如Web，社交，網(wǎng)絡圖和大型文檔存儲庫等。這個證書通常需要一到兩年的時間才能獲得。

5、分析證書：優(yōu)化大數(shù)據(jù)-University of Delaware

主要面向商業(yè)，營銷和運營經(jīng)理，數(shù)據(jù)分析師和專業(yè)人士，金融業(yè)專業(yè)人士和小企業(yè)主本科課程。該計劃匯集了統(tǒng)計，分析，書面和口頭溝通技巧。它向學習者介紹了分析大數(shù)據(jù)集所需的工具，涵蓋了將數(shù)據(jù)導入分析軟件包，探索性圖形和數(shù)據(jù)分析，構建分析模型，找到最佳模型以解釋變量之間的相關性等主題。

6、EMC數(shù)據(jù)科學家助理（EMCDSA）)-EMC

EMCDSA認證表明個人作為數(shù)據(jù)科學團隊成員參與和貢獻大數(shù)據(jù)項目的能力。它的內容：部署數(shù)據(jù)分析生命周期，將業(yè)務挑戰(zhàn)重構為分析挑戰(zhàn)，應用分析技術和工具來分析大數(shù)據(jù)并創(chuàng)建統(tǒng)計模型，選擇適當?shù)臄?shù)據(jù)可視化等。

7、Cloudera認證專家：數(shù)據(jù)科學家（CCP：DS）-Cloudera

CCP：DS證書展示了精英層面使用大數(shù)據(jù)的技能。它需要通過一個評估基礎數(shù)據(jù)科學主題知識的書面考試。他們還必須在數(shù)據(jù)科學挑戰(zhàn)中，通過設計和開發(fā)同行評估的生產(chǎn)就緒的數(shù)據(jù)科學解決方案，并在真實條件下證明他們的能力。這個挑戰(zhàn)必須在完成筆試后24個月內通過，并且每年中的每隔一個季度提供兩次機會。

8、Cloudera Apache Hadoop認證開發(fā)人員（CCDH）-Cloudera

CCDH認證演示了開發(fā)人員寫入，維護和優(yōu)化Apache Hadoop開發(fā)項目的技術知識，技能和能力。獲得這個認證需要通過90分鐘時限的50到55個活動問題的筆試。每個測試包括至少五個未評分的實驗問題。

9、Cloudera Apache Hadoop認證管理員（CCAH）-Cloudera

CCAH認證演示管理員的技術知識，技能和能力配置，部署，維護和保護Apache Hadoop集群和構成Cloudera企業(yè)數(shù)據(jù)中心的生態(tài)系統(tǒng)項目。獲得認證需要通過90分鐘時限的60個問題的書面考試。

10、Cloudera Apache HBase（CCSHB）認證專家-Cloudera

CCSHB認證演示了使用Apache HBase的技術知識，技能和能力，包括核心HBase概念，數(shù)據(jù)模型，架構，模式設計，API和管理。獲得認證需要通過90分鐘時間限制的45個問題的書面考試。

11、Revolution REnterprise Professional–Revolution Analytics

主要內容：此認證證明了對高級分析項目使用R統(tǒng)計語言的能力，包括分析大數(shù)據(jù)，數(shù)據(jù)分析生命周期，高級分析的理論和方法以及統(tǒng)計建模的戰(zhàn)略和實踐方面。該認證要求通過包含60個選擇題和90分鐘時間限制的tt筆考試。

12、Vertica大數(shù)據(jù)解決方案V1-HP

此認證驗證可以讓學習者部署和管理Vertica Analytics Platform，幫助組織優(yōu)化和利用大數(shù)據(jù)分析獲利。其驗證學習者可以：識別和描述Vertica架構的關鍵功能，安裝平臺，識別字符和確定Vertica中使用的投影的特征，描述如何將數(shù)據(jù)加載到Vertica，闡述Vertica集群管理概念，描述備份/恢復和資源管理，并確定如何監(jiān)視和故障排除。此認證需要在90分鐘內通過包含50個選擇題的考試。

13、Vertica大數(shù)據(jù)解決方案管理員V1-HP

此認證證實學習者可以管理Vertica Analytics Platform，并驗證其是否可以執(zhí)行高級管理任務，包括：手動投影設計，診斷，高級故障排除和數(shù)據(jù)庫調優(yōu)。該認證要求在100分鐘內通過包含60個選擇題的考試。

14、IBM認證的數(shù)據(jù)架構師-大數(shù)據(jù)

IBM認證數(shù)據(jù)架構師-大數(shù)據(jù)IBM專業(yè)認證計劃。

15、IBM認證的數(shù)據(jù)工程師-大數(shù)據(jù)

IBM認證的數(shù)據(jù)工程師-大數(shù)據(jù)IBM專業(yè)認證計劃。

16、大數(shù)據(jù)專業(yè)人員的SAS認證

SAS認證的大數(shù)據(jù)專業(yè)數(shù)據(jù)科學。

二、大數(shù)據(jù)開發(fā)工程師以后可以從事哪些崗位？

大數(shù)據(jù)開發(fā)工程師可以從事多個不同的崗位，因為這是一個廣泛而不斷擴大的行業(yè)。首先，大數(shù)據(jù)開發(fā)工程師可以在大型的數(shù)據(jù)隸屬的公司和機構中任職，如電信、銀行、金融、物流等行業(yè)的數(shù)據(jù)中心。其次，也可以轉型成數(shù)據(jù)分析師、數(shù)據(jù)挖掘工程師、數(shù)據(jù)科學家等相關職位，深入了解數(shù)據(jù)統(tǒng)計、機器學習、人工智能等領域的知識和技能。此外，大數(shù)據(jù)開發(fā)工程師還可以成為獨立或自主從業(yè)者，或者參與大數(shù)據(jù)學術研究、數(shù)學建模、軟件應用等方面。不論是哪一種崗位，大數(shù)據(jù)開發(fā)工程師都需要不斷更新自己的技能和知識，保持專業(yè)和技能上的競爭優(yōu)勢。

三、26歲想自學數(shù)據(jù)庫工程師或者大數(shù)據(jù)架構師難嗎從來沒碰過代碼希望有經(jīng)驗的人指導下

沒有任何基礎的話，建議找個培訓機構系統(tǒng)的學習一下，不建議自學，因為涉及的東西太多了，培訓機構不會的話，可以找老師咨詢。這是兩個方向，如果你有精力的話可以兩個都學，不過建議選擇一樣，以后在工作中如果有興趣可以繼續(xù)學習，數(shù)據(jù)庫工程師相對大數(shù)據(jù)架構師容易上手一點，這兩個都需要大量的經(jīng)驗積累，這兩個行業(yè)都是高薪，但都是從基礎積累起來的，而從基礎做起又累薪資又低，要有心理準備。

四、etl是什么

對于做過 BI 開發(fā)的朋友，ETL 并不陌生，只要涉及到數(shù)據(jù)源的數(shù)據(jù)抽取、數(shù)據(jù)的計算和處理過程的開發(fā)，都是 ETL，ETL 就這三個階段，Extraction 抽取，Transformation 轉換，Loading 加載。

從不同數(shù)據(jù)源抽取數(shù)據(jù) EXTRACTION ，按照一定的數(shù)據(jù)處理規(guī)則對數(shù)據(jù)進行加工和格式轉換 TRASFORMATION，最后處理完成的輸出到目標數(shù)據(jù)表中也有可能是文件等等，這個就是 LOADING。

再通俗一點講，ETL 的過程就跟大家日常做菜一樣，需要到菜市場的各個攤位買好菜，把菜買回來要摘一下，洗一洗，切一切最后下鍋把菜炒好端到飯桌上。菜市場的各個攤位就是數(shù)據(jù)源，做好的菜就是最終的輸出結果，中間的所有過程像摘菜、洗菜、切菜、做菜就是轉換。

在開發(fā)的時候，大部分時候會通過 ETL 工具去實現(xiàn)，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微軟 SQL SERVER 里面的 SSIS 等等，在結合基本的 SQL 來實現(xiàn)整個 ETL 過程。

也有的是自己通過程序開發(fā)，然后控制一些數(shù)據(jù)處理腳本跑批，基本上就是程序加 SQL 實現(xiàn)。

哪種方式更好，也是需要看使用場景和開發(fā)人員對那種方式使用的更加得心應手。我看大部分軟件程序開發(fā)人員出身的，碰到數(shù)據(jù)類項目會比較喜歡用程序控制跑批，這是程序思維的自然延續(xù)。純 BI 開發(fā)人員大部分自然就選擇成熟的 ETL 工具來開發(fā)，當然也有一上來就寫程序腳本的，這類 BI 開發(fā)人員的師傅基本上是程序人員轉過來的。

用程序的好處就是適配性強，可擴展性強，可以集成或拆解到到任何的程序處理過程中，有的時候使用程序開發(fā)效率更高。難就難在對維護人員有一定的技術要求，經(jīng)驗轉移和可復制性不夠。

用 ETL 工具的好處，第一是整個 ETL 的開發(fā)過程可視化了，特別是在數(shù)據(jù)處理流程的分層設計中可以很清晰的管理。第二是鏈接到不同數(shù)據(jù)源的時候，各種數(shù)據(jù)源、數(shù)據(jù)庫的鏈接協(xié)議已經(jīng)內置了，直接配置就可以，不需要再去寫程序去實現(xiàn)。第三是各種轉換控件基本上拖拉拽就可以使用，起到簡化的代替一部分 SQL 的開發(fā)，不需要寫代碼去實現(xiàn)。第四是可以非常靈活的設計各種 ETL 調度規(guī)則，高度配置化，這個也不需要寫代碼實現(xiàn)。

所以在大多數(shù)通用的項目中，在項目上使用 ETL 標準組件開發(fā)會比較多一些。

ETL 從邏輯上一般可以分為兩層，控制流和數(shù)據(jù)流，這也是很多 ETL 工具設計的理念，不同的 ETL 工具可能叫法不同。

控制流就是控制每一個數(shù)據(jù)流與數(shù)據(jù)流處理的先后流程，一個控制流可以包含多個數(shù)據(jù)流。比如在數(shù)據(jù)倉庫開發(fā)過程中，第一層的處理是ODS層或者Staging 層的開發(fā)，第二層是DIMENSION維度層的開發(fā)，后面幾層就是DW 事實層、DM數(shù)據(jù)集市層的開發(fā)。通過ETL的調度管理就可以讓這幾層串聯(lián)起來形成一個完整的數(shù)據(jù)處理流程。

數(shù)據(jù)流就是具體的從源數(shù)據(jù)到目標數(shù)據(jù)表的數(shù)據(jù)轉換過程，所以也有 ETL 工具把數(shù)據(jù)流叫做轉換。在數(shù)據(jù)流的開發(fā)設計過程中主要就是三個環(huán)節(jié)，目標數(shù)據(jù)表的鏈接，這兩個直接通過 ETL 控件配置就可以了。中間轉換的環(huán)節(jié)，這個時候就可能有很多的選擇了，調 SQL 語句、存儲過程，或者還是使用 ETL 控件來實現(xiàn)。

有的項目上習慣使用 ETL 控件來實現(xiàn)數(shù)據(jù)流中的轉換，也有的項目要求不使用標準的轉換組件使用存儲過程來調用。也有的是因為數(shù)據(jù)倉庫本身這個數(shù)據(jù)庫不支持存儲過程就只能通過標準的SQL來實現(xiàn)。

我們通常講的BI數(shù)據(jù)架構師其實指的就是ETL的架構設計，這是整個BI項目中非常核心的一層技術實現(xiàn)，數(shù)據(jù)處理、數(shù)據(jù)清洗和建模都是在ETL中去實現(xiàn)。一個好的ETL架構設計可以同時支撐上百個包就是控制流，每一個控制流下可能又有上百個數(shù)據(jù)流的處理過程。之前寫過一篇技術文章，大家可以搜索下關鍵字 BIWORK ETL 應該在網(wǎng)上還能找到到這篇文章。這種框架設計不僅僅是ETL框架架構上的設計，還有很深的ETL項目管理和規(guī)范性控制器思想，包括后期的運維，基于BI的BI分析，ETL的性能調優(yōu)都會在這些框架中得到體現(xiàn)。因為大的BI項目可能同時需要幾十人來開發(fā)ETL，框架的頂層設計就很重要。

以上就是關于數(shù)據(jù)架構師需要學什么相關問題的回答。希望能幫到你，如有更多相關問題，您也可以聯(lián)系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內容。