Hadoop 研究筆記 隨手記

Hadoop 簡史

 

Hadoop 受歡迎的一個理由就是其經濟誘因。以前處理大型資料集需要超級電腦和其他昂貴的特殊硬體。Hadoop 可在業界標準伺服器上實現可靠、可擴充的分散式運算，讓您以較低的預算處理數 PB 以上的資料。Hadoop 的設計還可以從單一伺服器擴充到數以千計的機器，並偵測和處理應用程式層的失敗來提高可靠性。

洞察所有類型的資料

[bigdata]小象幫幫忙，Hadoop 能幫什麼忙？

Hadoop 文獻探討

微軟巨量資料策略轉向，全面支援Hadoop

微軟表示，全面支援 Apache Hadoop，這消息說明了：

Hadoop 夠熱門，讓微軟無法抵擋。俗話說：「打不動，就加入」，現在微軟就加入了。

並且 ASP .NET MVC, ASP .NET AJAX 都將採用 jQuery 的技術。(舊消息)

最近熱門關鍵字，從雲端，換成 Big Data，有翻譯成「巨量資料」、有翻譯成「海量資料」，

 

也不是一個標準，所以無法用文字嚴格定義。網路上多數的文章會這麼說：

「因為雲端時代的來臨，資料量增加的速度非常快，所以需要一些新方法來應付這些資料。

在合理時間及資源下，巨量資料的技術才能夠應付這些需求。」

其實，這還是很模糊的描述。所以，只能知道，巨量資料並不是突然跑出來的東西。但「巨量資料」這個名詞是為了方便討論某些情況下，使用某些技術而產生的新名詞。巨量資料並不是每一個人或每一個企業都會面臨到的，有能力產生上面描述的 3V 的資料，才會有需要使用到巨量資料的技術。

因此，接下來，我們反過來，從被微軟納入解決方案核心的 Hadoop 來看。看 Hadoop 能夠解決什麼問題，至少可以了解，巨量資料大概是什麼東西。

Hadoop 提供的核心功能有二，名字叫 HDFS 以及 MapReduce。HDFS 是 Hadoop Distributed File System 的縮寫。MapReduce 則是 Hadoop 採用分散式計算的技術。也就是，它基本上要解決的問題有兩個，一個是儲存，一個是計算。

在 HDFS 的設計概念是這樣的。在一群電腦裡面，找一台電腦當老大，叫做 Master Node。它必須負責管理所有的電腦(包含自己)的資料的存放狀態、控制讀寫動作。所以裝了一個程式叫 Name Node 來做管理這件事。也裝了一個 Data Node 的程式來放資料。其他的電腦，叫做 Worker Node，裝了一個 Data Node 的程式來放資料。放資料的規則是，先把一個檔案，切成數個小塊(block)，每塊為 64 MB，然後， Name Node 會讓檔案塊，分散到各個不同的 Data Node 去，而且，還會讓整個電腦叢集裡，每一個檔案塊，都有三份。若是 Name Node 發現檔案塊遺失或損壞，會開始尋找其他的 Data Node 上的副本來複製，使得整個電腦叢集維持每個檔案塊的數量都有三份。

從以上的設計慨念裡，可以知道：(1)它不怕單一資料存放區的硬體壞掉，壞掉照常工作，並自動回復、(2)它不怕單一檔案的大小超過一個磁碟區的大小、(3)資料存放區的大小，可以動態增加。(註1)

註1：http://www.classcloud.org/cloud/wiki/Hadoop_Lab8

要講 MapReduce 的設計概念，先講解一下，MapReduce 是什麼。在 functional language 裡面可常見到這個字。它其實是兩個英文字連起來的。也就是 Map 及 Reduce。

 

int[] B = { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 }; //初值化的數列

 

這程式裡面看到，數列A、數列B，還有函數 f。剩下來的是那個迴圈，它的動作是把每個數列A的數值，經過函數 f 得到的值，放到數列B 對應的位置。只要是可以完成這一類事情的函數，就叫做 Map 函數。這種函數的特色就是可以平行運算。以上述的例子，把 map 函數寫出來，程式再改寫一下會成為：

int[] A = { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 };

static int f(int x) { return 2 * x; }

    for (int i = 0; i < _a.Length; i++)

        _b[i] = _func(_a[i]);

 

 

 

int[] A = { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 };

for (int i = 0; i < A.Length; i++)

    C = f2(C, A[i]);

 

 

    int _c = 0;

int[] A = { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 };

C = reduce(f2, A);

凡是可以完成這一類工作的函數，都叫做 Reduce 函數。

所以，MapReduce 的技術，是已經在 Hadoop 中準備好可供分散式計算呼叫的 Map，以及 Reduce 的函數。而使用的人，要把計算的函數，寫成可被 Map 或 Reduce 呼叫。如此就可以利用分散式運算來縮短運算時間。例如，最簡單的分散式運算版的 Map，就不用迴圈，改成分給 10 個 Node 各自運算，等全部得到值，放入數列，再回傳數列，依照 Map 的概念來寫程式，就不怕平行化運算時會出問題了。

了解了 MapReduce 的意思之後，就可以看懂介紹 MapReduce 的示意圖了。要用 MapReduce 技術來計算，首先要把程式，寫成可被 Map，Reduce 使用的樣子。在叢集中，Master Node 還是當老大，負責管理所有的 Job，所以安裝一個叫 Job Tracker 的程式，而 Task Tracker 程式，則是裝在所有可以當計算的電腦裡。當運算開始，Master Node 分配 Map 函數要做的 Task 給 Worker Node，分配時會盡量交給資料在附近的 Node，如此會減少資料傳輸時間。Map 函數計算完的結果會存下來。等到的 Map 程式的結果出來，Reduce 程式可緊接著執行，即可將最終結果算出來。

總和來看，Hadoop 核心所提供的兩個功能，解決了檔案存放的問題、解決了系統擴張的問題、解決了系統備援的問題、解決了分散式運算的問題。依此來推測， Hadoop 可以被大家接受成為巨量資料的主流技術，巨量資料的主要需求及適用範圍即是這些東西。但是巨量資料的所有難題，用 Hadoop 就可以解決了嗎？其實並沒有。HDFS 與 MapReduce 只解決了基本的問題，我們可以從Apache 基金會 Hadoop 相關的其他專案的功能來了解 Hadoop 本身做不到的事。

(1) HBase，是專門用在 Hadoop 檔案系統上的資料庫系統。以此推知，Hadoop 沒有資料庫系統。

(2) Hive，是建置在 HDFS 上的分散式資料倉儲系統，可讓使用者以慣用的 SQL 語法，存取檔案中的大型資料集。以此推知，Hadoop 沒有 SQL 語法查詢功能。

(3) Pig，是 Script 語言，可用來撰寫 MapReduce 程式，不懂 Java 也可以使用這個語言開發 MapReduce 程式。以此推知，MapReduce 程式在 Hadoop 系統是用 Java 撰寫，要效能好，就要用 Java 來寫。

(4) ZooKeeper，是監控和協調 Hadoop 分散式運作的集中式服務，提供各個伺服器的配置和運作狀態資訊，用於提供不同 Hadoop 系統角色之間的工作協調。

(5) Mahout，立即可用的 MapReduce 函式庫，常見的數值分析方法，業集分類和篩選方法，都有對應的函數可以呼叫。

這些專案的功能，可以來解決巨量資料的其他需求，而這些需求，不是每個人都需要，所以不在核心功能之中。也可以想見巨量資料的需求，還是因人而異，而且差異很大。

希望這篇有把 Hadoop 能做什麼說清楚，也希望有把巨量資料的其中一個面向說清楚。