網站seo優化HDFS架構
日期 : 2020-09-19 19:01:56
HDFS架構。首先，管理網絡上多臺計算機的存儲的文件系統稱為分布式文件系統。HDFS(Hadoop分布式文件系統）就是其中之一，并且是專門為諸如MapReduce之類的分布式編程框架開發的文件系統，用于執行大規模數據處理。HDFS使用服務器/客戶端架構，每個HDFS群集主要由兩部分組成，一個是NameNode，另一個是DataNode。“名稱”節點主要控制HDFS文件系統的名稱空間，并維護存儲在整個集群中的文件系統樹。與元數據有關的所有服務也由名稱節點進程提供，因此它們也稱為元數據節點。“名稱”節點記錄文件名和拆分文件的塊列表之間的映射關系，以及塊和實際系統之間的對應關系。“名稱”節點以快照的形式在本地文件系統中存儲映射關系，并在每次系統重新啟動時在本地加載映像，并獲取文件的存儲地址。在大多數情況下，名稱節點僅被動地接受來自數據節點的請求，執行其任務并更新。數據節點是實際存儲文件的節點，通常一個物理系統對應一個數據節點。通常，不執行數據節點的磁盤陣列備份，因為文件被設計為備份到多個數據節點，而不是一個數據節點上的多個文件。HDFS數據塊備份和分發策略存儲一系列數據塊，每個文件都在其中劃分。除最后一個分段數據塊外，分段成文件的所有其他數據塊大小相同。為了提高容錯能力，通常以多份副本備份數據塊，同時用戶也可以自行配置數據塊的大小和備份副本的數量。基于HDFS的應用程序可以通過配置文件更改參數，創建數據備份時，用戶可以指定塊備份的數量或稍后對其進行修改，但是在HDFS中，每個文件一次寫入。名稱節點會定期在每個數據節點上執行心跳檢查和數據庫快速狀態報告，以確定哪些數據節點當前可用以及哪些數據文件已存儲。通常，如果很長時間未收到數據節點的心跳，則系統會使它無效并重新啟動該節點以恢復數據從而重新加入系統。
上一篇：網站seo優化知識類直播和短視頻
下一篇：網站seo優化店鋪等級
相關文章
精彩導讀
熱門資訊
