HDFS是什么
# HDFS是什么
每天互联网上产生的PB级数据到底存哪了?全球大厂,都在用的存储神器,HDFS。HDFS全称Hadoop 分布式分布式文件系统,核心就是:分块,比如你存储10GB的电影,HDFS会把它切成128MB的小块,分散存储到十几台服务器上,这种操作叫做“分块存储”既不拍单台机器挂掉。还能让成百上千台机器同时读写,速度直接起飞。
这套系统核心:NameNode 和 DataNode,NameNode就是“中央大脑”,管理所有文件元数据,DataNode就是“存储节点”,负责存储数据块。
NameNode就是图书馆管理员,手里拿着所有文件的“目录地图”,
DataNode就是真正存书架的工人,每个数据块默认存3份副本,
就算两个硬盘同时炸了数据照样安全!
这就是HDFS的王牌,副本机制,就近读取
使用:交易记录,用户行为日志,PB级别海量数据