kocdaniel 头像

kocdaniel

0 声望
分享,交友,进步 展开

分享,交友,进步

收起
关注了
0
粉丝数
0
最新动态
  • 发布了文章 ·
    Zookeeper工作过程详解

    分布式和集中式系统相比,有很多优势,比如更强的计算能力,存储能力,避免单点故障等问题。但是由于在分布式部署的方式遇到网络故障等问题的时候怎么保证各个节点数据的一致性和可用性是比较关键的问题。

    摘要图
  • 发布了文章 ·
    MapReduce与Yarn 的详细工作流程分析

    MapReduce详细工作流程之Map阶段如上图所示首先有一个200M的待处理文件切片:在客户端提交之前,根据参数配置,进行任务规划,将文件按128M每块进行切片提交:提交可以提交到本地工作环境或者Yarn工作环境,本地只需要提交切片信息和xml配置文件,Yarn环境还需要提交jar包;本地环境一般只作为测试用提交时会将每个任务...

    摘要图
  • 发布了文章 ·
    MapReduce之Job提交流程源码和切片源码分析

    hadoop2.7.2 MapReduce Job提交源码及切片源码分析首先从waitForCompletion函数进入

    摘要图
  • 发布了文章 ·
    浅谈HDFS(三)之DataNote

    一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。

    摘要图
  • 发布了文章 ·
    浅谈HDFS(二)之NameNode与SecondaryNameNode

    假设存储在NameNode节点的硬盘中,因为经常需要随机访问和响应客户请求,必然效率太低,所以是存储在内存中的

    摘要图
  • 发布了文章 ·
    浅谈HDFS(一)

    HDFS:分布式文件系统,用于存储文件,主要特点在于其分布式,即有很多服务器联合起来实现其功能,集群中的服务器各有各的角色

    摘要图
认证与成就
获得 0 次点赞
9月25日 加入
qrcode
关注微信服务号
实时接收新的回答提醒和评论通知