毫无疑问，今天“云原生”这个概念已经席卷了全球，特别是随着数字经济的快速发展和扩张，越来越多的企业开始采用微服务、容器以及云原生...
今天给大家分享第四范式在推荐系统大规模特征工程与Spark基于LLVM优化方面的实践，主要包括以下四个主题。
本文主要记录如何实现 Json 与 对象 之间的互转操作，使用了 fastjson-1.2.39.jar 包实现：
之前在准备 Ambari 环境的时候，考虑到有朋友会在 Ambari 安装部署时遇到问题，所以贴心的我呢，就在搭建 Ambari 环境的时候，把这个视...
之前学习 HBase 就有疑惑，HBase 虽然可以存储数亿或数十亿行数据，但是对于数据分析来说，不太友好，只提供了简单的基于 Key 值的快速...
fancyBox 是一个流行的媒体展示增强组件，可以方便为网站添加图片放大、相册浏览、视频弹出层播放等效果。优点有使用简单，支持高度自定...
之前的文章也提到过，最近工作中需要对HBase进行二次开发（参照HBase的AES加密方法，为HBase增加SMS4数据加密类型）。研究了两天，终于...
刚开始debug ambari-server的时候，很多逻辑都是第一次接触。其中有很多知识点还是记录一下的好，做个备忘。这些知识点对于自定义api的...
43亿个IPv4地址已分配完毕，这意味着没已经有更多的IPv4地址可以分配给ISP和其他大型网络基础设施提供商了，这样的话，恐怕有些云厂商会...
雅虎日本是一家雅虎和软银合资的日本互联网公司，是日本最受欢迎的门户网站之一。雅虎日本的互联网服务在日本市场占主导地位。
2019年11月08日 数砖的 Xingbo Jiang 大佬给社区发了一封邮件，宣布 Apache Spark 3.0 预览版正式发布，这个版本主要是为了对即将发布的...
最近有人提出能不能发一些大数据相关的知识，No problem ！ 今天先从安装环境说起，搭建起自己的学习环境。
hive启动时错误1 {代码...} {代码...} hive启动时错误2 {代码...} {代码...} hive建表时出现 {代码...} {代码...} 在drop表时卡死 {代码...
MapReduce详细工作流程之Map阶段如上图所示首先有一个200M的待处理文件切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按1...
hadoop2.7.2 MapReduce Job提交源码及切片源码分析首先从waitForCompletion函数进入
一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及...
假设存储在NameNode节点的硬盘中，因为经常需要随机访问和响应客户请求，必然效率太低，所以是存储在内存中的
集群环境：centOs6.8：hadoop102，hadoop103，hadoop104jdk版本：jdk1.8.0_144hadoop版本：Hadoop 2.7.2
