实时计算 头像

实时计算

20 声望
他还没有填写个人简介
关注了
2
粉丝数
0
最新动态
  • 发布了文章 ·
    ES入门宝典(详细截图版)

    本文使用版本基于elasticsearch-6.4.01、什么是ES?官网: [链接] 中文官网:[链接]ES是一个全文检索引擎,提到全文检索,就要说一下以下几个概念:搜索:寻找想要的信息,根据关键字找到想要的信息。倒排索引:反向索引,提取关键字建立索引,不需要全部遍历,提高效率,减少扫描次数。lucene,就是一个jar包 里面有倒...

    摘要图
  • 发布了文章 ·
    什么是全文检索

    全文检索技术被广泛的应用于搜索引擎,查询检索等领域。我们在网络上的大部分搜索服务都用到了全文检索技术。

    摘要图
  • 发布了文章 ·
    Hbase入门(五)——客户端(Java,Shell,Thrift,Rest,MR,WebUI)

    Hbase的客户端有原生java客户端,Hbase Shell,Thrift,Rest,Mapreduce,WebUI等等。

    摘要图
  • 发布了文章 ·
    Hbase入门(四)——表结构设计-RowKey

    Hbase的表结构设计与关系型数据库有很多不同,主要是Hbase有Rowkey和列族、timestamp这几个全新的概念,如何设计表结构就非常的重要。

    摘要图
  • 发布了文章 ·
    Hbase入门(三)——数据模型

    Hbase最核心但也是最难理解的就是数据模型,由于与传统的关系型数据库不同,虽然Hbase也有表(Table),也有行(Row)和列(Column),但是与关系型数据库不同的是Hbase有一个列族(Column Family)的概念,它将一列或者多列组织在一起,HBase必须属于某一个列族。

    摘要图
  • 发布了文章 ·
    Hbase入门(二)——安装与配置

    本文讲述如何安装,部署,启停HBase集群,如何通过命令行对Hbase进行基本操作。并介绍Hbase的配置文件。在安装前需要将所有先决条件安装完成。一、先决条件1、JDK和Hadoop一样,Hbase需要JDK1.6或者更高的版本,所以请安装好JDK并配置环境变量。Hbase版本与JDK版本HBase VersionJDK 7JDK 8JDK 9 (Non-LTS)JDK 10 (Non-LT...

    摘要图
  • 发布了文章 ·
    Hbase入门(一)——初识Hbase

    本文将介绍大数据的知识和Hbase的基本概念,作为大数据体系中重要的一员,Hbase弥补了Hadoop只能离线批处理的不足,支持存储小文件,随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。

    摘要图
  • 发布了文章 ·
    Flink1.9整合Kafka

    我们知道可以自己来开发Source 和 Sink ,但是一些比较基本的 Source 和 Sink 已经内置在 Flink 里。

    摘要图
  • 发布了文章 ·
    Flink入门宝典(详细截图版)

    本文基于java构建Flink1.9版本入门程序,需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。

    摘要图
  • 发布了文章 ·
    Kafka常见错误整理(不断更新中)

    原因分析:producer向不存在的topic发送消息,用户可以检查topic是否存在 或者设置auto.create.topics.enable参数

    摘要图
  • 发布了文章 ·
    Kafka运维命令大全

    1、集群管理前台启动broker {代码...} Ctrl + C 关闭 后台启动broker {代码...} 关闭broker {代码...} 2、Topic管理创建topic {代码...} 删除topic {代码...} 查询topic列表 {代码...} 查询topic详情 {代码...} 修改topic {代码...} 3、Consumer-Groups管理查询消费者组 {代码...} 查询消费者组详情 {代码...} 重设消费...

    摘要图
  • 发布了文章 ·
    Storm VS Flink ——性能对比

    Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考 Storm 的 可靠性保证测试),有管理平台、常用 API 和相应的文档,大量实时作业基于 Storm 构建。而 Apache Flink(以下简称“Flink”)在近期倍受关...

    摘要图
  • 发布了文章 ·
    快速构建第一个Flink工程

    本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目,安装与示例运行请查看:Flink快速入门--安装与示例运行.

    摘要图
  • 发布了文章 ·
    Kafka入门宝典(详细截图版)

    Apache Kafka 是一个开源消息系统,由Scala 写成。是由Apache 软件基金会开发的一个开源消息系统项目。

    摘要图
  • 发布了文章 ·
    统一批处理流处理——Flink批流一体实现原理

    实现批处理的技术许许多多,从各种关系型数据库的sql处理,到大数据领域的MapReduce,Hive,Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理,那么他是怎么做到批处理的呢?

    摘要图
  • 发布了文章 ·
    Flink,Storm,SparkStreaming性能对比

    Yahoo 的 Storm 团队曾发表了一篇博客文章 ,并在其中展示了 Storm、Flink 和 Spark Streaming 的性能测试结果。该测试对于业界而言极 具价值,因为它是流处理领域的第一个基于真实应用程序的基准测试。

    摘要图
  • 发布了文章 ·
    最简单流处理引擎——Kafka Streams简介

    Kafka在0.10.0.0版本以前的定位是分布式,分区化的,带备份机制的日志提交服务。而kafka在这之前也没有提供数据处理的顾服务。大家的流处理计算主要是还是依赖于Storm,Spark Streaming,Flink等流式处理框架。

    摘要图
  • 发布了文章 ·
    超越Storm,SparkStreaming——Flink如何实现有状态的计算

    流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件,Storm就是无状态的计算框架,每一条消息来了以后和前后都没有关系,一条是一条。比如我们接收电力系统传感器的数据,当电压超过240v就报警,这就是无状态的数据。但是如果我们需要同时判断多个电压,比如三相电路,我们判断三相电都高于某个值,那么...

    摘要图
  • 发布了文章 ·
    可以穿梭时空的实时计算框架——Flink对时间的处理

    Flink对于流处理架构的意义十分重要,Kafka让消息具有了持久化的能力,而处理数据,甚至穿越时间的能力都要靠Flink来完成。

    摘要图
  • 发布了文章 ·
    替代Flume——Kafka Connect简介

    我们知道过去对于Kafka的定义是分布式,分区化的,带备份机制的日志提交服务。也就是一个分布式的消息队列,这也是他最常见的用法。但是Kafka不止于此,打开最新的官网。

    摘要图
认证与成就
获得 4 次点赞
8月14日 加入
qrcode
关注微信服务号
实时接收新的回答提醒和评论通知