从零开始搭建 Flink
安装：下载并启动 Flink Flink 可以运行在 Linux，Mac OS X 和 Windows 上，唯一的要求就是已经安装了 Java 8.x。 可以通…
科学上网-搭建搬瓦工VPS服务
科学上网想必是每一位码农的刚需，我之前尝试过不少免费的方式，但是稳定性都比较差，严重影响用户体验。这次干脆自己购买了搬瓦工VPS，搬瓦工是美国的一款低价的VPS…
人生新的里程碑
有 4 个多月没有更新了，这段时间忙于一件大事，是的，我换工作了。至今尘埃落定，总算能抽出点时间复盘一下。 换工作对于我们互联网这个人员流动性极高的行业来说可能…
The world beyond batch: Streaming 101（第三节）
时间窗口 剩下的两种无界数据处理的方法都是时间窗口的变种。在介绍它们之前，我应该先明确时间窗口的含义。时间窗口就是将数据源（无界或者有界）沿着时间线划分成有限的…
The world beyond batch: Streaming 101（第二节）
数据处理模式 现在我们可以开始讲一些有界和无界数据处理的重要模式了：批量和流式，这里我把微批归类为流式，因为二者的区别不是很重要。 有界数据 处理有界数据很简单…
The world beyond batch: Streaming 101（第一节）
在流式计算方面，有两篇经典文章是必读的：The world beyond batch: Streaming 101与The world beyond batch…
MillWheel：在网络规模上可容错的流式处理（第三节）
4. 核心概念 MillWheel 除了流式系统的基本要素，还提供了简洁的抽象概念。数据通过用户定义的 computations 有向图流过我们的系统（…
MillWheel：在网络规模上可容错的流式处理（第二节）
2. 动机和需求 Google 的Zeitgeist流水线被用来在检索 query 中追踪趋势。为了证明 MillWheel 的特征集的功能，我们将会查…
MillWheel：在网络规模上可容错的流式处理（第一节）
MillWheel 是 Google 2013年公开的其内部主要的流式计算框架，本文是对论文MillWheel: Fault-Tolerant Stream P…
Spark官方文档-集群模式概览
集群模式概览 本文档为Spark是如何运行在集群上的提供了一个简短的概览，目的是使涉及到的各个组件更容易理解。请阅读应用提交指南来学习如何在一个集群上启动应用。…