From 8c09b38570515eb24887a6701814afd790c3ae49 Mon Sep 17 00:00:00 2001 From: Jerry Lee Date: Mon, 20 Jul 2015 14:38:05 +0800 Subject: [PATCH] add toc #5 --- .../README.md | 14 ++++++++++++++ .../part1-what-is-a-log.md | 7 ++++++- .../part2-data-integration.md | 9 +++++++++ 3 files changed, 29 insertions(+), 1 deletion(-) diff --git a/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/README.md b/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/README.md index fb7f38b..5b0f689 100644 --- a/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/README.md +++ b/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/README.md @@ -28,8 +28,22 @@ 不懂得日志，你就不可能真正理解数据库、`NoSQL`存储、键值存储、数据复制（`replication`）、`paxos`、`Hadoop`、版本控制（`version control`），甚至几乎任何一个软件系统；然而大多数软件工程师对日志并不熟悉。我有意于改变这个现状。 本文我将带你浏览有关日志需要了解的一切，包括日志是什么，如何在数据集成（`data integration`）、实时处理（`real time processing`）和系统构建中使用日志。 +----------------- + - [第一部分：日志是什么？](part1-what-s-a-log.md) + - [数据库中的日志](part1-what-s-a-log.md#数据库中的日志) + - [分布式系统中的日志](part1-what-s-a-log.md#分布式系统中的日志) + - [变更日志101：表与事件的二相性](part1-what-s-a-log.md#变更日志101表与事件的二相性) + - [接下来的内容](part1-what-s-a-log.md#接下来的内容) - [第二部分：数据集成](part2-data-integration.md) + - [数据集成：两个难题](part2-data-integration.md#数据集成两个难题) + - [事件数据管道](part2-data-integration.md#事件数据管道) + - [专用的数据系统（`specialized data systems`）的爆发](part2-data-integration.md#专用的数据系统specialized-data-systems的爆发) + - [日志结构化的（`log-structured`）数据流](part2-data-integration.md#日志结构化的log-structured数据流) + - [在`LinkedIn`](part2-data-integration.md#在linkedin) + - [`ETL`与数据仓库的关系](part2-data-integration.md#etl与数据仓库的关系) + - [日志文件与事件](part2-data-integration.md#日志文件与事件) + - [构建可伸缩的日志](part2-data-integration.md#构建可伸缩的日志) - [第三部分：日志和实时流处理](part3-logs-and-real-time-stream-processing.md) - [第四部分：系统建设](part4-system-building.md) - [结束语](the-end.md) diff --git a/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/part1-what-is-a-log.md b/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/part1-what-is-a-log.md index 512a4b8..794eeb3 100644 --- a/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/part1-what-is-a-log.md +++ b/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/part1-what-is-a-log.md @@ -1,6 +1,11 @@ 第一部分：日志是什么？ ===================================================================== +- [数据库中的日志](#数据库中的日志) +- [分布式系统中的日志](#分布式系统中的日志) +- [变更日志101：表与事件的二相性](#变更日志101表与事件的二相性) +- [接下来的内容](#接下来的内容) + 日志可能是一种最简单的不能再简单的存储抽象。只能追加，完全按照时间排序的记录序列。日志看起来的样子： ![](images/log.png) @@ -106,7 +111,7 @@ 比如使用线性探测的杂音哈希（`the murmur hash with linear probing`）还是某个变种。 日志将成为一种大众化的接口，可以有多种竞争的算法和实现，以提供最好的保证和最佳的性能。 -变更日志101： 表与事件的二相性 +变更日志101：表与事件的二相性 ------------------------- 让我们继续聊一下数据库。变更日志 和 表之间有着迷人的二相性。 diff --git a/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/part2-data-integration.md b/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/part2-data-integration.md index aa68144..df7fd9e 100644 --- a/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/part2-data-integration.md +++ b/log-what-every-software-engineer-should-know-about-real-time-datas-unifying/part2-data-integration.md @@ -1,6 +1,15 @@ 第二部分：数据集成 ================================ +- [数据集成：两个难题](#数据集成两个难题) + - [事件数据管道](#事件数据管道) + - [专用的数据系统（`specialized data systems`）的爆发](#专用的数据系统specialized-data-systems的爆发) +- [日志结构化的（`log-structured`）数据流](#日志结构化的log-structured数据流) +- [在`LinkedIn`](#在linkedin) +- [`ETL`与数据仓库的关系](#etl与数据仓库的关系) +- [日志文件与事件](#日志文件与事件) +- [构建可伸缩的日志](#构建可伸缩的日志) + 请让我首先解释一下『数据集成』（`data integration`）是什么意思，还有为什么我觉得它很重要，然后我们再来看看它和日志有什么关系。 **数据集成 是指 让一个组织的所有数据 对 这个组织的所有的服务和系统 可使用。**