大型分布式网站架构设计与实践

大型分布式网站架构设计与实践

原图链接来自搜狗的图片

《大型分布式网站架构设计与实践》是2014年电子工业出版社出版的图书，作者是陈康贤。

目录

基本内容

书名：大型分布式网站架构设计与实践

类别：分布式、架构、互联网、计算机、设计模式、服务器、网站

出版时间：2014年9月1日

定价：79 元

作者：陈康贤

出版社：电子工业出版社

页数：460 页

ISBN：9787121238857

内容简介

《大型分布式网站架构设计与实践》主要介绍了大型分布式网站架构所涉及的一些技术细节，包括SOA架构的实现、互联网安全架构、构建分布式网站所依赖的基础设施、系统稳定性保障和海量数据分析等内容；深入地讲述了大型分布式网站架构设计的核心原理，并通过一些架构设计的典型案例，帮助读者了解大型分布式网站设计的一些常见场景及遇到的问题。

作者结合自己在阿里巴巴及淘宝网的实际工作经历展开论述。《大型分布式网站架构设计与实践》既可供初学者学习，帮助读者了解大型分布式网站的架构，以及解决问题的思路和方法，也可供业界同行参考，给日常工作带来启发。

作者简介

陈康贤，淘宝花名龙隆，淘宝技术部资深研发工程师，长期在在淘宝分布式环境下耳濡目染，在分布式系统架构设计、高并发系统设计、系统稳定性保障等领域积累了较为丰富的实践经验。曾在程序员上发表过《漫谈基于http协议的SOA架构》《浅析HTTP平台的安全稳定性架构》两篇文章，对基于HTTP协议的SOA架构有深入研究，在排查解决线上问题和故障方面有丰富的实践经验，擅于利用数据分析解决实际问题，对新技术有浓厚的兴趣。

名家推荐

2008年，TB网随着访问量/数据量的巨增，以及开发人员的增长，原有的架构体系已经无法支撑，于是在那一年TB网将系统改造为了一个大型分布式的网站。作者目前就职于阿里集团，清晰地看到了目前TB这个大型分布式网站的架构体系，这个架构体系其实是非常多方面的技术的融合，要掌握好最重要的首先是看清全貌，但这也是最难的。本书向大家展示了一个大型分布式网站需要的技术的全貌。

——阿里巴巴集团资深技术专家 林昊（毕玄）

笔者通过大量的实践来分析分布式网站设计过程中常见的难题并逐步给予解答，通过本书可以对分布式网站设计进行一个系统性学习，值得一阅！

——聚划算技术部高级技术专家 刘国华（索尼）

当下有规模的网站，都采用分布式的架构实现。那么网站如何做到分布式，以及有哪些基础的分布式系统，都是我们的架构师和开发人员想去了解的，而相关的安全问题，以及稳定性、性能、应用的线上问题定位分析等方面的问题也很重要，本书能够比较全面地给读者带来这些相关知识的一个全貌，能够让从业人员对于这些知识有一个比较全面的了解。而康贤也是一个一直奋战在一线的技术人员，亲身经历的总结会显得更加实战和珍贵。

——TB技术部总监 曾宪杰（华黎）

目录

第1章　面向服务的体系架构（SOA） 1

本章主要介绍和解决以下问题，这些也是全书的基础：

HTTP协议的工作方式与HTTP网络协议栈的结构。

如何实现基于HTTP协议和TCP协议的RPC调用，它们之间有何差别，分别适应何种场景。

如何实现服务的动态注册和路由，以及软负载均衡的实现。

1.1　基于TCP协议的RPC 3

1.1.1　RPC名词解释 3

1.1.2　对象的序列化 4

1.1.3　基于TCP协议实现RPC 6

1.2　基于HTTP协议的RPC 9

1.2.1　HTTP协议栈 9

1.2.2HTTP请求与响应 15

1.2.3　通过HttpClient发送HTTP请求 16

1.2.4　使用HTTP协议的优势 17

1.2.5　JSON和XML 18

1.2.6　RESTful和RPC 20

1.2.7　基于HTTP协议的RPC的实现 22

1.3　服务的路由和负载均衡 30

1.3.1　服务化的演变 30

1.3.2 负载均衡算法 33

1.3.3 动态配置规则 39

1.3.4 ZooKeeper介绍与环境搭建 40

1.3.5 ZooKeeper API使用简介 43

1.3.6 zkClient的使用 47

1.3.7 路由和负载均衡的实现 50

1.4 HTTP服务网关 54

第2章　分布式系统基础设施 58

本章主要介绍和解决如下问题：

分布式缓存memcache的使用及分布式策略，包括Hash算法的选择。

常见的分布式系统存储解决方案，包括MySQL的分布式扩展、HBase的API及使用场景、Redis的使用等。

如何使用分布式消息系统ActiveMQ来降低系统之间的耦合度，以及进行应用间的通信。

垂直化的搜索引擎在分布式系统中的使用，包括搜索引擎的基本原理、Lucene详细的使用介绍，以及基于Lucene的开源搜索引擎工具Solr的使用。

2.1分布式缓存60

2.1.1 memcache简介及安装 60

2.1.2 memcache API与分布式 64

2.1.3 分布式session 69

2.2 持久化存储 71

2.2.1 MySQL扩展 72

2.2.2 HBase 80

2.2.3 Redis 91

2.3 消息系统 95

2.3.1 ActiveMQ & JMS 96

2.4 垂直化搜索引擎 104

2.4.1 Lucene简介 105

2.4.2 Lucene的使用 108

2.4.3 Solr 119

2.5 其他基础设施 125

第3章　互联网安全架构 126

本章主要介绍和解决如下问题：

常见的Web攻击手段和防御方法，如XSS、CRSF、SQL注入等。

常见的一些安全算法，如数字摘要、对称加密、非对称加密、数字签名、数字证书等。

如何采用摘要认证方式防止信息篡改、通过数字签名验证通信双方的合法性，以及通过HTTPS协议保障通信过程中数据不被第三方监听和截获。

在开放平台体系下，OAuth协议如何保障ISV对数据的访问是经过授权的合法行为。

3.1 常见的Web攻击手段 128

3.1.1 XSS攻击 128

3.1.2 CRSF攻击 130

3.1.3SQL注入攻击133

3.1.4 文件上传漏洞 139

3.1.5 DDoS攻击 146

3.1.6 其他攻击手段 149

3.2 常用的安全算法 149

3.2.1 数字摘要 149

3.2.2对称加密算法155

3.2.3非对称加密算法158

3.2.4 数字签名 162

3.2.5 数字证书 166

3.3 摘要认证 185

3.3.1 为什么需要认证 185

3.3.2 摘要认证的原理 187

3.3.3 摘要认证的实现 188

3.4 签名认证 192

3.4.1 签名认证的原理 192

3.4.2 签名认证的实现 193

3.5 HTTPS协议 200

3.5.1 HTTPS协议原理 200

3.5.2 SSL/TLS 201

3.5.3 部署HTTPS Web 208

3.6 OAuth协议 215

3.6.1 OAuth的介绍 215

3.6.2 OAuth授权过程 216

第4章　系统稳定性 218

本章主要介绍和解决如下问题：

常用的在线日志分析命令的使用和日志分析脚本的编写，如cat、grep、wc、less等命令的使用，以及awk、shell脚本的编写。

如何进行集群的监控，包括监控指标的定义、心跳检测、容量评估等。

如何保障高并发系统的稳定运行，如采用流量控制、依赖管理、服务分级、开关等策略，以及介绍如何设计高并发系统。

如何优化应用的性能，包括前端优化、Java程序优化、数据库查询优化等。

如何进行Java应用故障的在线排查，包括一系列排查工具的使用，以及一些实际案例的介绍等。

4.1 在线日志分析 220

4.1.1 日志分析常用命令 220

4.1.2 日志分析脚本 230

4.2 集群监控 239

4.2.1 监控指标 239

4.2.2 心跳检测 247

4.2.3 容量评估及应用水位 252

4.3 流量控制 255

4.3.1 流量控制实施 255

4.3.2 服务稳定性 260

4.3.3 高并发系统设计 265

4.4 性能优化 277

4.4.1 如何寻找性能瓶颈 277

4.4.2 性能测试工具 285

4.4.3 性能优化措施 292

4.5 Java应用故障的排查 314

4.5.1 常用的工具 314

4.5.2 典型案例分析 331

第5章　数据分析 337

本章主要介绍和解决如下问题：

分布式系统中日志收集系统的架构。

如何通过Storm进行实时的流式数据分析。

如何通过Hadoop进行离线数据分析，通过Hive建立数据仓库。

如何将关系型数据库中存储的数据导入HDFS，以及从HDFS中将数据导入关系型数据库。

如何将分析好的数据通过图形展示给用户。

5.1 日志收集 339

5.1.1 inotify机制 339

5.1.2 ActiveMQ-CPP 343

5.1.3 架构和存储 359

5.1.4 Chukwa 362

5.2 离线数据分析 369

5.2.1 Hadoop项目简介 370

5.2.2 Hadoop环境搭建 374

5.2.3 MapReduce编写 384

5.2.4 Hive使用 389

5.3 流式数据分析 403

5.3.1 Storm的介绍 404

5.3.2 安装部署Storm 407

5.3.3 Storm的使用 418

5.4 数据同步 422

5.4.1 离线数据同步 423

5.4.2 实时数据同步 429

5.5 数据报表 431

5.5.1 数据报表能提供什么 431

5.5.2 报表工具Highcharts 432

参考文献 445

序言

在大型网站架构的演变过程中，集中式的架构设计出于对系统的可扩展性、可维护性以及成本等多方面因素的考虑，逐渐被放弃，转而采用分布式的架构设计。分布式架构的核心思想是采用大量廉价的PC Server，构建一个低成本、高可用、高可扩展、高吞吐的集群系统，以支撑海量的用户访问和数据存储，理论上具备无限的扩展能力。分布式系统的设计，是一门复杂的学问，它涉及到通信协议、远程调用，服务治理，系统安全、存储、搜索、监控、稳定性保障、性能优化、数据分析、数据挖掘等各个领域，对任何一个领域的深入挖掘，都能够编写一本篇幅不亚于本书的专门书籍。本书结合作者在阿里巴巴及TB网的实际工作经历，重点介绍大型分布式系统的架构设计，同时，为避免过度专注于理论而使得内容显得空洞，作者穿插介绍了很多实践的案例，尽量让每一个关键的技术点都落到实处，相信能够帮助读者更好地理解本书的内容。

内容大纲

全书共5章，章与章之间几乎是相互独立的，没有必然的前后依赖关系，因此，读者可以从任何一个感兴趣的专题开始阅读，但是，每一章的各个小节之间的内容是相互关联的，因此，最好按照原文的先后顺序阅读。

第1章主要介绍企业内部SOA（Service Oriented Architecture，即面向服务的体系结构）架构的实现，包括HTTP协议的工作原理，基于TCP协议和基于HTTP协议的RPC实现，如何实现服务的路由和负载均衡，HTTP服务网关的架构。

第2章主要介绍如何保障互联网通信的安全性，包括一些常见攻击手段的介绍；常见的安全算法，如数字摘要、对称加密、非对称加密、数字签名、数字证书的原理和使用；常用通信认证方式，包括摘要认证、签名认证，以及基于HTTPS协议的安全通信；另外还介绍了通过OAuth协议的授权过程。

第3章介绍一些分布式系统所依赖的基础设施，包括分布式缓存，持久化存储。持久化存储又涵盖了传统的关系型数据库MmySQL，以及近年来开始流行NOSQL数据库如HBase、Redis，消息系统及垂直化搜索引擎等。

第4章介绍如何保障系统运行的稳定性，包括在线日志分析、集群监控、流量控制、性能优化，以及常用的Java应用故障排查工具和典型案例。

第5章介绍如何对海量数据进行分析，包括数据的采集、离线数据分析、流式数据分析、不同数据源间的数据同步和数据报表等。

本书并不假设读者在Java领域有很深的技术水平，但是，结合作者本人的工作经验和使用习惯，书中的大部分案例代码均采用Java来编写，并且运行在Linux环境之上，因此，读者最好对Java环境下的编程有一定的了解，并且熟悉Linux环境下的基本操作，以便能够更加顺利地阅读本书。