本文作者，陈睿 优知学院创始人,10年以上产品技术经验，前百度研发经理、携程定制旅游CTO。

优知学院是IT人在线进阶站,帮助IT人升职加薪，提供系统的互联网产品技术入门指南、进阶干货资料和课程，以及定期的线下实战活动。

“

从程序员到架构师进阶，将涉及到数据结构和算法，Java编程语言掌握，Javaweb核心技术，数据库，Java框架与必备工具，系统架构设计等六大环节。

这是中篇，包含数据库设计以及大数据方案， Java相关的框架与工具(消息队列，web框架，构建工具，负载均衡，服务器等)。

最后一篇，讲重点讲解大型网站系统架构设计。

数据库设计原则和大数据方案

谈到数据库将涉及到如下范围：

数据库设计原则和范式

第一范式，确保每列保持原子性。

第二范式，确保表中的每列都和主键相关。

第二范式，在第一范式的基础之上更进一层。第二范式需要确保数据库表中的每一列都和主键相关，而不能只与主键的某一部分相关（主要针对联合主键而言）。也就是说在一个数据库表中，一个表中只能保存一种数据，不可以把多种数据保存在同一张数据库表中。

第三范式，确保每列都和主键列直接相关,而不是间接相关。

比如在设计一个订单数据表的时候，可以将客户编号作为一个外键和订单表建立相应的关系。而不可以在订单表中添加关于客户其它信息（比如姓名、所属公司等）的字段。

SQL与NoSql的优缺点以及使用场景分析

SQL (Structured Query Language) 数据库，指关系型数据库 - 主要代表：SQL Server，Oracle，MySQL(开源)，PostgreSQL(开源)。

NoSQL（Not Only SQL）泛指非关系型数据库 -。主要代表：MongoDB，Redis，Memcached,Hbase,CouchDB。

目前许多大型互联网项目都会选用MySQL（或任何关系型数据库） + NoSQL的组合方案。

关系型数据库适合存储结构化数据，如用户的帐号、地址：

1）这些数据通常需要做结构化查询，比如join，这时候，关系型数据库就要胜出一筹

2）这些数据的规模、增长的速度通常是可以预期的

3）事务性、一致性

NoSQL适合存储非结构化数据，如文章、评论：

1）这些数据通常用于模糊处理，如全文搜索、机器学习

2）这些数据是海量的，而且增长的速度是难以预期的

3）根据数据的特点，NoSQL数据库通常具有无限（至少接近）伸缩性

4）按key获取数据效率很高，但是对join或其他结构化查询的支持就比较差

关系式数据库必备

事务（ACID、工作原理、事务的隔离级别、锁、事务的传播机制）

数据库创建，权限分配，表的创建，增删改查，连接，子查询

索引

数据库索引好比是一本书前面的目录，能加快数据库的查询速度。索引分为聚簇索引和非聚簇索引两种，聚簇索引 是按照数据存放的物理位置为顺序的，而非聚簇索引就不一样了；聚簇索引能提高多行检索的速度，而非聚簇索引对于单行的检索很快。

还有触发器、存储过程、事务控制等

数据库性能优化

索引原理及适用，大表查询优化，多表连接查询优化，子查询优化等

大数据方案

分库、分表、备份、迁移

导入，冷备热备，主从备份、双机热备、纵向扩展、横向扩展等这些都是属于比较常见的数据库方案，我在之前的文章淘宝具体挑战性的一次架构演变中，谈到了数据库纵向和横向的发展策略，里面有详细的方案。

java相关的框架与必备工具

web开发框架

Struts2，SpringMVC，spring（IoC、AOP等）

持久化：hibernate/MyBatis

推荐SSM组合(springMVC+Sping+Mybatis)

在搭建日志：Log4j，以及单元测试：JUnit

构建工具

Maven Nexus,推荐自己动手搭建一套nexus以及配置maven

模板引擎

Velocity、FreeMaker等

消息队列

ActiveMQ、RabbitMQ等

负载均衡

Nginx/HaProxy

Web服务器

Tomcat、JBoss、Jetty、Resin、WebLogic、WebSphere等

推荐在eclipse里集成run-jetty-run插件，可以在开发环境实行热部署，高效开发必备

java常用通信协议以及比较

RMI，Hessian，Burlap，Httpinvoker，WebService(cxf的soap、restful协议)

分布式缓存

Redis、Memcached等，缓存在大型网站的架构中也是重中之重，特别是分布式缓存和分布式文件存储系统，起着了天然数据库端的防线作用。

分布式文件存储和大数据

常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。

GFS（Google File System）

Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。

下面分布式文件系统都是类 GFS的产品。

HDFS（Hadoop Distributed File System）

Hadoop 实现了一个分布式文件系统，简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用，是Google开创其帝国的重要基石。

TFS(Taobao File System)

TFS是淘宝针对海量非结构化数据存储设计的分布式系统，构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问，最初了为了解决淘宝大量小文件的存储早期限制在1M内，现在已经加入大文件的存储。淘宝的TFS其实本身就是从GFS借鉴而来，所以名字也很像。

工作流

Activity、JBPM

搜索引擎

lucene，基于lucene封装的solr

以上，上篇和中篇，讲解到了数据结构和算法，Java编程语言掌握，Java web核心技术，数据库设计和大数据方案，Java相关的框架与必备工具等五大环节。

最后一篇，将重点讲解最后一环节，系统架构设计，涉及到架构设计以的策略以及大型网站的架构方案，从负载均衡的开始，到web服务器集群和搭建，再到中间应用服务器集群以及中间件搭建(分布式缓存，分布式存储等)的架构设计方案，再到后端数据库端的策略，一份完整的大型网站系统架构设计方案。