一台标准化的服务器所能承受的并发量是有限的

一台标准化的服务器所能承受的并发量是有限的

一、负载均衡架构演进

一台标准化的服务器所能承受的并发量是有限的。在业务发展初期，单台服务器即可满足业务要求，但是随着业务的发展，用户群体越来越大，服务所承受的并发量也会越来越来大，当超过单台服务器所承受的并发极限时，如何解决大并发量问题？目前业界通用的解决方案是用多台服务器处理，即集群技术。

如何将流量均衡分布到集群？本文将介绍从一百个并发到亿级并发情况下如何将流量负载到服务器集群方案演进。

1.1 单机处理流程及并发极限计算

1.1.1 单机处理流程

在业务初期，用户量和服务访问量都很低，在不考虑容灾的情况下，一台服务器即可满足业务场景需要。搭建一台单机服务器，我们需要定义一个域名，在DNS服务器配置域名和服务器IP的映射关系，并在服务器上部署应用程序。

当用户通过访问域名请求服务时，首先会请求DNS服务器，得到域名对应的服务器ip，然后通过ip地址找到后端应用服务器，经后端服务器处理，后端服务器将请求结果返回给用户。

单机架构处理流程

1.1.2 单机并发量计算

并发数定义：1s种处理的请求数。

场景定义：假如服务的处理时间为30ms，其中CPU处理时间10ms，IO等待时间为20ms，采用4核8G服务器。

在上述场景中，最佳线程数为12。

对于大于7.X版本的tomcat（支持NIO）,当线程数为12时，此时的并发量最大，因为此时CPU没有因为等待io导致空闲，也没有不合理的线程切换导致的CPU损耗。

假设忽略线程切换导致的cpu开销，1s内单核可处理

个请求，4核8G服务器可支持400并发量请求。

1.2 nginx负载均衡

当服务并发量超过400时，单台服务器已无法满足需求，此时需要多台服务器进行处理。如何将流量分发到多台服务器？此时需要用到负载均衡组件。这里nginx负载均衡组件。

1.2.1 niginx负载均衡处理流程

当用户请求后端服务时，请求首先会到达nginx服务器，nginx服务器将请求分发到后端服务器，后端处理完后将数据返回给nginx服务器，nginx服务器将结果数据返回给用户。

来源：服务器，转载请保留出处和链接！

本文链接：http://www.cau168.com/post/31.html