在网络开发中,我发现有很多同学对一个基础问题始终是没有彻底搞明白。那就是一台服务器最大究竟能支持多少个网络连接?我想我有必要单独发一篇文章来好好说一下这个问题。
很多同学看到这个问题的第一反应是65535。原因是:“听说端口号最多有65535个,那长连接就最多保持65535个了”。是这样的吗?还有的人说:“应该受TCP连接里四元组的空间大小限制,算起来是200多万亿个!”
如果你对这个问题也是理解的不够彻底,那么今天讲个故事讲给你听!
"TCP连接四元组是源IP地址、源端口、目的IP地址和目的端口。任意一个元素发生了改变,那么就代表的是一条完全不同的连接了。拿我的Nginx举例,它的端口是固定使用80。另外我的IP也是固定的,这样目的IP地址、目的端口都是固定的。剩下源IP地址、源端口是可变的。所以理论上我的Nginx上最多可以建立2的32次方(ip数)×2的16次方(port数)个连接。这是两百多万亿的一个大数字!!"
但是有时候会遇到报错,如目标 IP 都是110.242.68.3,目标端口都是 80。当同一个客户端建立大量连接时,会报错:
表示端口号不够用啦!一个劲地对着同一个 IP 和端口创建 TCP 连接,端口号不够用了,源端口那里没法给了。
可是知道端口号是 16 位的,范围是 1~65535,一共可以创建 65535 个 TCP 连接,Linux 对可使用的端口范围是有具体限制的,具体可以用如下命令查看。
[root]# cat /proc/sys/net/ipv4/ip_local_port_range
1024 65000
文件描述符
建立大量的TCP连接,直到又报错。
"进程每打开一个文件(linux下一切皆文件,包括socket),都会消耗一定的内存资源。如果有不怀好心的人启动一个进程来无限的创建和打开新的文件,会让服务器崩溃。所以linux系统出于安全角度的考虑,在多个位置都限制了可打开的文件描述符的数量,包括系统级、用户级、进程级。这三个限制的含义和修改方式如下:"
“准备啥呢,还记得前面说过Linux对最大文件对象数量有限制,所以要想完成这个实验,得在用户级、系统级、进程级等位置把这个上限加大。我们实验目的是100W,这里都设置成110W,这个很重要!因为得保证做实验的时候其它基础命令例如ps,vi等是可用的。“
线程
突破了文件描述符限制,又开始肆无忌惮地创建起了TCP连接。
但我发现,系统的办事效率越来越慢,建立一个TCP连接花的时间越来越久。
因为每建一个TCP连接都需要消耗一个线程来为你服务?现在CPU老大那里都忙得不可开交了,一直在为你这好几十万个线程不停地进行上下文切换,我们精力有限啊,自然就没法像以前那么快为你服务了。
想起了之前似乎有人跟我说过 C10K 问题,就是当服务器连接数达到 1 万且每个连接都需要消耗一个线程资源时,操作系统就会不停地忙于线程的上下文切换,最终导致系统崩溃,这可不是闹着玩的。那我们现在应该怎么办呢?
现在这种每建一个TCP连接就创建一个线程的方式,是最传统的多线程并发模型,早期的操作系统也只支持这种方式。但现在我进化了,我还支持 IO 多路复用的方式,简单说就是一个线程可以管理多个 TCP 连接的资源,这样你就可以用少量的线程来管理大量的 TCP 连接了。
这次真是大开眼界了,赶紧把代码改成了这种 IO 多路复用的模型,将原来的 TCP 连接销毁掉,改成同一个线程管理多个 TCP 连接,很快,操作系统老大就恢复了以往的办事效率,同时 TCP 连接数又多了起来。
内存
突破了端口号、文件描述符、线程数等重重限制的我,再次肆无忌惮地创建起了TCP连接。
直到有一次,我又收到了一张红牌。
嗨,又是啥东西限制了呀,改了不就完了。这个错误叫内存溢出,每个TCP连接本身,以及这个连接所用到的缓冲区,都是需要占用一定内存的,现在内存已经被你占满了,不够用了,所以报了这个错。此时只能加大服务器内存或者kill无用进程了。
CPU
由于你的 TCP 连接,CPU 占用率已经很长时间维持在 100%,此时还是只能加大服务器CPU核心数或者kill无用进程了。
资源 | 一台Linux服务器的资源 | 一个TCP连接占用的资源 | 占满了会发生什么 |
CPU | 看你花多少钱买的 | 看你用它干嘛 | 电脑卡死 |
内存 | 看你花多少钱买的 | 取决于缓冲区大小 | OOM |
临时端口号 | ip_local_port_range | 1 | cannot assign requested address |
文件描述符 | fs.file-max | 1 | too many open files |
进程\线程数 | ulimit -n | 看IO模型 | 系统崩溃 |
互联网后端的业务特点之一就是高并发. 但是一台服务器最大究竟能支持多少个TCP连接,这个问题似乎却又在困惑着很多同学。希望今天过后,你能够将这个问题踩在脚下摩擦!