羊皮纸论坛目录 / 个人电脑 / Linux 讨论版 / 伺服器 /

Apache Prefork 和 Worker 模式

发表新主题
随机主题
上个主题
下个主题
|
Apache Prefork 和 Worker 模式

Apache 2.XX 中 prefork.c 模块和 worker.c 模块的比较

空闲子进程∶是指没有正在处理请求的子进程。

1、prefork.c 模块(一个非线程型的、预设的MPM),prefork MPM 使用多个子进程,每个子进程只有一个线程。每个进程在某个确定的时间只能维持一个连接。在大多数平台上,Prefork MPM 在效率上要比 Worker MPM 要高,但是记忆体使用大得多。prefork 的无线程设计在某些情况下将比 worker 更有优势∶它可以使用那些没有处理好线程安全的第三方模块,并且对於那些线程调试困难的平台而言,它也更容易调试一些。

<IfModule prefork.c>
ServerLimit  20000
StartServers  5
MinSpareServers  5
MaxSpareServers  10
MaxClients  1000
MaxRequestsPerChild 0
</IfModule>

ServerLimit     2000
// 预设的MaxClient最大是256个线程,如果想设置更大的值,就的加上 ServerLimit 这个参数。20000 是ServerLimit 这个参数的最大值。如果需要更大,则必须编译 apache 。在此之前都是不需要重新编译Apache。生效前提∶必须放在其他指令的前面。

StartServers  5
// 指定伺服器启动时建立的子进程数量,prefork 预设为 5。

MinSpareServers  5
// 指定空闲子进程的最小数量,预设为5。如果当前空闲子进程数少於 MinSpareServers ,那麽 Apache 将以最大每秒一个的速度产生新的子进程。此参数不要设的太大。

MaxSpareServers  10
// 设置空闲子进程的最大数量,预设为10。如果当前有超过 MaxSpareServers 数量的空闲子进程,那麽父进程将杀死多馀的子进程。此参数不要设的太大。如果你将该指令的值设置为比 MinSpareServers 小,Apache将会自动将其修改成 "MinSpareServers+1"。

MaxClients  256
// 限定同一时间客户端最大接入请求的数量(单个进程并发线程数),预设为256。任何超过 MaxClients 限制的请求都将进入等候队列,一旦一个链接被释放,队列中的请求将得到服务。要增大这个值,你必须同时增大ServerLimit 。

MaxRequestsPerChild 10000
// 每个子进程在其生存期内允许伺服的最大请求数量,预设为10000.到达MaxRequestsPerChild的限制後,子进程将会结束。如果MaxRequestsPerChild为"0",子进程将永远不会结束。

将 MaxRequestsPerChild 设置成非零值有两个好处∶
1.可以防止(偶然的)记忆体泄漏无限进行,从而耗尽记忆体。
2.给进程一个有限寿命,从而有助於当伺服器负载减轻的时候减少活动进程的数量。

工作方式∶
一个单独的控制进程 (父进程) 负责产生子进程,这些子进程用於监听请求并作出应答。Apache总是试图保持一些备用的 (spare) 或者是空闲的子进程用於迎接即将到来的请求。这样客户端就不需要在得到服务前等候子进程的产生。在 Unix 系统中,父进程通常以 root 身份运行以便邦定 80 端口,而 Apache 产生的子进程通常以一个低特权的用户运行。 User 和 Group 指令用於设置子进程的低特权用户。运行子进程的用户必须要对它所服务的内容有读取的权限,但是对服务内容之外的其他资源必须拥有尽可能少的权限。

2、worker.c 模块(支持混合的多线程多进程的多路处理模块),worker MPM 使用多个子进程,每个子进程有多个线程。每个线程在某个确定的时间只能维持一个连接。通常来说,在一个高流量的 HTTP 伺服器上,Worker MPM 是个比较好的选择,因为 Worker MPM 的记忆体使用比 Prefork MPM 要低得多。但 worker MPM 也由不完善的地方,如果一个线程崩溃,整个进程就会连同其所有线程一起"死掉".由於线程共享记忆体空间,所以一个程序在运行时必须被系统识别为"每个线程都是安全的"。

<IfModule worker.c>
ServerLimit  50
ThreadLimit  200
StartServers  5
MaxClients  5000
MinSpareThreads  25
MaxSpareThreads  500
ThreadsPerChild  100
MaxRequestsPerChild 0
</IfModule>

ServerLimit 16
// 伺服器允许配置的进程数上限。这个指令和 ThreadLimit 结合使用设置了 MaxClients 最大允许配置的数值。任何在重启期间对这个指令的改变都将被忽略,但对 MaxClients 的修改却会生效。

ThreadLimit 64
// 每个子进程可配置的线程数上限。这个指令设置了每个子进程可配置的线程数 ThreadsPerChild 上限。任何在重启期间对这个指令的改变都将被忽略,但对 ThreadsPerChild 的修改却会生效。预设值是 "64".

StartServers 3
// 伺服器启动时建立的子进程数,预设值是"3"。

MinSpareThreads 75
//最小空闲线程数,预设值是"75"。这个 MPM 将基於整个伺服器监视空闲线程数。如果伺服器中总的空闲线程数太少,子进程将产生新的空闲线程。

MaxSpareThreads 250
// 设置最大空闲线程数。预设值是"250"。这个MPM将基於整个伺服器监视空闲线程数。如果伺服器中总的空闲线程数太多,子进程将杀死多馀的空闲线程。MaxSpareThreads 的取值范围是有限制的。Apache 将按照如下限制自动修正你设置的值∶worker 要求其大於等於 MinSpareThreads 加上 ThreadsPerChild 的和

MaxClients 400
// 允许同时伺服的最大接入请求数量 (最大线程数量) 。任何超过 MaxClients 限制的请求都将进入等候队列。预设值是"400",16 (ServerLimit)  乘以 25 (ThreadsPerChild) 的结果。因此要增加 MaxClients 的时候,你必须同时增加 ServerLimit 的值。

ThreadsPerChild 25
// 每个子进程建立的常驻的执行线程数。预设值是 25。子进程在启动时建立这些线程後就不再建立新的线程了。

MaxRequestsPerChild  0
// 设置每个子进程在其生存期内允许伺服的最大请求数量。到达 MaxRequestsPerChild 的限制後,子进程将会结束。如果 MaxRequestsPerChild 为"0",子进程将永远不会结束。

将 MaxRequestsPerChild 设置成非零值有两个好处∶
1.可以防止(偶然的)记忆体泄漏无限进行,从而耗尽记忆体。
2.给进程一个有限寿命,从而有助於当伺服器负载减轻的时候减少活动进程的数量。
注意!对於 KeepAlive 链接,只有第一个请求会被计数。事实上,它改变了每个子进程限制最大链接数量的行为。

工作方式∶
每个进程可以拥有的线程数量是固定的。伺服器会根负载情况增加或减少进程数量。一个单独的控制进程 (父进程) 负责子进程的建立。每个子进程可以建立 ThreadsPerChild 数量的服务线程和一个监听线程,该监听线程监听接入请求并将其传递给服务线程处理和应答。Apache 总是试图维持一个备用 (spare) 或是空闲的服务线程池。这样,客户端无须等待新线程或新进程的建立即可得到处理。在 Unix 中,为了能够绑定80端口,父进程一般都是以 root 身份启动,随後,Apache 以较低权限的用户建立子进程和线程。User 和 Group 指令用於设置 Apache 子进程的权限。虽然子进程必须对其提供的内容拥有读权限,但应该尽可能给予它较少的特权。另外,除非使用了 suexec ,否则,这些指令设置的权限将被 CGI 脚本所继承。


公式∶
ThreadLimit >= ThreadsPerChild
MaxClients  <= ServerLimit * ThreadsPerChild  必须是ThreadsPerChild的倍数
MaxSpareThreads >= MinSpareThreads+ThreadsPerChild

硬限制∶

ServerLimi 和 ThreadLimit 这两个指令决定了活动子进程数量和每个子进程中线程数量的硬限制。要想改变这个硬限制必须完全停止伺服器然後再启动伺服器 (直接重启是不行的)。

Apache 在编译 ServerLimit 时内部有一个硬性的限制,你不能超越这个限制。
prefork MPM 最大为 "ServerLimit 200000"
其它 MPM (包括work MPM) 最大为 "ServerLimit 20000"

Apache在 编译 ThreadLimit 时内部有一个硬性的限制,你不能超越这个限制。
mpm_winnt 是 "ThreadLimit 15000"
其它 MPM (包括work prefork) 为 "ThreadLimit 20000"

注意!使用 ServerLimit 和 ThreadLimit 时要特别当心。如果将 ServerLimit 和 ThreadLimit 设置成一个高出实际需要许多的值,将会有过多的共享记忆体被分配。当设置成超过系统的处理能力,Apache 可能无法启动,或者系统将变得不稳定。

  • 关键字 : ServerLimit, ThreadsPerChild, ThreadLimit, MaxClients, Apache, prefork, worker, 预设值, 子进程, 限制, 数量, MinSpareServers, 模块, StartServers, MinSpareThreads, MaxSpareThreads, IfModule, 20000, 请求, 线程
0 0
2009-01-09T07:24:17+0000

魚戀秋波 Neil Y.K. :

选择 prefork 还是 worker 可以在编译时使用–with-mpm=MPM 参数指定,默认为 prefork,prefork 采用预派生子进程方式,用单独的子进程来处理 不同的请求,进程之间彼此独立。在 make 编译和 make install 安装後,使用 httpd -l 来确定当前使用的 MPM 是 prefork.c。查看 httpd-mpm.conf 配置文件,里面包含如下默认的配置段∶
<IfModule prefork.c>
StartServers 5
MinSpareServers 5
MaxSpareServers 10
MaxClients 150
MaxRequestsPerChild 0
</IfModule>

prefork
控制进程在最初建立「StartServers」个子进程後,为了满足 MinSpareServers 设置的需要创建一个进程,等待一秒锺,继续创建两个,再等待一秒锺,继续创建四个……如此按指数级增加创建的进程数,最多达到每秒 32 个,直到满足 MinSpareServers 设置的值为止。这种模式可以不必在请求到来时再产生新的进程,从而减小了系统开销以增加性能。MaxSpareServers 设置了最大的空闲进程数,如果空闲进程数大於这个值,Apache 会自动 kill 掉一些多馀进程。这个值不要设得过大,但如果设的值比 MinSpareServers 小,Apache会自动把其调整为 MinSpareServers+1。
如果站点负载较大,可考虑同时加大 MinSpareServers 和 MaxSpareServers。 MaxRequestsPerChild设置的是每个子进程可处理的请求数。每个子进程在处理了「MaxRequestsPerChild」个请求後将自动销毁。0 意味著无限,即子进程永不销毁。虽然缺省设为 0 可以使每个子进程处理更多的请求,但如果设成非零值也有两点重要的好处∶

1、可防止意外的记忆体泄漏。
2、在伺服器负载下降的时侯会自动减少子进程数。

因此,可根据伺服器的负载来调整这个值。MaxClients 是这些指令中最为重要的一个,设定的是 Apache 可以同时处理的请求,是对 Apache 性能影响最大的参数。其预设值 150 是远远不够的,如果请求总数已达到这个值(可通过 ps -ef|grep http|wc -l 来确认),那麽後面的请求就要排队,直到某个已处理请求完毕。这就是系统资源还剩下很多而HTTP 访问却很慢的主要原因。虽然理论上这个值越大,可以处理的请求就越多,但 Apache 默认的限制不能大於256。ServerLimit 指令无须重编译 Apache 就可以加大 MaxClients。
<IfModule prefork.c>
ServerLimit  10000
StartServers 5
MinSpareServers 5
MaxSpareServers 10
MaxClients 10000
MaxRequestsPerChild 0
</IfModule>

Worker

相对於 prefork,worker 全新的支持多线程和多进程混合模型的 MPM。由於使用线程来处理,所以可以处理相对海量的请求,而系统资源的开销要小於基於进程的伺服器。但是,worker 也使用了多进程,每个进程又生成多个线程,以获得基於进程伺服器的稳定性。在 configure –with-mpm=worker 後,进行 make 编译、make install 安装。在预设生成的 httpd-mpm.conf 中有以下默认配置段∶

<IfModule worker.c>
StartServers 2
MaxClients 150
MinSpareThreads 25
MaxSpareThreads 75
ThreadsPerChild 25
MaxRequestsPerChild 0
</IfModule>

Worker 由主控制进程生成「StartServers」个子进程,每个子进程中包含固定的 ThreadsPerChild 线程数,各个线程独立地处理请求。同样,为了不在请求到来时再生成线程,MinSpareThreads 和 MaxSpareThreads 设置了最少和最多的空闲线程数;而 MaxClients 设置了同时连入的 clients 最大总数。如果现有子进程中的线程总数不能满足负载,控制进程将派生新的子进程。MinSpareThreads 和 MaxSpareThreads 的最大缺省值分别是 75 和 250 。这两个参数对 Apache 的性能影响并不大,可以按照实际情况相应调节。

ThreadsPerChild 是 worker MPM 中与性能相关最密切的指令。ThreadsPerChild 的最大缺省值是 64,如果负载较大,64 也是不够的。这时要显式使用 ThreadLimit 指令,它的最大缺省值是 20000。Worker 模式下所能同时处理的请求总数是由子进程总数乘以 ThreadsPerChild 值决定的,应该大於等於 MaxClients。如果负载很大,现有的子进程数不能满足时,控制进程会派生新的子进程。默认最大的子进程总数是16,加大时也需要显式声明 ServerLimit(最大值是20000)。需要注意的是,如果显式声明了ServerLimit,那麽它乘以 ThreadsPerChild 的值必须大於等於MaxClients,而且 MaxClients 必须是 ThreadsPerChild 的整数倍,否则 Apache将会自动调节到一个相应值。
<IfModule worker.c>
ServerLimit 25
ThreadLimit 200
StartServers 3
MaxClients 2000
MinSpareThreads 50
MaxSpareThreads 200
ThreadsPerChild 100
MaxRequestsPerChild 0
</IfModule>

下面是利用 Apache 自带的测试工具 ab 对 Server 进行测试的情况 (设定请求的 index 页面为 6bytes ),cpu% 为 cpu 占用率,mem 为记忆体使用量 (M为单位),RequestsPerSecond 为每秒处理的请求数。

1、Prefor方式
  (ServerLimit,StartServer,MinSpareServers,MaxSpareServers,MaxClients,MaxRequestPerChild)            

-n/-c(ab参数) Cpu% Mem Requestspersecond
(-,5,5,10,150,0)
100000/100 28.8 285 8434
100000/200 29.2 304 8032
100000/500 25.3 323 7348
100000/1000 24.4 330 5886
(10000,5,5,10,500,0)
100000/100 28.7 371 8345
100000/200 27.4 389 7929
100000/500 24.9 417 7229
100000/1000 23.4 437 6676
(10000,5,5,10,1000,0)
100000/100 28.8 408 8517
100000/200 27.0 422 8045
100000/500 24.2 455 7236
100000/1000 22.5 470 6570
(10000,5,5,10,1500,0)
100000/100 29.6 330 8407
100000/200 28.1 349 8014
100000/500 26.4 380 7290
100000/1000 24.0 400 6686

2、Worker方式

(ServerLimt,Threadlimt,Startservers,MaxClients,MinspareThread,MaxspareThread,ThreadperChild,MaxRequestPerChild)
-n/-c(ab参数) cpu% mem RequestsperSecond
(50,500,5,10000,50,200,200,0)
100000/100  18.6 188 6020
100000/200 20.1 195 5892
100000/500 19.8 209 5708
100000/1000 22.2 218 6081
(100,500,5,10000,50,200,100,0)
100000/100  24.5 240 6919
100000/200 23.6 247 6798
100000/500 24.6 254 6827
100000/1000 22.3 271 6114
(200,500,5,10000,50,200,50,0)
100000/100  27.3 301 7781
100000/200 27.4 307 7789
100000/500 26.0 320 7141
100000/1000 21.8 344 6110
相对来说,prefork 方式速度要稍高於 worker,然而它需要的 cpu 和 memory 资源也稍多於 woker。

如何知道当前apache的应用模式

httpd -l  如果有 prefork.c  那就是 prefork 方式,如果是 worker.c 那就是 work 模式。
忙的原因需要你对你网站进行行为分析。一般是分析日志。然後再根据实际情况做判断。

曾经给个朋友做过优化。当时他的机器每到晚上 LOAD 基本都是几十。慢的很。我对日志进行了分析。发现有很多爬虫在访问动态的页面同时有很多 IP 在恶意的盗取图片数据等。导致大量的资源被消耗掉。最後我采取了适当措施。现在 LOAD 基本都在1以下。所以分析访问行为是很重要的盲目的调整 APACHE 的连接参数意义真的是不大。希望能够修正大家的一些不正确的想法。
 

0 0
2009-01-09T07:33:57+0000


  • 当您未登入羊皮纸时,可以利用脸书 Facebook 登入来发表回响。若使用羊皮纸会员身份发表回响则可获得经验值及虚拟金币,用来参加羊皮纸推出的活动。
发表回响
 
验证字串