wer3255561 发表于 2016-11-2 06:41:39

关于低配置CPU高占用的讨论

本帖最后由 wer3255561 于 2016-11-2 07:00 编辑

讲真,我是一个新手,只是交流下自己的经验,我相信和我一样的人也有的,但是我这个人比较较真,测试了N种方案后得出的结论。先说下自己的配置,
2H 1G 美国 VPS(非独立) 50 二手CN域名 IP50域名windows 2008 环境(Nginx版 1.8+php7.0:我的VPS不支持linux)

阿里池是个很好的池子,就不说其他的,光自身能推广出来,至少说明一点,阿里还是很不错的。
但是阿里池 对低配置 不怎么友好-=(PS:我知道 玩池子的人都是有钱人,但是像我们这种没玩过的人就是想测试下)

阿里是采用的读取mysql数据库的方式调用数据,高配置下,mysql确实比一般的池子 要快的多,但是低配置,就会出现高占用。


我想过高效的方法是:
采取云数据的方式,结果失败,毕竟大家的池子都是国外的,而支持国外云数据库的很少,就算有也很贵,而国内因为高延迟的原因调用并不理想。

测试结果:

高延迟,数据调用慢
但是证明了我的想法,使用云数据库后,CPU一下就降下来了

现在使用的方案:
处理多余关键词,精简多余句子,尽量使用linux系统,关闭外推功能,用其他外推工具替换(主要占用CPU的就是这个)。

现在结果:用其他外推程序并不会减少蜘蛛的爬虫量,低占用的情况下访问速度良好,阿里对Nginx支持很不错,伪静态后 打开网页很快,这表面对蜘蛛的爬行很有利
在高占用的情况下,别说蜘蛛爬行,TM后台都进不去


本人蜘蛛池子搭建两天,第一天被各种问题困扰,蜘蛛量基本为0.和机油学习后, 采用现有方案后百度蜘蛛 增长很快,好搜蜘蛛 来的啪啪的。附图一张,真心蜘蛛不多但是涨幅你懂得,1号只有6个小时

                                                                                                                            BY:寓言

admin 发表于 2016-11-2 09:55:44

好文,感谢支持,我们会继续优化,加大对低配置机器的支持

xinggui 发表于 2016-11-8 16:13:10

其他外推工具指的是?

x75121 发表于 2016-11-15 12:13:36

我擦,我今天也关掉这个功能了,开启外推的话,服务器长期CPU100%,悲剧的很,会造成服务器持续掉线
页: [1]
查看完整版本: 关于低配置CPU高占用的讨论