这两天和 ai 爬虫机器人进行了一场云上较量

梦浪的小虾米
2024-09-29 / 6 评论 / 28 阅读 / 正在检测是否收录...

没错,你没有看错。只不过是我单方面的较量,最终以我的大获全胜而告终!

正文

我今年失业了,在深圳找机会,面试了一下,心彻底凉了。我只能另寻他路,然后无意间在一个赚钱社区看到了赚钱资源站的搭建教程,合计了一下,感觉我能行,最起码我擅长技术,可以搭出来,于是花钱买了相关东西并搭建了出来。

结果有意思的就来了。花20买了一个月的服务器,最垃圾的那种,1c2g3m,迅速搭建好wordprss网站,迅速对接好爬虫,又去申请了支付,一套做下来,网站终于正常了,好戏也开场了。
第二天,我无意间发现网站的cpu和负载爆了!
2024-09-29T13:31:07.png

这事搁以前,我心想的是:垃圾就是垃圾,动不动cpu就满了,然后就过去了。但是,这次哥们要看看到底是为啥!于是打开 linux 终端,死死的盯住进程,终于让我看到了
2024-09-29T13:34:51.png
mysql占用大量的 cpu,但是 mysql 为啥占用大量的 cpu 呢?是因为他本身就有那么大吗?
于是输入
top -H -p mysql进程pid
看到了
2024-09-29T13:37:27.png
乖乖,不得了,竟然是 connection,也就是说是因为有大量的连接导致的 cpu 飙升,问题是哥们的网站都没有打广告,谁在找哥们呢!有啥急事不能微信联系吗?
我又打开了微信,发现没有小红点,只有隔壁的老王的公众号在不停的推文。
扯远了,既然看到是连接导致的问题,那就解决发现问题的人,不对,解决问题。
整个服务器只有一个网站会调用 mysql, 打开网站的请求日志,发现一堆请求。哥们的网站这么有价值了吗?不对,好像全是一堆乱码请求!第一时间推测是恶意爆破!
赶紧上网找了一个改后台的插件,安装上去,观察了几个小时,卵用都没有。
又想着禁用ip行不行,于是又安装了waf,不行,作者跑路了,装不上去。
装钟馗-waf,不行,要一堆依赖,解决不了。
最后装了一个雷池waf,
2024-09-29T13:46:38.png
装完发现,哥们的本意是禁用ip,但是好像网站没有ip被禁用,哥们还没有意识到问题的根源。
又打开看了日志,发现日志好像不一样了
2024-09-29T13:47:55.png
好像全是一个爬虫在访问,搜了一下,竟然亚马逊的 ai 爬虫和 openai 的爬虫,我知道你们会推荐 nginx 动态禁用ip, 于是又想办法在 nginx 上拒绝请求。结果好像还是会打满。
哥们又是一顿分析,最后乖乖上了 cf,上完 cf 后,网站终于正常了。

最后

我打个小广告哈,我搭建了一个赚钱教程的资源站,欢迎兄弟们去捧场。注册会员后,可以在这里评论一下会员名,我给大家升级 vip,让大家白嫖起来!
网址:https://178share.com

0

评论 (6)

取消
  1. 头像
    Sweet666
    Windows 10 · Google Chrome

    老哥,来个会员。用户名:Sweet666

    回复
    1. 头像
      梦浪的小虾米 作者
      Windows 10 · Google Chrome
      @ Sweet666

      已加

      回复
  2. 头像
    hygd0813
    Android · Google Chrome

    老哥,来个会员。用户名:hygd0813

    回复
    1. 头像
      梦浪的小虾米 作者
      Windows 10 · Google Chrome
      @ hygd0813

      已加

      回复
  3. 头像
    tmptmp
    Windows 10 · Google Chrome

    老哥,来个会员。用户名:tmptmp

    回复
    1. 头像
      梦浪的小虾米 作者
      Windows 10 · Google Chrome
      @ tmptmp

      已加

      回复