老榕树社区

标题: 被攻击-服务器流量跑满--论坛显示人数很多 [打印本页]

作者: 星河宇飞来 时间: 2017-3-13 11:17
这个问题我个人查了近一个月时间，刚开始以为是黑客所为，后来感觉不对劲，一路查下来，估记跟程序及主机相关商家都有关系。
更奇怪的是，有一个帖子内容被抬高到近十万，反复删除后，这些爬虫只盯着某一个链接死命爬。虽说这个内容跟魏则西或武警相关，但也不需于敏感事件，这些内容在网上随便一找就是一大把。
而且这个最开始的链接，只要一点击，整个网站断线，非常奇怪。

网站本来就没有会员，所以，屏蔽所有来源IP，从主机到网站后台。问题倒是解决了部分，速度上明显提高。
但同时出现了另外一个问题，不管是屏蔽IP（那些死盯着某一个链接的IP），或者是屏蔽恶意爬虫代理，腾讯分析就登录不上。因为我需要在这里查看地域来源。
因此来看，这个事件跟腾讯分析是脱不了关系了。
综合分析起来，感觉是程序某处的安全问题，或被某些有心机的人利用了某些漏洞。

作者: 蓝小振 时间: 2017-3-13 11:17
浪子在线发表于 2017-1-24 10:25
这个问题我个人查了近一个月时间，刚开始以为是黑客所为，后来感觉不对劲，一路查下来，估记跟程序及主机相 ...
昨天已经有偿帮助楼主搞定了问题，你说的是一方面原因，还有的问题是mysql占用内存居高不下。这些都需要全面排查的。至于爬虫这块如无特殊要求可以忽略的，因为这个占用不了多少带宽和流量。即使是大量的成千上万的，也不会出现宕机的现象。不然大家就都怕蜘蛛了。

作者: 王活泼 时间: 2017-3-13 11:17
我上面所说的二种方法，第一种，同样的主机，同样程序，却出现一个出现500错误，另外一个却正常，也让人十分不解。
参考的那个，我还没试，估记原理跟第二个差不多。
虽说到底能不能屏蔽这些恶意爬虫，还真不知道，但最少能带来一点速度，或者某些思路。为什么这些来源跟腾讯分析有关呢？也是一个十分不解的问题，所有来源代理都是Python-urllib/1.17或2.6或2.7。

作者: 辰林靳苒 时间: 2017-3-13 11:17
浪子在线发表于 2017-1-24 10:25
这个问题我个人查了近一个月时间，刚开始以为是黑客所为，后来感觉不对劲，一路查下来，估记跟程序及主机相 ...
系统环境问题站了很大一部分。很多站长使用的是一站式组件环境，导致系统盘部分目录权限开放程度较大，端口开启的比较多，给了黑客不断扫描服务器端口和入侵的便利条件，如果对方使用的是肉鸡进行批量扫描。这个非常占用服务器内存和带宽，另外程序的一些设置有的站长采取的默认设置，也会有一定的影响，这个需要按照服务器带宽，内存，cpu等相关参数，合理的分配。并对php.ini和sql进行优化。

作者: 王活泼 时间: 2017-3-13 11:17
hhb121 发表于 2017-1-24 10:29
昨天已经有偿帮助楼主搞定了问题，你说的是一方面原因，还有的问题是mysql占用内存居高不下。这些都需要 ...
我是昨晚无意到这里，看到楼主发的这个，估主跟我遇到的情况差不多。人嘛，碰到一样的事情，能不能解决，其实心里也没底，就算给个不一样的思路。
本来昨晚就想发到这里，可论坛上限制了发贴时间，搞到四点才睡的，一醒来就发这个了，不管有没有用，我还是希望提供解决办法的人多于这类生儿子没屁眼的使用恶意爬虫的人。这样，整个网络环境会好些，让技术人员专心做好，提高技术。而不是把时间花费在这些方面················

作者: 小小小童话 时间: 2017-3-13 11:17
hhb121 发表于 2017-1-24 10:29
昨天已经有偿帮助楼主搞定了问题，你说的是一方面原因，还有的问题是mysql占用内存居高不下。这些都需要 ...
你错了，恶意爬虫一爬起来，跟DDOS攻击一样的，他是不管robots文件上的说明的，主机内存消耗带来整个网站的访问速度的。
其实我早就遇到这个事情，都不知道怎么解决。如果是阿里的员工，他肯定说是你主机配制底，需要升级。这个问题去年在它们那里遇到过。
这次查下来，感觉爬虫的影响真的不可小视。那个速度，真不是一样的。
问题远远还没有查到根上，或许还有没有发现的。
曾说过不到这里来的，可实在是忍不住发回复。希望这些能引起官方的注意：
某一链接能影响整个网站乃至整个主机的瘫痪。

作者: 扭扭丹丹 时间: 2017-3-13 11:17
回来再啰嗦一句，十分鄙视利用恶意爬虫的主机商或域名代理。
他这爬虫一爬，网站速度就明显下去，你找它，它会说是因为配制底，需要你升级，增加配制。
或者你的主机转移了不在它那里了，他就使用这种手段来报复，让你感觉还是在它那里好。

浪子在线原域名在一年前就停此解析了，现在，我才知道他被墙了。
在这个过程中，没转移前几年都没动，也没有发现这个墙不墙的，都不知道墙是啥回事。转移中，动过一家域名商，转过二家主机商。到底是在哪家出现这个情况，现在还真的难查。
转移域名商或主机商，这中间的解析都出现某种问题，当时使用了新域名，所以，老域名一直没有理会它，也没管它，差不多算是停止解析。

在这个爬虫事件后，想起了某些事情，把老域名同样解析到新域名上。
一连串的问题就连了起来。
老域名的解析，只要一点击，就跟前面所说的点击链接标题能瘫痪主机一样，整个网站断线。
再一查，老域名被墙了。
因此我把这整个问题的起点向前推进，事情的起因从何而起。

这些事情看似没有关连，出现的状态，却是一样的。
老域名能断线，一个链接也能断线，腾讯分析的代理或IP都无缘无故的牵了进来，等等。
看似无关，却好象有点关连，看似有关连嘛，这个源头却不知道在哪。

作者: 2014伤心男 时间: 2017-3-13 11:17
解决方案这个给不出来，小事一桩也未必。这个需要详细看下，如果你有兴趣的话，我这里有偿提供技术支持。可以加qq 861827250 解决问题后付费。

作者: 天天三餐白米饭 时间: 2017-3-13 11:17
做网站这是常态
检查IP连接数，发现连接太多的禁掉，再重启服务器。特别是有些采集软件，24小时蹲在这里不断采集数据，一定要禁掉。
听说阿里的云盾不是太管用，貌似云锁还好一些，也可能都不管用。

作者: 草木沁清 时间: 2017-3-13 11:17
网站入口文件index.php里的<?php下面添加：
//获取UA信息
$ua = $_SERVER['HTTP_USER_AGENT'];
//将恶意USER_AGENT存入数组
$now_ua = array('FeedDemon ','BOT/0.1 (BOT for JCE)','CrawlDaddy ','Java','Feedly','UniversalFeedParser','YisouSpider','ApacheBench','Swiftbot','ZmEu','Indy Library','oBot','jaunty','YandexBot','AhrefsBot','MJ12bot','WinHttp','EasouSpider','HttpClient','Microsoft URL Control','YYSpider','jaunty','Python-urllib','lightDeckReports Bot');
//禁止空USER_AGENT，dedecms等主流采集程序都是空USER_AGENT，部分sql注入工具也是空USER_AGENT
if(!$ua) {
header("Content-type: text/html; charset=utf-8");
wp_die('请勿采集本站，因为采集的站长木有小逼逼！');
}else{
foreach($now_ua as $value )
//判断是否是数组中存在的UA
if(eregi($value,$ua)) {
header("Content-type: text/html; charset=utf-8");
wp_die('请勿采集本站，因为采集的站长木有小逼逼！');
}
}

二，在.htaccess文件下添加所要屏蔽的爬虫：
RewriteCond %{HTTP_USER_AGENT} Python-urllib [NC,OR]
RewriteCond %{HTTP_USER_AGENT} YisouSpider [NC,OR]

【参考】：根据User-agent特征来屏蔽爬虫，使用.htacess文件：

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Ezooms
RewriteCond %{HTTP_USER_AGENT} ^Ezooms/1.0

作者: k16868k 时间: 2017-3-13 11:17
标题: 被攻击-服务器流量跑满--论坛显示人数很多
时间：2017.1.22号
网站：www.motomi.cc
服务器：阿里云ECS
操作系统：WIN2008
带宽：1M（今天发现被占满后我升级到了2M）
情况说明：因为好几天自己都没有上网站去看看，今天发现很卡，然后就在后台看了一下，发现一个礼拜内带宽都是跑满的情况，因为我的网站没什么人气，所以根本不可能跑满带宽，我去网站后台查看了一下最近的访客，也没几个人，但是在论坛前台竟然显示有1000多人在线，这个应该就是被人搞了吧

我采取的措施：
发现这个情况之后我也是一头雾水，不知道从哪里下手，所以
1.我第一步就直接咨询了阿里云的客服，客服说他那里看是没有什么问题，很正常，然后客服告诉我可以提交工单咨询工程师，我工单问了一下工程师得到的答复

2.然后我根据工程师的说法，先建立了一个实例快照，以防万一，服务器上我没有安装杀毒软件，因为有人说没卵用，然后有人说用百度的云加速，我就把DNS改成百度云加速的了，可惜似乎一个吊样，还是没有用。
3.阿里云服务器那里有个云盾，我也是打开一个基础版，不知道有没用处，但是问题还是没解决

求教：
1.怎么详细查询出问题出在哪里？我是服务器里面的超级傻蛋，都不懂，看了很多很专业的完全一头雾水
2.查出问题之后要怎么解决啊？求大神一定救我

好人一生平安，小弟不容易啊，弄个小网站玩玩被这么搞，我相信对大神来说这是小事一桩，但是真是难道我了，我会一直跟进这个帖子，直到问题解决，也为以后遇到我一样问题的人一个解决方案。谢谢

欢迎光临老榕树社区 (http://club.lrswl.com/)