早上8点多，收到Zabbix的邮件警告，显示客户的戴尔服务器和爱快路由器断开连接。因为之前客户的机房被黑过很多次，所以症状当然是一样的。再加上客户没有电话、微信报修，先入为主认为机房又停电了，所以没有采取措施。
直到下班时间，客户才反馈向日葵远程控制服务器无法在外网使用。因为不止一次这么说吧，是不是机房没电了？
客户反馈有电，照片显示服务器开机，爱快路由器也是。
嗯？这怎么可能呢？短暂停电后恢复了吗？恢复的时候Zabbix没有自动发邮件提醒我？
远程登录爱快，失败；登录爱快云后台查看，显示路由器离线；登录部署在云端服务器的Zabbix，发现客户的戴尔服务器和爱快仍处于离线状态，尚未恢复。
引导客户快速重启，无效；是断电后配置的吗？客户已经下班了，没有其他远程手段。为了不影响客户第二天上班用，就开车去了。
到了机房，我们先把显示器连上了爱快。果然没有宽带连接？局域网端口也断开了？
连接键盘，方便的按几次回车键，所有网卡都显示为已连接。好像没什么问题，很奇怪。
这种情况下，打开笔记本电脑，登录爱快路由器，准备检查问题；
原来是固定IP的城域网断了。这是爱快的默认链接，专用于服务器和监控。所以白天办公时间，用户是感受不到的。直到他们不得不远程操作服务器时，才发现网络出了问题。路由器状态良好，网卡的“眼睛”在眨，于是我走到柜子后面，一眼就看到一只光猫闪着红灯。嗯，电信光纤断了；
但是爱哭云显示路由器断网就太不对了。其他的拨号宽带不都是在线的吗？
可能是配置不小心。没有自动切换线路，其他几条拨号宽带线路全部配置。只有固定IP城域网没有配置，主要是太相信电信了。呵呵，现在赶紧补吧。所有的人都来了，对吗？
勾选“掉线自动切换”后，爱哭云立即显示路由器在线。即使没有固定IP，也可以通过外网的爱快云远程登录这台路由器；
服务器上的向日葵，我以为会自动上线。结果试了几次都上不了网。在恢复连接之前，我必须手动退出软件并重启它。
先让客户这样用。暂时不会有大的影响，明天早上他们只能向电信汇报线路故障。
准备收拾东西走人。先备份一下爱车的配置。下次出现问题，可以快速恢复。
反思:
1.从这个角度来说，先入为主的观念和经验主义真的是害了自己。接到客户的服务后，自己先挖坑，没有冷静认真的分析。虽然问题很快就解决了，客户的使用也没有受到影响，但是这一趟其实不用跑，单程40分钟。毕竟不远，也不近。
2.云中的Zabbix被配置为smnp轮询客户的设备。一旦固定IP的链路瘫痪，所有监控肯定会失效。如果服务器上安装了Zabbix代理，并配置为主动模式，它可以主动向Zabbix服务器报告信息。借助爱快的“网络掉线时自动切换”，云端的Zabbix不会与被监控的服务器失去联系，因此很容易判断出固定IP的城域网掉线。
3.不能太相信运营商。该做的配置还得做的细致完整，以免出现问题时调查费时费力。
——作者是网络工程师，擅长计算机网络领域，从业多年。希望和大家分享一下我的经验。如果觉得有用，可以关注，喜欢，转发。如果有相同或不同的看法，请评论。最近启用了“圈子”功能。欢迎加入。
鄂公网安备 42010302002470号
