betway必威-betway必威官方网站
做最好的网站

网络排障少走弯路两案例速解网管疑难,浅淡网

导读:为了提高广大初入此行的网管读者们的紧急故障处理水平,故策划了本文,将这几年来的经验撰写出来,与读者分享管理思路和控制管理能力的思维。

导读:为了提高广大初入此行的网管读者们的紧急故障处理水平,故策划了本文,将这几年来的经验撰写出来,与读者分享管理思路和控制管理能力的思维。

betway必威,在网络的管理运维过程中,可以说故障是不可避免的。如果有管理员企图打造零故障的网络,只能是徒劳。因为网络故障有太多的随机性和偶然性,何况还有人为因素。所以,管理员要做的是掌握网络排错技巧,积累经验培养敏锐的嗅觉,能够少走弯路,快速定位并排除故障。笔者做技术支持时目睹过不少网管的排错过程,也看过一些别人的排错文章,发现有不少人有意或者无意地走了不少弯路。下面很大家共享两例网络排错案例,希望对朋友们有所启发。

随着信息化进程的飞速发展,网络已经成为每个现代企业必须的要素之一。相对于网络维护,网络运维更加侧重于保障网络系统的正常运行,运维有运行和维护两层含义。对于一个系统,有时出错我们无法预知,系统越复杂,其难维护难度更大,为了减少损失,我们尽可能地去预防各种错误,对于突发情况,尽可能地去修复。

随着信息化进程的飞速发展,网络已经成为每个现代企业必须的要素之一。相对于网络维护,网络运维更加侧重于保障网络系统的正常运行,运维有运行和维护两层含义。对于一个系统,有时出错我们无法预知,系统越复杂,其难维护难度更大,为了减少损失,我们尽可能地去预防各种错误,对于突发情况,尽可能地去修复。

  案例一:病毒引发的网络故障

紧急故障解决的通用流程

紧急故障解决的通用流程

  故障现象

在本文开始前,笔者先给出紧急故障解决的流程图,见图一。

在本文开始前,笔者先给出紧急故障解决的流程图,见图一。

  早上刚上班,用户打来电话说某个子网的客户端无法正常上网。并且反馈信息,在Ping DNS时断时续,远程登录三层交换机,检查连接用户办公楼端口,未发现有异常情况。

betway必威 1

betway必威 2

  故障诊断

图一

图一

  笔者建议管理员首先检查网络是否出现风暴或网络回环。打开Sniffer软件监控用户所在网络,看是不是出现流量异常的现象,监控两个小时后发现流量很正常。很奇怪,据用户反映在中午下班时网络正常恢复正常,但是下午用户又打来电话说网络又不正常了,初步判断问题出在用户端。

根据上述流程图,我们可以一目了然明白处理网络运维的紧急故障的处理流程。

根据上述流程图,我们可以一目了然明白处理网络运维的紧急故障的处理流程。

  笔者让管理员到用户办公室逐个排查。根据用户反映,如果把网卡禁用后再启用,网络就正常了,但过10分钟又无法ping通,周而复始。我们知道,网卡禁用再启用的过程,就是一个Arp的学习过程,在此期间,它会发出一个Arp的请求,询问谁是这个网段的网关,然后得到这个网关的MAC地址,然后当它需要去访问不同网段机器的时候,就会把数据包丢给那个网关。那么,是不是用户的某台机器中了病毒,导致它可以模仿真实网关的地址,使得在局域网内的客户端在上网时都把数据包发给了这个模仿真实网关的机器,从而产生故障?马上找了一台机器用arp -a命令去查看这台机器默认网关的MAC地址,发现当网络正常时显示的默认网关的MAC地址是正确的,当故障出现时默认网关的MAC地址突然变了。

当客户端发生网络中断的故障后,首先判断用户或终端)到三层网关设备之间通道是否存在问题,从用户或终端)上ping网关是否能通,用户或终端)自身是否发生问题。

当客户端发生网络中断的故障后,首先判断用户(或终端)到三层网关设备之间通道是否存在问题,从用户(或终端)上ping网关是否能通,用户(或终端)自身是否发生问题。

  故障解决

二层网络是否正常:如果用户或终端)ping网关不通,则检查下端二层网络、用户网线、三层网关设备以下网线或光纤是否正常,端口是否UP,是否有CRC error报文统计。检查二层网络中的交换机设备是否能正常学习到用户MAC地址,检查三层网关设备与二层交换设备之间的连通性、二层设备的CPU利用率是否正常,是否有二层环路造成或病毒攻击。首先确保用户或终端)能正常ping通网关设备。

二层网络是否正常:如果用户(或终端)ping网关不通,则检查下端二层网络、用户网线、三层网关设备以下网线或光纤是否正常,端口是否UP,是否有CRC error报文统计。检查二层网络中的交换机设备是否能正常学习到用户MAC地址,检查三层网关设备与二层交换设备之间的连通性、二层设备的CPU利用率是否正常,是否有二层环路造成或病毒攻击。首先确保用户(或终端)能正常ping通网关设备。

  记下出现故障时显示的那个网关的MAC地址,然后在楼道交换机上根据这个MAC地址查到是哪个机器,拔掉该机器的网线后,网络恢复正常。至于为何中午下班时上网正常,是因为用户下班时将中病毒的机器关了,所以大家都又能够正常上网。中毒机器杀毒后也恢复正常。

三层网络是否正常:可以通过telnet/console口登陆三层设备,如果有问题,通过ping、tracert、show logging、端口统计、CPU利用率统计、链路状态、路由表状态、MPLS标签表状态等对问题进行分析,在业务忙时,不得擅自重启或倒换三层核心路由器等设备。

三层网络是否正常:可以通过telnet/console口登陆三层设备,如果有问题,通过ping、tracert、show logging、端口统计、CPU利用率统计、链路状态、路由表状态、MPLS标签表状态等对问题进行分析,在业务忙时,不得擅自重启或倒换三层核心路由器等设备。

排错总结

如果用户上网或承载业务仍然存在故障,可以查看DNS等外界环境是否正常,承载的业务本身是否发生问题,查看相关告警,然后做出相应的处理。

如果用户上网或承载业务仍然存在故障,可以查看DNS等外界环境是否正常,承载的业务本身是否发生问题,查看相关告警,然后做出相应的处理。

  通过对这个网络的故障分析,我们总结出以下几点:首先是当网络出现故障的时候,一定要多到用户端了解情况,最好能通过用户对故障的描述抓住网络故障的实质。其次,当出现奇怪的网络现象时,可以分析是否是用户端的机器中了病毒导致这种现象发生,并不一定是网络设备的问题。

其它问题,如果现场不能解决,就通报关键用户并联系厂商解决。

其它问题,如果现场不能解决,就通报关键用户并联系厂商解决。

  案例二:用户端交换机环路引起故障

在本文中,笔者就以网络不通的故障为例,讲解网络运维的紧急故障处理的比较通用的思路和解决方式。

在本文中,笔者就以网络不通的故障为例,讲解网络运维的紧急故障处理的比较通用的思路和解决方式。

  故障现象

假设有一天,接到通知报告网络不通了。给人的第一感觉是某个服务出现异常而中断,比如打不开OA页面,或者打不开Google页面。让我们看看,一个合格的运维人员是如何循遵怎样的思路来寻找故障的原因并解决的。

假设有一天,接到通知报告网络不通了。给人的第一感觉是某个服务出现异常而中断,比如打不开OA页面,或者打不开Google页面。让我们看看,一个合格的运维人员是如何循遵怎样的思路来寻找故障的原因并解决的。

  维护人员发现7号三层交换机远程无法登录,初步怀疑设备故障,于是迅速赶到机房检查设备运行情况,设备供电及其与S8016核心交换机连接均正常,在交换机控制口Ping网关不通;CPU利用率38% ;检查运行日志未发现有告警。检查端口,发现e 0/3流量不正常,输入流量远大于输出,将e 0/3 Down后,交换机Ping网关正常,业务恢复正常,检查所有端口,只有

...

确定哪些服务中断

  三口流量不正常,最后确定是三口所带的用户问题,用户端不停地发包,流量过大造成三层交换机上联口拥塞,从而影响其他用户正常上网。

首先要做的就是区分内网服务和外网服务。

  排错过程

在笔者所在公司中,很多自己开发的、只限于公司员工使用的服务都是内网服务,比如OA、邮箱、ERP等等。而像QQ、微博那样的则属于外网服务了。

  到用户端检查,将用户所用的公网IP配置在笔记本电脑上直接上网,上网正常,确定用户端光电转换器和线路无故障。检查用户交换机配置正常,但是只要接上用户交换机,机房内三层交换机就无法正常工作,判断用户交换机故障。由于用户交换机无资料,无法确定每个端口的业务明细,只有采取将交换机上的连接线一个个拔出,同时检查机房三层交换机运行情况的方法来判断故障点的位置。当将用户交换机e 2/8端口线路拔出后,机房内人员报告三层交换机运行恢复正常,立刻检查该线路,发现这条线路的另一端连接在第e 2/29端口,原来是这条线路两端都连接在交换机上造成环路,导致链路拥塞,用户无法上网。详细检查发现造成环路的端口都未配置,并且没有业务使用,交换机没有发出环路告警。

在这样的环境下,内网服务的网络关键节点如下所示:

  排错总结

终端→接入交换机→联网路由器→核心路由器→核心交换机→服务器

  故障处理完毕后,总结分析如下:

依赖的基础服务为:内网DNS服务器。

  (1).用户交换机走线杂乱,线路未作标签,业务走向不明,是造成环路故障的主要原因。

外网服务的网络关键节点如下所示:

  (2).由于造成环路的端口未使用,没有配置业务,导致交换机无法在13志中产生环路告警,也未能报告出哪个VLAN故障。

终端→接入交换机→核心交换机→互联网接入交换机→上网行为管理设备→互联网防火墙→外网服务器

  (3).环路可造成广播风暴,数据流量猛增,造成汇聚设备上联口拥塞,远程无法登录。电脑中ARP病毒后不停发包,也能造成设备死机,远程无法登录,两种情况有相似之处。

依赖的基础服务为:内网DNS服务器,公网DNS服务器。

  总结:两个简单的案例,带给我们不少启发。希望管理员朋友们在日常的维护工作中注意机房内的资料整理,确保线路连接整齐规范。在处理故障时多注意观察三层交换机日志和端口流量,能有效地减少网络故障和处理故障时间。

如果当前访问的服务突然中断,那么首先看看是内网的服务还是外网的服务。然后再在内网和外网分别自选一种服务尝试访问一下。例如ERP突然无法访问了,那就尝试访问一下内网的门户系统和邮件系统,以及外网的一个知名网站。

本文由betway必威发布于网络技术,转载请注明出处:网络排障少走弯路两案例速解网管疑难,浅淡网

TAG标签: betway必威
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。