企业网络有没有标准故障排除与恢复机制？

公司网络一旦出问题，业务就瘫痪，企业网络到底有没有一套标准的故障排除和恢复机制？

一、主动预防：监控与冗余

• 全网监控：部署SNMP、Telemetry、NetFlow等工具，实时采集设备CPU、内存、端口流量、光模块功率等指标。设置告警阈值（如丢包率>0.5%、延迟>正常值20%），通过短信或钉钉通知运维。

• 关键冗余：核心设备双机热备（VRRP/堆叠）、链路聚合（LACP）、双路供电。例如，总部核心交换机采用1+1热备，主设备故障时备机秒级接管。

• 定期巡检：每月检查设备日志、备份配置、测试灾备切换。

二、故障定位：分层排查

当用户报障时，遵循“从下往上”原则：

1. 物理层：检查网线/光纤是否松动、光模块收光是否正常（-20dBm以内）、设备电源灯状态。

2. 数据链路层：查看交换机端口是否有CRC错误、广播风暴、MAC地址漂移。

3. 网络层：使用ping、traceroute定位丢包点；show ip route检查路由表；tcpdump抓包分析IP分片或MTU问题。

4. 传输层及应用层：确认防火墙是否阻断端口、QoS策略是否限速、应用服务器是否过载。

例如，某员工无法访问ERP，排查链路：ping网关通，pingERP服务器IP不通，traceroute发现包停在核心交换机，登录交换机发现ACL误封了该员工IP，立即放通恢复。

三、恢复机制：分层分级

• 自动恢复：通过BFD（双向转发检测）配合路由协议，实现50ms内链路切换；堆叠设备主控板故障时备用板卡自动接管。

• 半自动恢复：运维人员根据预案，执行预定义的脚本（如关闭故障端口、切换VPN网关）。

• 手动恢复：严重故障时（如核心交换机宕机），启用冷备设备，或切换至灾备中心。

四、容灾与备份

• 配置备份：每天自动备份网络设备配置到远程服务器，变更前手动备份一次。故障时一键回滚。

• 业务容灾：关键业务部署双活或主备数据中心，利用DNS或全局负载均衡（GSLB）自动切换。

五、事后复盘与改进

每次重大故障处理完后，48小时内输出故障报告：根因、影响范围、MTTR（平均恢复时间）、改进措施。例如，某次因光模块劣化导致链路闪断，团队复盘后增加了光功率监控，并建立了备件库。