一条光纤传输中断后,如何引发了全网VoLTE瘫痪?

分享到:

2020年6月15日,美国运营商T-Mobile发生了一起罕见的网络重大事故。全国范围内的语音和短信服务中断长达12小时。事后,美国FCC主席公开表示这起重大网络事故“不可接受”,并随后对T-Mobile展开了调查。

全国范围,中断12小时,连911也无法拨打......如此严重的网络事故成为了全球运营商鲜活的反面教材,那背后到底是什么原因导致的?

4.1

不久前,运营商Orange在对这起全球瞩目的重大网络事故进行研究后,详细透露了这起事故的来龙去脉。

T-Mobile网络架构简介

T-Mobile的语音网络包括VoLTE、VoWiFi和2/3G CS网络,VoLTE语音业务通过4G LTE基站和传输网络连接到IMS,2/3G电路交换网关、WiFi网关与LTE核心网和IMS互联互通。网络内绝大多数手机会同时注册和连接到LTE和2/3G电路交换网络,如果VoLTE和VoWiFi呼叫失败或超时,或者在没有LTE和WiFi覆盖的情况下,手机会通过2/3G网络进行语音业务。

4.2

同时,T-Mobile传送网的路由器采用OSPF(Open Shortest Path First,开放式最短路径优先)路由协议,即给每一条链路分配一个权重,网络始终选择一个权重最小的路径来传输数据流量。

4.3

如上图,连接每个路由器的每条链路都分配了一个代表其权重的数字。要将数据从西雅图传输到迈阿密,网络会选择累积权重最小的路径,即会经由洛杉矶的路由器转发到迈阿密。而一旦西雅图与洛杉矶之间的链路中断,网络会选择另一条累积权重最小的路由来替代,即经由丹佛和纽约的路由器转发到迈阿密。

故障过程分析

  1. 美国东部时间2020年6月15日 12:33,T-Mobile在亚特兰大地区的VoLTE网络的一条光纤传输链路发生故障。如上所述,按T-Mobile的网络路由策略,当这条链路发生故障后,网络会根据OSPF协议重新选择一条备用路由来传输数据,从而缓解故障影响。
  2. 但万万没想到,T-Mobile工程师当初错误配置了这条备用路由上的其中一台路由器的权重,导致数据流量流向了一台无法处理大量呼叫信令流量的路由器,使得整个亚特兰大地区的4G语音和数据业务中断。

4.4

  1. 亚特兰大地区的所有4G手机向IMS发起VoLTE注册时失败,当手机通过4G网络注册失败超时后,又开始尝试通过Wi-Fi网络向IMS重新注册,但仍然注册失败,从而引发了信令流量拥塞。12:45,12分钟后,中断的光传输链路恢复,此时通过WiFi注册失败的手机又重新尝试通过VoLTE注册,但因路由器权重配置错误,VoLTE重新注册再次失败,这进一步加剧了信令流量拥塞。
  2. 此时,T-Mobile工程师判断认为故障原因可能仍然由光传输故障引起,于是,又手动关闭了这条刚恢复的光传输链路,以继续试图通过其他路由传输数据。但这让网络故障又回到了初始状态,整个亚特兰大地区的移动用户无法连接4G网络,被迫再次通过WiFi建立呼叫,结果依然失败..... 再次加剧信令拥塞。
  3. 工程师们认识到判断错误,在一个小时后再次开启这条光传输链路,使得亚特兰大地区的手机又再一次重新尝试VoLTE注册,再再次加剧了网络信令拥塞。
  4. 就这样,在“Wi-Fi注册”与“VoLTE注册”之间来回折腾,循环“震荡”,导致部署在亚特兰大地区的IMS系统严重拥塞后,流量开始重定向到其他地区的IMS注册系统,从而引发了信令风暴蔓延到全国。

4.5

  1. 15:00左右,T-Mobile分布于全美的IMS注册节点变得越来越拥塞,最终导致全国范围内的VoLTE和VoWiFi语音注册失败,从而引发了一场全网VoLTE瘫痪的重大网络事故。
  2. 事故还在继续蔓延。当手机无法连接VoLTE和VoWiFi后,大量的手机回落到2/3G网络,这也造成了2/3G网络拥塞。
  3. 直到6月16日凌晨1点左右,T-Mobile在动用了数百名工程师之后,与供应商和合作伙伴一起终于将问题解决。网络恢复正常。

简单的讲,整个事故的过程是:

一条光纤传输链路发生中断,同时因为人为配置错误导致备份链路也失效了,引发了信令流量风暴蔓延全国,使得全国范围内的IMS系统发生严重拥塞,从而导致全国范围内的VoLTE业务瘫痪。

一条光纤传输链路中断,一次人为配置错误,就引发一场如此大规模的网络事故。进入5G时代,不仅网络更加复杂,而且对网络的稳定性和可靠性要求更高,这起刚好发生在5G商用元年的重大事故自然引起了全球运营商的高度关注。甚至有运营商以此为鉴,专门针对网络故障展开了专项研究。

希望下一次,一条小小光纤链路,一次不经意的人为错误,再也不会引起如此重大的网络故障。

本文参考:

  1. June 15, 2020 T-Mobile Network Outage Report,FCC
  2. How the T-Mobile outage of 2020 went down,Brigette Cardinaeal ,Orange

来源: 网优雇佣军

继续阅读
光通信基础知识大全

光纤的发明,带动了通信领域内的革命,如果没有光纤提供大容量的高速通道,互联网也只能停留在理论设想阶段。如果说,20世纪是电的时代,那么21世纪就是光的时代。光到底是如何做到能通信的?下面和小编一起学习一下光通信相关的基础知识吧。

一条光纤传输中断后,如何引发了全网VoLTE瘫痪?

2020年6月15日,美国运营商T-Mobile发生了一起罕见的网络重大事故。全国范围内的语音和短信服务中断长达12小时。事后,美国FCC主席公开表示这起重大网络事故“不可接受”,并随后对T-Mobile展开了调查。

基于ZYNQ的光纤-以太网高速传输系统设计

为满足合成孔径雷达实时成像、数据回放等高速可靠数据传输需求,解决传统数据传输系统由于接口要求高、体积与功耗大以及网络配置不灵活等原因不适合用于外场试验的问题,基于 ZYNQ 芯片设计一种光纤接口到以太网接口的数据传输系统。主要介绍数据传输流程的实现方法,并提出一种三级乒乓和指令并行的优化策略保证数据正确,提高传输速度;通过移植嵌入式 Linux 系统实现灵活修改网络配置。与传统方案相比,该系统在体积、功耗和灵活性上具有明显优势。经实验验证,数据传输速度可达 770 Mb/s。

分光器基本常识,你都了解多少?

分光器是组建PON网络的一个组件,是一个连接OLT和ONU的无源设备,它的功能是分发下行数据,并集中上行数据。 分光器带有一个上行光接口,若干下行光接口。从上行光接口过来的光信号被分配到所有的下行光接口传输出去,从下行光接口过来的光信号被分配到唯一的上行光接口传输出去。

光纤入户、家用宽带最常用的网络设备有哪些?

什么是PON、EPON、GPON?光纤入户需要哪些设备? 本文将会为您解答疑惑~