搜索
查看: 843|回复: 0

SoftCOM AI,自动驾驶电信网络解决方案(下)

[复制链接]

415

主题

415

帖子

1453

积分

金牌会员

Rank: 6Rank: 6

积分
1453
发表于 2019-5-4 00:43:52 | 显示全部楼层 |阅读模式
3.2 SoftCOM 通信智能解决方案

SoftCOM 通信智能解决方案由数据湖、训练平台、应用模型市场和推理框架四大部分组成。推理框架中的推理模块从设备管控平台采集训练数据,交给数据湖做预处理,或者直接交给训练平台做数据训练(训练平台支持基于原始训练数据做训练,而不需要经过数据湖处理),训练平台完成训练之后,将模型发布到应用模型市场,由应用模型市场推送到推理模块。推理框架结合实时网络数据,调用业务模型进行推理分析,并将推理结果下发到管控平台或各网元执行推理结果,控制网络行为。网络行为的结果数据会再次被收集用于平台训练、优化模型,从而实现闭环控制,如图10 所示。
QQ截图20190504003806.jpg
图10 SoftCOM AI 流程部件

接下来对数据湖、训练平台、应用模型市场和推理框架进行详细介绍。

3.2.1 数据湖

痛点1:电信行业数据难获取、质量低。

数据获取难,电信领域数据范围大,涉及面广,获取耗费大量时间;数据治理难,电信领域专业性强,数据难理解,难建模;数据质量差,数据存在缺失、异常、重复等问题,难以应用;数据安全风险高,数据平台与数据自身存在安全漏洞,发生安全事件影响大。

SoftCOM 通信智能数据湖提供丰富的主题&训练数据集服务;准确适配各种模型训练需求,结合领域专家经验知识和现网反馈,提供数据治理服务;提供数据目录管理、元数据管理、数据安全和用户权限管理等数据资产管理功能。

AI 有效数据多:聚焦运营商关注的四大AI热点方向,积累电信网络千万级标注样本数据。网络数据覆盖全面:当前涵盖网络特征属性3 万多个。通过运营商签约授权、华为历史故障库、实验室生成等正规渠道,获取包括接入网/承载网/核心网/数据中心的全域主要网元的脱敏数据。标注样本数据丰富:当前标注样本4 000 多万条,关键特征约2 500 个。华为专业团队对样本做时序、故障根因、网络状态等专业标注,形成高价值样本集。

电信数据治理快:依托一站式ETL 和“数据+网络”可视化,支撑高效数据治理和应用开发。数据属性易理解:集成华为全业务领域的数据字典,降低用户处理华为电信设备数据的领域知识门槛。数据关系易理解:通过数据到电信网络的映射(主题域+数字网络地图),使体验/网络/状态/拓扑等数据关联成网,实现数据可视、关系可视,加速用户对数据关系和网络业务场景理解和应用。数据治理工具效率高:支持多种主流文件的导入和ELT 自动化处理能力,一站式完成清洗/转换/治理。

电信数据质量好:构建分域分层的电信数据质量管理能力,提供质量标准统一的数据资产。体系化的数据质量标准:基于最专业的领域专家经验和行业标准,形成按数据源和主题域分别定义的数据质量度量指标、数据模型质量约束、数据质量治理规则、数据质量稽核规则。电信数据质量监控评估工具:提供数据质量管理的工具化能力,保障数据质量要求的高质量落地。专业的数据治理团队:对数据进行标准化的清洗、转换、去噪等,保障数据高质量,使用者只需关注应用开发。

数据安全省心:通过数据全生命周期可管理、可审计、可回溯及细粒度权限控制,保障数据的安全治理和合规使用。数据全生命周期监控:提供数据生命周期的系统化安全日志,实现数据的可管理、可审计、可溯源。数据存储安全:对数据按照分类分级存储,并采用数据加密/块存储桶隔离等方式保障数据不被非授权使用。数据使用安全:支持细粒度权限管控、数据库表级权限控制,并实现单用户单资源的可视、可搜和可使用。

3.2.2 训练平台

痛点2:通信领域AI 应用开发门槛高、效率低、效果不可控。

业务知识缺乏:算法科学家需要花大量的时间了解业务场景,电信领域AI 积累少,可借鉴经验少;算法开发效率低:AI 算法多,选择范围广,试错成本高。在线开发工具无智能提示、无断点调试等,代码开发效率低;模型训练周期长:模型训练依赖大量并且昂贵的计算资源。超参优化周期长,单次训练耗时高;模型可复制性差:模型对数据的依赖比较大,往往很难在不同的局点之间复制交付,实际应用效果不可控。

SoftCOM 通信智能训练平台,实现一站式高效模型训练,集成电信领域的特征处理、辅助快速识别等关键特征,内置电信领域AI 典型算法,如异常检测、根因分析、优化控制、业务预测等,支持模型快速验证,如图11 所示。嵌入通信经验,领域模型服务:提供流量预测、KPI 异常检测、智能控制、告警关联模型服务,将电信经验固化为服务,用户输入数据即可获得模型;向导式模型开发过程:从数据准备到特征提取、模型训练,提供电信领域模板,提升训练效率;电信知识图谱:将通信经验转化为工具辅助专家决策。
QQ截图20190504003818.jpg
图11 训练平台架构

高效工具,联邦学习:模型训练分布化,多点联合训练,应对电信行业小数据量、数据缺失场景;增强数据处理能力:提供字段编辑、样本评估、智能修复、脚本修复等增强数据处理能力,数据分布可视化;一站式开发、上线、部署环境:从数据准备到特征提取、模型训练,再到上线销售,提供端到端开发部署环境。

开放协同,线上线下协同:提供线下IDE 开发环境,和云上平台协同开发;团队协同:同一开发团队成员经验共享、协同工作;支持多种机器算法框架和算法移植:支持所有主流算法框架TensorFlow、MXNet、Caffe2、SparkML 等;并提供工具帮助将其他平台的开发算法快速移植到华为平台上。

3.2.3 推理框架

痛点3:推理应用开发周期长,模型效果难评估。

典型AI 推理应用包括:数据采集、预处理、模型执行、推理结果下发及评估。开发人员需要开发各个组件或服务,开发周期很长,组件对接复杂;上线后服务运维压力大。推理框架主要功能和价值如图12 所示。
QQ截图20190504003848.jpg
图12 推理框架主要功能和价值

推理框架支持以下四大功能。

应用管理:支持应用模型的浏览与订购、自动更新和安装部署、灰度发布(指在黑与白之间,能够平滑过渡的发布方式。在其上可以进行A/B testing,即让一部分用户继续用产品特性A,另一部分用户开始用产品特性B,如果用户对B 没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B 上。灰度发布可以保证整体系统的稳定,在初始灰度时就可以发现、调整问题,以保证其影响度)。支持多个模型的融合编排、调度。

数据采集及处理:支持跨网络的数据传输,从各种网管系统、业务系统上采集网元拓扑、告警、KPI 等原始数据。支持以实时流或者批量数据的方式接入,对原始数据进行清洗转换。推理执行及监控:支持深度学习TensorFlow、机器学习MLLib、Python/Java 的AI 模型运行框架。支持多模型的推理执行、定时调度,并对外提供API。

推理评估:支持用户手动或自动评估推理结果;支持推理可视化,查询历史推理并输出统计报表。

推理框架的关键价值如下。

应用模型敏捷上线:一键式订购、自动化部署、实时监控、自动弹性扩容、流控、故障自愈,简化AI Case 运维管理;升级简单,和业务系统解耦,应用/模型可各自独立升级,灰度发布;推理方式灵活,支持单次、批量、实时、异步、流式及定时推理。

在线模型优化:提供在线增量学习自优化能力,使用在线数据进行增量学习,使模型精度等度量指标达到最优;集成电信运营商领域的最佳实践和专家知识,与AI 的增强学习相结合,提供电信领域运维支撑和体验。

智能反馈评估:模型推理结果实时可视化展示,协助用户快速完成推理结果反馈,生成高价值数据;基于推理反馈,周期性自动统计计算模型性能,形成推理评估数据集,用于进一步优化模型。

3.2.4 应用模型市场

应用模型市场是SoftCOM 智能通信服务的线上交易市场。用户可通过应用模型市场对已上架的AI 服务进行查看、试用、订购、部署和意见反馈。其特性主要如下。

应用上架:允许开发人员或运营人员上架AI服务,校验通过后,可将服务上架到服务目录中,供消费者订购。相对应地,也有服务下架的功能。

应用校验:对上架到应用市场中的模型进行审核与校验,确保达到平台的准入要求,如完整性、安全性等。

应用管理:统一管理AI 应用&模型&服务,一站式采购华为SoftCOM AI 服务、模型和应用。可线上浏览、试用和购买。快速在线部署应用:支持远程自动化部署、本地部署、云端管控。

应用模型持续优化更新:呈现实时执行效果(自动评估),应用流程持续优化,升级经局点验证后全球推送,如图13 所示。
QQ截图20190504003905.jpg
图13 AI 市场模块流程

3.3 应用及价值

SoftCOM AI 的典型应用可以总结为“三个倍增”和“一个提升”——“三个倍增”是运维效图13 AI 市场模块流程率倍增、能源效率倍增、资源效率倍增,“一个提升”是用户体验提升,如图14 所示。
QQ截图20190504003920.jpg
图14 应用价值

(1)资源效率倍增

准确预测长周期流量规律,实现站点、管线、机房等设施的最佳利用;根据用户、终端、业务分布,实现空口频谱最大程度利用;通过对弹性流量削峰填谷,将骨干网利用率提升至95%。

(2)能源效率倍增

准确预测业务流量,根据话务量关闭空闲载波,使设备做到深度休眠快速启动,在保证客户体验的前提下,实现设备比特决定瓦特能耗管理。在DC 中调整CPU 主频从而降低能耗。将站点配套设施收编到设备柜,实现站点能效比最大化。

(3)运维效率倍增

需要大量人工的故障分析定位转为自优自愈。如“设备收编站点,有源管理无源”使线缆、连接器、动力环境问题大量减少;网络负荷分担变抢修为基于状态的计划性维护,将开环转为闭环设备以闭环实现非物理故障恢复自动化。

(4)业务体验提升

网络设计、规划、配置自动生成,业务上线时间可以缩短为原来的1/10;个人用户引入终端和应用数据,结合网络的自动闭环,实现用户最佳体验;企业用户分钟级构建云网协同多地域全球网络,全网路由自动转发和学习,实现用户无感知的调度和路由;家庭用户端云协同解决家宽品质,将体验提升与问题处理延伸到家庭网络。

4 案例与分析

SoftCOM AI 已经开始在网络中实际商用。下面是两个具体的应用案例,一个是运维效率提升的PON 故障定位;另一个是能源效率提升的基站智能节能。

4.1 PON 光模块和光链路故障定位及预测

作为用于解决“最后一公里”的宽带解决方案,PON 技术在此前“光进铜退”的风潮下已经在全球广泛部署。但在享受技术带来的助益的同时,PON 无源器件的故障定位困难并缺乏远程定位的有效手段,导致了相当大的运维成本压力。

根据某运营商的统计,2016 年7—12 月共收到2.5 万条用户投诉,光链路和OLT/ONT 光模块(光电转换模块)故障占比34%。其中皮纤设备因为城镇改造、鼠类咬断、雨雪天气等原因造成的故障占比超过20%,户外各种接头(冷结子、水晶头等)故障超过6%。由于无源器件无法发出任何信息,这一段设备如果发生故障将很难准确定位。

由于光纤线路都埋在管道中无法检测,按照现有流程,一旦家庭宽带用户投诉故障就只能带着专业测试仪器(OTDR)上门到ONT 上检测整个链路来判断故障原因。而运营商上门成本高昂,欧洲平均为175 欧元,在中国亦达到50 元,某运营商2017 年一年的上门费用就达到了1 亿元之多。

借助于网管系统(U2000、uTraffic 等)从ONT/OLT 光模块获取历史数据,包括模块类型、模块电压、模块电流、模块温度、光层告警、光层统计、发送功率、接收功率、光距等,从这些数据中抽取出特征、打上标签进行AI 训练。AI 训练出来的模型可以用于实时数据的推理,得出故障种类和故障定界两方面信息,以此来实现故障的精准定位及预测。通过SoftCOM AI 方案提供远程定位手段,可将远程定位率从30%提升到80%。

4.2 基站智能节能

有统计显示,基站站点能耗费用(电费)占到网络运营成本的16%之多,为优化成本结构和促进社会效益,针对基站站点的节能减排已成为运营商的一大努力目标。

分解开看,在传统宏基站能耗中,基站主设备占50%,射频单元能耗占主设备能耗的80%,功放(PA)能耗又占到射频单元能耗的79%——随着分布式基站成为主流建站方式,基站主设备能耗占比将继续提高。与此同时,网络话务量往往存在明显的潮汐效应,忙时与闲时能达到4 倍的差距,但大部分基站设备却始终保持持续运行状态(所有资源24 h 开放),能耗并没有随话务量动态调整,造成了相当大的浪费。因此对于主设备而言,如何通过基站载波睡眠的方式降低能耗就成了基站节能的主要考虑方向。

通俗地讲,基站智能节能就是降低或关闭搭载载波的功放模块,功放模块是个硬件实体,用于将调制好的载波信号加大功率发送出去。载波睡眠所针对的是一个扇区有2 个载波(2 个小区)及以上覆盖的场景,将容量小区的功放模块关闭,仅保留覆盖小区以满足基本覆盖。基站载波关断特性不是新鲜事,但目前这个特性的使用率却不高,原因是传统的“一刀切”方式严重依赖于定时关断等人工设置的统一默认值,经常会影响到用户的通话和上网体验。

如何将这么好的特性真正用起来?如果可以预测基站小区的无线资源利用率,就可以对每个小区睡眠时间做出个性化的精准设置,解决基站节能特性“不敢用”的问题。但做到预测并非易事,首先需要得到成千上万个小区的历史数据,比如时间、邻区关系、事件、无线资源利用率等特征值,再把这些特征值与无线资源利用率的映射关系找出来;同时,还要监控KPI/KQI 的变化,根据调整策略部署后KPI/KQI 的变化动态调整关断参数。显然,靠人工将影响预测的不确定因素与无线资源利用率关联起来非常困难,在实践中基本无法实施。

通过AI 训练平台时空计算模块中的神经网络算法,将各种影响因素的历史时空特征数据和无线资源利用率之间的映射关系找出来,确定权重矩阵和偏置矩阵,从而得到无线资源利用率预测模型。在预测模型建设完成之后就可部署到系统中,根据无线资源利用率预测结果设置睡眠门限参数,计算满足小区睡眠门限的时间段。从当前在某实验局的效果来看,基于AI 的基站智能关断可帮助运营商在覆盖范围不变、KPI/KQI 不受影响的情况下,节省15%~25%的基站电力消耗。

5 结束语

SoftCOM AI 使能的网络智能化构架创新已经开始改变整个网络,但是实现网络自动、自治仍然任重而道远,需要整个行业的协作和投入。SoftCOM AI 的目标是打造一个全面开放的解决方案,希望更多有志于此的同事加入进来,共同努力实现网络智能化。

回复

使用道具 举报

您需要登录后才可以回帖 注册/登录

本版积分规则

关闭

站长推荐上一条 /2 下一条

Archiver|手机版|小黑屋|RF技术社区

GMT+8, 2024-3-29 15:38 , Processed in 0.088212 second(s), 8 queries , MemCache On.

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表