公司技术和运维管理体制初探（二）
（申城老樊）
过去几年，本公司的运维基本以分散运维管理为主，即以专业来划分维护队伍，每一专业都有一套维护与监控人员及网管系统。如有线通、集团和企业用户的数据业务、线路工程及维护等，对应着我们的运维部、网络技术部、工程部。在企业发展初期，这种分散式运维模式对于整体业务的迅速展开是有极大帮助的。在网络不复杂，业务量不大的情况下，也是一种不错的选择，现在，随着运营网络的不断壮大，对于这种运营体制是否要加以变革或调整呢？回答是肯定的。
我公司运维体制的选择应考虑以下几点：
1、公司运维工作的现状和特点。正如上文所提到的，我公司是一个利用广电宽带城域网运营数据业务的小的“运营商”。同闵行区的电信、移动的分支机构相比，我们是“小而全”，从规划设计到网管再到现场维护，我们一应俱全。相对于电信的固话和广电的有线电视来说，我们从事的都是“增值业务”且独立核算，运营相对比较艰难。因此我们的网络运维工作有着本系统和其它系统企业所没有的特点。
2、未来集中运维的组织架构的借鉴。虽然未来集中运维体系的设计是针对大的网络运营商，其一般是省级单位，对于区域性小的网络运营商意义不大，但其指导思想可以借鉴。我们可以将各个不同业务的运维管理进行集中统一，使我们的运维模式逐渐向以客户为中心、以客户业务保障及服务质量（QoS）为主要管理内容的新的运维模式转变。
3、运行维护管理体制既受制于行业的整体管理体制，又受制于网络及网络管理技术条件的发展程度以及主管领导的战略思想，因此即使在电信、移动、新联通及广电等大系统内部，目前还没有形成统一的运行维护管理体制，故我们应该突破传统思维，大胆创新，设计出一套与当前业务相适应的、有自身特点的、高效的技术和运维管理模式。
鉴于以上三点，我认为我公司运维体制调整的思路是：从公司和本地区运营的实际出发，以集中运维模型为参考，以提升用户满意度为目标，形成一个以网络管理为中心，以网管调度为核心、以快速反应为目标的运维服务体系。具体做法是：增设技术管理机构，加强运维工作的协调领导；统一调度力量，增强综合分析判断决策指挥能力；提升现场运维管理水平和技能，形成一支反应迅速，能打硬仗的队伍。
根据上述调整思路，本公司技术运维管理设置三个部门，即总师办、网络管理中心、工程部，由公司分管领导（总工程师）进行统一管理和协调。其中：
总师办是公司技术管理层次最高的部门，负责公司高层次的技术管理和协调，并对网络管理中心、工程部进行技术指导和技术支持；
网络管理中心统一管理公司数据网日常运行和政府用户、企业用户、个人用户的日常维护；
工程部负责公司发展业务所涉及到的工程建设以及对外承接工程的日常管理。
由于网络管理中心业务门类较多，有些性质迥异，加之和有线中心共管机房以及为有线中心代维机房、HFC设备管理和新建小区光设备开通的特殊情况，故将网络管理中心再分为四个二级部门，即调度室、数据网络维护组、HFC网络管理组、机房管理组。具体见下图：
图4 公司技术运维部门设置
1、建立了公司技术的高层团队，有利于公司高层技术队伍及管理人员的连续性、稳定性。
2、以数据网为核心，加强了对运维工作的统一调度，加强对网络的统一监控，有利于快速反应。
3、职能划分更明确，界面更清晰，能有效减少互相依赖、互相推诿、互相扯皮的现象。比如集团用户终端设备安装过去有些是归技术部，有些归工程部，现在统一归工程部。又如HFC机房设备维护，正反向光设备过去分属机房部和运维部，现统一归机房部管理维护；所有网管监控统一由网管中心进行。
4、用户运维分级管理，为公司创造价值大的用户为VIP用户，由网管中心数据网络组直接维护，一般专网用户统一由外包公司运维。
5、运维层次更加分明。公司运维体制也可分为三层结构：决策及支持（总师办）、网管及调度（网管中心调度）、现场维护实施（机房、网络、工程、外包公司）。公司网络运维层次的划分见图5。
图5 本公司网络运维层次的划分
本方案设计的运维流程是以调度为核心的运维流程。网络管理中心设调度室，综合分析处理各方报来的故障现象和网管信息，初步判断故障的性质和位置，确定后对一个或数个执行实体（维护单位）发布维护调度指令，该指令具有绝对权威，接受指令单位要不折不扣执行，并及时回报处理结果。
调度室设调度长、调度员和网管监控员三种岗位，调度人员应有一定的技术水平、运维经验和利用各种工具快速故障判断能力。
以调度为核心的的运维结构图见图6，概括说就是一切故障维护信息汇总于调度室，一切维护指令由调度室发出，所有维护结果应及时反馈给调度室，根据事先设定的办法，调度室汇总的业务报表应成为有关部门和维护人员考核的依据之一。
图6 以调度为核心的运维结构
具体的故障处理简化流程见图7。由图可见，调度汇总各方信息后作出判断和决策，形成维护指令，下达给相应的执行实体，执行实体执行后，不管故障是否排除，都要反馈给调度，如故障排除，调度按流程将相关信息备案，如未排除，再次分析判断，进行二次调度或请示网管中心主任，直至总师办决断。
图7 故障处理简化流程见图
上图是个十分简化的流程，其实有许多数据网故障是可以通过网管系统排除的。
5.5.1 部门职责
根据公司业务情况，各部门主要职责如下
一、总工程师办公室职责
1、负责公司总体技术管理和协调：
（1）技术、运维的管理；
（2）有线中心的技术协调；
（3）技术报表汇总及上报；
（4）技术资料和备份资料的搜集、整理、归档和管理工作；
（5）各类技术资质的申办和全面质量管理的相关工作。
2、负责公司各类技术规划、方案的制定、论证、审核：
（1）公司总体技术规划和技术方案；
（2）重大工程项目、改造项目方案；
（3）各类专网扩容，系统升级、优化方案和系统割接方案；
（4）新技术、新设备的选型、试验、认定。
3、负责公司骨干网核心设备的运行维护、配置和管理：
4、负责网络升级改造工作的组织实施
5、负责重大工程项目的售前技术支持。
二、网络管理中心职责
1、认真做好网络的运维调度管理工作
（1）做好各类信息的收集、整理和判断工作；
（2）向维护人员及外包公司发出明确的运维调度指令；
（3）及时了解执行情况并做好相关资料的收集、整理工作；
（4）为呼叫中心提供技术支持。
2、做好网管监看工作
（1）认真监看好各类网管并做好职责内的设备远程控制；
（2）协助做好HFC网络会聚噪声的分析判断和网络优化；
（3）做好ONU的注册工作；
（4）相关安全资料搜集、整理、上报工作。
3、负责数据网的设备配置、故障维护和管理工作
（1）各类专网、专线、CMTS设备；
（2）各类应用系统（含数据库、服务器、存储、相关软件）；
（3）网络安全管理
（4）托管机房管理；
（5）政府和企业大客户的故障排除。
4、负责HFC网络优化和运维外包公司的管理
（1）负责HFC接入网优化；
（2）光缆线路故障管理和光缆抢修公司日常管理
（3）外包公司的日常管理、技术辅导和月度考核
（4）分析CMTS和HFC网络运行相关数据，对外包公司提供技术支持。
5、参与网络升级改造的具体实施；
6、全区机房的日常管理
（1）实行7×24小时值班制度，对各机房进行监控和管理；
（2）定时、定期对中心、分中心机房进行巡查；
（3）电源环境系统管理、维护和故障排除
（4）机房机柜机架和光纤系统管理：
（5）机房搬迁及其光缆割接工作的组织、领导和实施；
7、有线中心HFC设备维护管理
（1）机房HFC模拟设备的日常管理、维护和故障排除：
（2）新建小区机房HFC模拟设备的安装及开通。
三、工程部职责
1、本公司各类业务所要求的各类线路工程的施工管理；
2、对外承接工程的施工管理；
3、相关的用户端设备安装；
4、协助做好光缆的抢修工作；
5、负责工程的勘测、设计、预算、审价等工作。
在具体实施后，各部门应根据实际情况细化各自职责。
5.5.2 岗位设置和人员编制
一、岗位设置
考虑到公司不大而业务门类较多的实际情况，以人员充分利用和适当兼职为原则，公司技术运维共设置了16个岗位（不含部门负责人岗位），其中总师办2个，网络管理中心11个，工程部3个，具体见下表：
各岗位主要职责（略）。
二、人员编制
根据实际情况，初定技术运维16个岗位总人数为39人，根据公司实际情况，目前到位29人。见下表
以上各部门岗位职数包括部门负责人，其中总师办设主任1名，网络管理中心设主任1名，副主任1名（可兼调度室主任），工程部设经理1名。网络管理中心二级部门各设主管1名。
对于任职要求中的初、中、高级的界定，由于我公司员工绝大部分没有技术职称，而由公司内部评审亦非易事，且不可能在短期内完成，故本次参照相关单位职称评审对学历、工龄要求的条款（略），结合员工的相关证书以及实际工作能力，由公司领导班子和人事部门商量决定。
上述职数在运行一阶段后，可根据实际需要和可能作进一步调整。
网络管理系统主要完成网络监控、资源管理、运行支撑等功能。应该指出，“网络管理”有狭义（传统意义的网络管理）和广义（综合网管）之分，狭义网管主要实施网络管理层以下的管理，广义网管不仅包括狭义网管的所有内涵，还包括对网络管理层以上的业务管理层和事务管理层进行管理（实现ISO定义的对网络的故障、配置、性能、计费、安全等进行管理），基本上就是综合运营支撑系统BOSS。本文所说的网管是狭义的网管系统，主要是服务于运维的，希望能及时发现和处理系统存在的问题，优化网络性能，最好能在远程及时处理，使网络运行得更好，减少用户的报修和投诉。
经过几年的建设，公司的网管系统建设已达到一定的规模，主要有以下几种：
1、利用免费软件网络流量监测图形分析工具Cacti由网络技术部自行搭建的网络设备的流量监测系统，可对全网大部分路由器、交换机、CMTS的流量进行监测和分析。其功能较丰富，可支持Email、短信甚至MSN告警信息。
2、瑞士康达收发器网管。监测机房内瑞士康达光收发器，主要辅助日常维护、资料整理。比如判断收发器是否有光功率，各收发器分别接入哪些节点等等。
3、威发CableModem运营支撑系统附带的网络管理功能，如系统性噪比C/N、端口流量、CM端口数量、在线率等
4、PP CACHE网管。
5、EPON网管系统。即中兴EPON管理软件，能够实现设备的配置管理和故障管理。
6、有线电视HFC设备网管系统，能够实现对不同厂家的HFC光设备的参数进行监测和故障报警。如SA的光发射机、光工作站，康持光工作站，反向光接收机，雷华光工作站，霍普反向光接收机等，是较统一的光设备网管系统。
7、集线器管理系统，可对有线电视用户进行路权管理和反向通道关断，对减少有线通系统的反向噪声有作用（是有线电视用户管理系统的一个功能模块）。
8、有线电视光环网ROSA网管系统，对SA的双向1550光传输设备进行管理（将要整合到HFC管理系统中）。
9、有线电视地理信息系统（GIS）。对双向有线电视网络的路由、光缆、电缆、室外设备（光站、放大器、分支分配器）、管道、管井等进行管理，我公司数据网线路开始时由于缺乏正规设计，除骨干网、教育网部分等添加进入GIS以外，其余都没有加入。
上述管理系统前4个为我公司建设，后5个是有线中心建设由我公司管理，由于我公司业务是架构在有线网之上的，这些系统对我公司运维均起到很大的作用。
1、各网管平台独立，造成管理和使用不便，加大了使用和维护的工作量。
2、缺少服务器管理系统，2009年5月份CM用户管理系统故障造成个人用户全网瘫痪，如配备网管系统则可能会避免此类问题。
3、缺乏专人负责和维护。
4、缺乏对建立数据网综合网管系统的专项研究和长远规划。
应该说，我区广电宽带城域网的建设和网管系统建设已经初具规模，对网络的运营和管理起到了一定的作用，但由于行政管理方面的深层次的原因，网管的功能还远没有发挥，还有相当大的潜力可挖。下一步的工作主要是：充分利用现有网管系统，使其效益最大化，在使用的基础上，根据运营的需要不断完善，根据业务流程或网络架构的需要进行有计划的整合，从而不断增强网管能力，不断提升网络质量，不断提高运营水平。
设立网管中心的网管监看岗位，调度根据用户报修信息和网管信息进行综合分析，迅速锁定故障点，有针对性地指派运维人员，是充分利用网管系统的重要举措之一。以下用几个例子说明：
例一：网管自动发现。网管监视员发现某一交换机宕机，立即报调度，如可远程操作，重启，故障恢复。否则指令相关人员赴现场处理，并同时通知呼叫中心。故障处理结束后反馈，本事件了结，归档。
例二：网管自动发现。HFC网管发现一光站故障，立即报调度，调度立即指令相应外包公司。同时，调出GIS系统，确定影响范围，通知呼叫中心，回应相关报修用户。
例三：呼叫中心接一个人用户上不了网的报修，首先指导用户自助排障，未果。报调度，查IP网管、HFC网管无异常，头端正常，指令相应外包公司赴现场排障。
例四：某区域报修人数较集中，调度室：查IP网管、HFC网管无异常，登录CMTS头端，如C/N较低，指令相应外包公司，如C/N不低，询问工程部光缆情况，无异常报告，可指令工程部和外包公司同时检查、排障。
凡此种种，不一而足。
整合工作一定要根据运维的实际情况，提出具体的要求，修改或开发相应的软件。比如上一节例一例二中，“通知呼叫中心”事项，如网络没有整合，只能电话或Email通知，如整合后，可以将网管调度系统中“故障现象”“故障部位”“影响区域”“处理情况”“估计恢复时间”等项同时在呼叫中心系统中显示，不仅方便及时，而且对用户也有一个明确的答复，提高了客户服务质量。
这是一个不大的软件，需根据我们实际的运维流程开发，开发的过程实际上也是整合的过程（主要是呼叫中心系统和CM管理系统），它可以读取其它系统数据，同时也向其它系统提供数据。该软件的开发应在运维调度流程基本确定后进行。
唐李商隐诗云“倾国宜通体，谁来独赏眉。”就是说要注意整体效应，搞好协调配套。单个五官虽美，如互不协调，也是难看。公司亦然，技术运维架构的变化是否取得成效，决不仅仅是技术运维相关部门的事，还必须有一系列相适应的配套措施，形成一种合力，才能取得最佳效益。配套工作主要有以下几点：
基础设施是根本，是最基本的手段。网络的可靠性体现在两个方面：线路的可靠性和设备的可靠性，线路和设备就是基础设施。今年有线电视环网初步建成，极大地提升了有线电视传输的可靠性，其全部建成后，将极大的减少区域性断网故障，但对于数据网来说，虽然现在骨干网成环，实现线路冗余，但是会聚网还没有成环，没有线路冗余，时常出现由于光缆线路中断产生的区域性故障，借助于有线电视的环网，构建数据网会聚层环网，实现会聚层线路冗余，对于提高网络的可靠性具有十分重大的意义，这应该是明年的重要任务之一。
在基础设施建设方面，还应注意以下三点：
一、对于重要的、尤其是面向公众业务的大客户（如卫生网要上联中心医院服务器和医保系统）应逐步实现线路冗余，千方百计地减少网络故障给客户业务造成影响，这方面市场部门应配合做好工作。
二、在设备可靠性方面，虽然我们今年进行了大规模的骨干网改造，基本实现了核心骨干设备的冗余，但是随着业务的发展和经营规模的扩大，强化对重要客户的优质服务，应提升到我们的议事日程上来，其中应包含设备冗余。
三、根据业务和流量等情况，经常进行网络优化。网络优化是一项长期的任务，要根据网络业务，不断调整运行策略，改善网络性能，使其性能经常处于最优化。
客服队伍是联系公司和用户的桥梁，运维体制架构变化以后，其流程、相关人员分工如何适应变化后的运维体制，是要认真研究的，主要有三个方面：一是流转程序的合理设计以及和调度的默契配合；二是如何快速地、科学地、比较准确地回答用户的提问，如何用技术手段及时反映变化了的网络情况和排除故障的进程；三是如何配合调度部门做好对外包公司、现场维护人员的定量考核工作。
“人的因素第一”是永远的真理，中国古代的政治家在总结治理国家的心得时，有一句话叫做：政从正出，财从才来。前一句是对行政工作人员的要求，后一句是说各类人才的重要性，是财富之源。我公司也是一个小社会，公司的主要目标是创造价值，获取更多的利润，而利润源自于人才，因此，这两句话同样适用，在这里我只说后一句。
公司的发展必须要有适应各种不同的岗位的不同类型人才，必须要有敬业的人才，然而根据本公司网络业务的性质，除技术类人材外，其他类型的人才也应多少懂点技术，有些甚至不是一般的懂。今年初我去上海移动两次，和一个搞计划的女生谈了一些问题，想不到这个女孩子对网络技术非常精通，甚至Qos在相关层是如何实现的都十分了解，我感受颇深，觉得我们公司在这方面应该加强，应该从工程技术人员中，根据个人爱好，逐步培养一些其它专业的人材，如市场的、客户服务的，成为公司的“通才”。不同专业的人才和通才必须是敬业的，敬业的人才是公司的基石，而敬业的人才要靠和谐的环境来吸引和不断上升的通道来激励。
要千方百计创造一个和谐的工作环境，要想方设法调动人才的积极性，我公司是一个网络运营企业，属于高新技术范畴，员工中工程技术人员占三分之一，基本是年轻的、毕业时间不长的大学生，当代的大学生有这样的特点，既有丰富的情感，又愿意从理性的层面思考问题，他们能够从更大的空间观察问题，因而信息量特别丰富，思想特别活跃，做他们的思想工作十分重要，要赢得他们的信任，获得他们的认同，首先要对他们信任，对他们认同，做他们的工作，不仅要注意率先垂范、以身作则，还要注意把以情感人与以理服人结合起来，最大限度地减少他们的“不爽”和“郁闷”，让他们心情舒畅地、全心全意地为公司服务。
我十分喜欢毛主席的这样一句话，以至到现在仍记忆犹新：“我们的目标是想造成一个又有集中又有民主，又有纪律又有自由，又有统一意志、又有个人心情舒畅、生动活泼，那样一种政治局面。”其实不仅是政治局面，日常的工作环境也应如此。
在一般情况下，公司员工上升的通道仅在管理岗位，从普通员工到部门负责人要经过数年以至十数年，“十年媳妇熬成婆”，可见成婆之艰难。然而无论公司大小，管理岗位永远是不多的，大量的员工只能从事各类专业或非专业的事情。工程技术人员由于岗位的特殊性和重要性，其工作的胜任能力不仅包括共性的工作责任心等，还包括个人的知识水平、专业技能，以及所承担的工作内容和完成工作时能力发挥的程度。如果将其和工资挂钩，和荣誉挂钩，不仅公司对知识水平高、能力强的员工吸引力增强，而且还能促进技术人员自我提高的意识，调动技术人员的积极性。因此对工程技术人员根据知识水平、业务技能、工作态度评定职称，使工资和职称挂钩，就成为有专业技能的员工不断上升的另一条通道。
专业人员的专业技术职称是区别专业技术或学术水平的等级称号，我国规定的职称等级有：“员级”、“助理级”、“中级”、“高级”等，反映了一个专业人员的“专业技术或学术水平的等级”，其晋升可通过学历、一定的工作年限、反映技能的各类材料、相关考试，只要符合任职资格和条件，经评委评审通过即可。然而这条途径目前越来越难，和者盖寡，青年人尤其不认可。看来，如我单位实行专业技术职称制，则非自行决定专业技术等级、自行规定评审条件不可，任职条件有学历资历要求和业绩要求两方面，对一般工程技术人员来说，学历资历要求为硬性条件，达不到的不能申请高一级技术职务，要求很明确，这不难。其难点在于如何合理的制定可操作性强的业绩标准并公平公正的确定每个审报人员的业绩，进而客观公正的评价每一个审报人员是否符合某一等级的任职条件。这件困难事情的解决要下很大的气力。
（2009年10月）
