最近据某金融行业用户反馈，新上线的BPM业务性能分析系统交易成功率持续偏低，严重影响到KPI指标考核。根据初步排查，怀疑从前端采集过来的镜像流量数据在采集节点或者传输过程中存在丢包的情况，导致BPM业务分析引擎接收到的数据不全，最终分析引擎在做数据还原与协议重组时产生失败，进而影响到BPM业务分析系统的分析结果。
融合先进的SDN技术及先进的NP+ASIC的芯片构建科学的流量数据采集网，应对日益增长的流量数据需求，日益复杂的流量数据位置、内容的管理需要，采用“面向流量数据”的设计方式，一切从“流量数据”本身出发，对企业网络内物理网络和云网络的流量数据做全方面的采集，实现流量数据全面覆盖，消除监控盲点。并且基于业务数据类型梳理流量数据，以不同的业务交互数据流具有的数据敏感特性、业务交互特征、协议特征具有良好的聚合性，以对不同的业务系统建立不同的分类流量数据，并以不同的分类进行流量数据的分发管理控制，以“最小化数据权限”原则向不同的分析工具提供流量数据，从而降低流量数据旁路泄密的安全风险，提升流量数据的安全性。
二、入接口视角分发可视化
通过流量管控平台统一展现用户业务网络、采集网络、分析系统拓扑示图，通过该视图可快速定位流量采集输入源数据最终通过哪些接口输出至后端分析系统，实现对旁路流量数据的输入源以及最终去向的实时可视化展示与管控，为运维管理人员提供更加便捷、高效、智能的流量管控手段。
【统一拓扑展示视图】
【接口流量统计】
基于采集网内互联链路，在集中可视化展现视图上可实时展现每个目标的流量当前状态、包长分布、流量趋势图，让用户对流量数据状态一目了然，同时对全网的数据状态有直观的了解。
在流量转发策略配置与管理方面，摒弃了传统分别登录每台设备配置与管理的繁琐操作。通过我司所提供的流量可视化管控平台，用户可以基于整个流量采集网络的视角，从宏观层面跨设备按需定义流量分发策略，实现流量转发策略的高效批量配置与集中下发。
以流量输出接口为视觉对象，关联展示出此接口中的流量组成来源、大小趋势、关联的流量策略，让用户清晰感知到后端监控分析系统获取到的流量数据细节。
随着信息安全检测及IT运维技术的不断发展，在IT业务网络中通常部署了多种流量数据分析监控系统。不同的分析系统需要不同位置、不同类型的流量数据，这极大的促进了旁路流量数据采集统一管理的需求。通过NPB（Network Packet Broker）设备组网，构建流量数据采集网络，实现流量数据的统一采集、分类管理，以解决流量数据获取困难、流量数据泄密管理困难等难题，从而实现对各分析系统的数据来源提供技术支撑。
有效对网络流量数据进行采集、预处理、分类转发、全流程精准管控是各行业用户的迫切需求。本篇文章根据我司多年流量数据管控的行业经验，深度剖析不同流量采集与管控方式给用户带来的价值与痛点，同时结合我司在流量数据采集与管控细分领域的不断持续耕耘与积累，推出了更具先进性的整体解决方案，引领流量采集网络的设计变革。
在早期，传统的流量数据采集网络大多采用接入层+汇聚层的网络架构方式，如下图所示。
架构设计特点
在早期传统的流量采集网络组网方式中，接入层设备数量相比汇聚层设备数量较多，如果在接入层配置太多的数据转发策略，会大量增加整体复杂度和工作量，进而采取了大部分数据转发策略在汇聚层实现的方式，接入层设备只负责对各采集节点的流量数据做基础的接入，满足不同接口速率大小、不同介质的接入需求，因此接入层设备通常都不具备流量数据高级预处理能力，只是实现简单的流量数据采集、复制、汇聚、转发等功能。
汇聚层通常采用单台或多台设备对接入层的上联链路流量进行集中汇聚、集中输出。 汇聚层设备一般都会集成网络流量高级预处理能力，如去重、切片、时间戳、DPI应用层识别、隧道协议封装剥离等功能，对采集到的网络流量数据预处理完成后再按照策略分发需求集中输出到第三方分析系统，以满足分析系统对流量数据来源获取的需求。
给用户带来的价值
传统NPB组网方式给用户带来的价值在于，可以通过组网实现全网流量的集中采集，集中输出。解决了不同分析系统对业务现网中镜像端口资源争抢的问题，满足了第三方分析系统对网络流量数据获取的需要。
痛点- 形式上的统一采集，本质上的分散管理
传统NPB组网方式虽然能够解决用户对网络流量数据获取的问题，但同时也面临着众多组网难点:
1、流量管理仍然混乱，来源去向只能靠配置文件文本、配置表格进行管理。
2、接入层简单的流量汇聚到核心，不可避免的出现汇聚拥塞丢包。
3、缺乏可视化、统一的数据管理手段，当有数台甚至数十台规模的流量接入，管理人员压力巨大。
4、流量转发策略交付困难，当分析系统有新的流量获取需求，流量来源的定位及流量的来回验证都极大增加了流量交付的时间，极易出现不同策略之间的冲突。
5、汇聚设备价格昂贵，且可扩展性差，机框板卡的扩展看似灵活，实则是绑定用户的手段。
6、设备配置方式复杂、管理维护性差、不灵活、添加设备困难，升级困难，难以实现高可靠、高冗余和负载均衡，业务有中断风险。
框式汇聚设备架构原理
上图是一个简易的框式设备架构原理，可实现板卡级的扩容，但扩容要求使用同厂商的板卡。同时在后期使用过程也面临如下问题：
1、必须准确预测未来的扩容需求，在项目前期阶段需要选择合适的机框容量，需在2槽、6槽、7槽、14槽等不同槽位数量之间进行选择，一旦确定，不可更改。机框成本随着容量不同而不同，非ATCA标准架构机框成本更呈指数级增长。
2、机框背板拓扑架构固定，这就决定了不同槽位板卡之间的互联带宽的固定。
3、部分技术积累强的厂商实现了统一板卡槽位编址，可通过内部交换堆叠集成的方式实现对框内单板的统一配置管理。但在双核心互联情况下，如果再实现机框堆叠，通常效果不好，这一点在有代表性的国外友商产品都有体现，通常是堆叠之后系统响应变慢，而且存在脑裂风险。
4、部分厂商各单板仍然是分别管理，需要独立配置每个板卡，只实现了形式上的统一机框外形，用户在配置时甚至需要关注背板的不可见拓扑结构，管理及配置复杂。
接入层设备简单流量汇聚，缺乏流量分类预处理，加剧上联端口拥塞
如上图所示，在用户业务现网的不同区域部署接入层采集单元时，当该区域有多条采集链路，如果接入层采集单元只支持对流量数据做简单的复制、汇聚、转发，不能对流量数据做精细化的分类及预处理时，极易造成多个输入接口的流量数据远远大于上联接口的转发速率，导致上联接口拥塞，严重时将会出现较大的丢包率，最终导致后端分析系统分析的准确性。
流量交付效率低，流量源头推理->配置策略->反复验证
通过NPB组建的传统架构流量采集网，组网的处理机制是基于每节点逐跳执行的过程，为了实现跨NPB设备的流量牵引策略，需要管理人员登录每台NPB配置流量牵引动作。
框式汇聚拓扑方案设计情况下，无法做到全网接入层、汇聚层的设备集中统一管理，如果要在接入层灵活输出任意位置流量，会导致流量策略需要在至少三个设备上逐跳配置，极大增加管理员工作量；长期维护情况下将导致策略混乱，无法管理。
以上图为例，如果需要在3F-D机房分析应用发布区的流量数据，则需要人员配置如下3台设备的相关策略：a.3F-B机房NT-FTAP-54ECX ->b .2F-C机房NTCA-CHS-7U7S ->c .3F-D机房NT-FTAP-54ECX。如果策略配置异常，会造成后端分析系统无法获取需要的数据，就需要工作人员反复在上述三步中查找配置异常的环节。
跨设备的流量交付复杂度高，大规模集中汇聚层策略处理是妥协手段
多数情况下用户业务系统分布在不同的物理机房或者不同的地理位置，当要对不同业务区域的网络流量数据进行采集时，需要在相应的区域部署NPB接入层采集单元。同时当分析系统分布在各个区域，且需要不同物理位置的流量数据时，此时在每个区域的接入层去配置流量数据转发策略将变得非常复杂，需要逐跳配置反复确认。所以在大规模集中采集情况下，在汇聚层配置流量数据转发策略成为了妥协手段，而在汇聚层配置转发策略其灵活性和扩展性将变得较差。
浪费接入层设备的TCAM表项资源、无流量分类能力
由于NPB设备没有路由表和MAC表参与工作，设备没有真正意义上的寻址概念，而是基于接口（interface）进行数据推送，为了保证流量数据能够被正确的发送到目的接口，需要通过对NPB设备定制策略，进行流量数据的推送或者牵引。
在传统NPB网络组网中，每台设备均需要独立配置与执行策略，设备会把定义好的流量数据转发策略转换成流表下发到TCAM中，最终设备依据TCAM表项资源转发流量数据。而传统NPB组网方式中，大多采用集中汇聚、集中输出的方式，大部分的流量数据转发策略、流量数据分类、流量数据预处理都集中在汇聚层设备实现，而接入层只做简单的流量数据转发，这样一来就会大量的占用汇聚层设备的TCAM资源，而接入层设备的TCAM资源都被浪费。
NPB流量预处理单元受限于核心层设备能力
在传统组网方式中，主要依据核心层框式设备处理能力实现数据转发，而框式设备存在性能瓶颈，瓶颈包括交换板的FABRIC通道数量和业务板的数据通道2个层面，框式设备即使在插满交换板双星连接时，其背板通道在跨板业务输入输出时通常只有数百G的能力。
在传统组网方式中，机框式传统架构仅实现了纵向扩展能力，即框内板卡级扩容。受限于机框槽位容量，必须准确预测未来扩容需求，需要在成本和需求间提前选择。
经过多年的不断持续地投入与潜心研发，我司采用先进的SDN技术理念，设计出具有CLOS交换机架构的流量数据采集网络，以更好地满足各个行业用户不同规模的流量数据采集网络建设。
摈弃传统的接入+汇聚层组网方式，以SDN技术为核心，以“控制面”、“数据面”分离的先进架构为指导思想，将传统的流量采集硬件设备SDN化，为流量数据统一采集与分发提供灵活的组网能力。
在网络组网架构上，采用了CLOS组网架构方式，继承了CLOS组网架构天生的优势，实现了即使是在大规模组网情况下，也能实现全网无阻塞数据交换。同时在该组网架构下，网络的扩展能力进一步加强，可以随着采集规模的进一步扩大，分别在不同层次去弹性扩展采集单元的数量，以更灵活的方式满足流量采集网络的升级与扩容。
简单的集中输出 - > 本地输出+按需远程汇聚流量牵引 ，充分利用NPB能力
采用标准CLOS架构分层组网，整个流量采集网络分成接入层、核心汇聚层、输出层。其中在输入层设备选型时可以选择具有10-20G级别高级功能处理能力的NPB采集单元，可基于流量编排策略去执行报文去重、切片、DPI卸载、封装剥离等预处理动作。如当有本机房流量数据需在本地输出时，不必把这部分流量集中传输到汇聚层预处理完成后再回传到本地机房，这样一来就可以大量减少跨机房的物理传输资源的占用，降低网络布线的工作量，减轻设备流量转发策略的配置与管理，缩短流量数据交付的周期，更好地满足本地输出流量数据的需要。
对于需要跨物理机房远程输出的流量数据，可以根据流量数据分发策略，通过SDN控制器进行集中调度、集中按需分发。当有较大流量数据需要作高级预处理时，SDN控制器可以自动选择具有更强大的高级处理能力的采集单元进行预处理，待预处理完成后，再根据流量数据分发策略意图输出到指定设备的输出端口。
利用我司的Matrix-SDN流量管理平台，可以完美的实现流量数据本地输出与按需远程汇聚流量牵引的目标，而这一切的实现均得益于SDN技术的应用，实现了全网设备均接受SDN控制器的集中管理与控制，实现了流量编排策略统一视图管理，流量数据按需灵活输出。
流量分类预处理在接入层处理->充分利用接入层TCAM资源，降低无效背景流量传输，减轻上联端口拥塞
如上文所述，我司推出的流量采集网络组网架构采用了分层的方式，流量数据的分类与预处理动作均在接入层完成，不必在核心汇聚层实现。充分利用了接入层NPB设备TCAM资源，消除在大量流量数据分发策略需求时，核心汇聚层设备TCAM资源不足的窘境。
同时可以根据需要，可以在接入层设备上过滤掉无用的背景流量数据，如视频、语音、图片等大流量数据，降低对上联端口带宽占用，减轻上联端口拥塞。
更智能的路由选择策略，充分利用拓扑冗余路径智能选择，最大化保证数据交付
基于集中的SDN控制器，可实现更加智能路由、更高可靠性、更便捷的管理特性。采用了标准的OpenFlow/Netconf交互协议，中心SDN控制器可完整全局把握流量采集网内的所有链路、设备、端口信息，基于用户配置的策略要求智能分解为逐跳流表，并能够实时根据采集网络的拓扑状态变化而自动更新，完全为用户屏蔽掉复杂的选路过程，用户不再需要关注流量内部路由策略，简化用户的管理、提升流量数据采集网络的可靠性。
CLAG/ECMP等高级路由特性的引入：
作为全网流量数据中心的基础平台，控制器支持HA主备高可靠冗余特性，进一步保证流量数据平台的工作可靠性和稳定性。通过MATRIX-SDN平台，可以更好地实现跨区域的流量数据采集与管控。
软件定义网络SDN(Software Defined Network)是由美国斯坦福大学CLean State研究组提出的一种新型网络创新架构，可通过软件编程的形式定义和控制网络，具有控制平面和转发平面分离及开放性可编程的特点。
从概念的提出、不断的工程实践到至今SDN技术及其各项分支技术在各行业的广泛应用，至今已经有10余年时间。在当今的数据中心、WAN、传输等领域，SDN技术及其技术思想都已经在普遍的开花结果，成为未来的网络智能化、意图化的基础。
网络简单化：提供网络结构的统一视图，对整个网络架构实现统一的查看，从而简化配置、管理和优化。
高利用率：集中化的流量工程使得我们能够有效地调整端到端的流量路径，从而达到网络资源的高效利用。
快速故障修复：链路、节点故障都能实现快速修复。而且系统能够快速的聚合网络资源，实现平均分配，并且对于一些网络行为可进行预测。
平滑升级：控制平面和转发/数据平面的分离可以做到软件平滑升级的同时保证没有数据丢包或者性能衰减。
弹性计算：大规模的计算、路径分析都被集成在控制器中，由最新代的服务器完成。
数据中心网络：将传统网络设备的数据平面和控制平面两个功能模块相分离，通过集中式的控制器(controller)以标准化的接口对各种网络设备进行管理和配置。这种架构为网络带来的可编程的特性，使得网络资源的设计、管理和使用提供更多的可能性，从而更容易推动网络的革新与发展。因此，控制转发分离、逻辑集中控制、开放网络编程API被视为SDN区别于传统网络技术的三个主要特征。正是这些特征使得SDN能够良好的满足数据中心网络的使用需求：
（1）高扩展性和网络资源利用率；
（2）支持虚拟迁移和统一运维；
（3）支持多业务、多租户。
SDWAN即软件定义广域网：是将SDN技术应用到广域网场景中所形成的一种服务这种服务用于连接广阔地理范围的企业网络、数据中心、互联网应用及云服务。由于SD-WAN是由技术推动的应用，行业内并没有统一的定义，各行业分析咨询机构如IDC、Gartner等都有着不同的定义。相比较而言，SDxCentral提出的定义能够言简意赅地体现出SD-WAN的核心思想，即“SD-WAN是将SDN技术应用到广域网场景中所形成的一种服务，这种服务用于连接广阔地理范围的企业网络，包括企业的分支机构以及数据中心。
企业互联SD-EN(SDN based Enterprise Network)关注的是用户侧的WAN连接，为企业总部、分支机构跨广域网的连接提供高效的基于SDN的解决方案。数据中心互联SD-DCI(SDN based DataCenter Interconnection )，指的是为企业的多个数据中心，或者企业办公机构与数据中心之间建立的基于SDN的解决方案。云互联SD-CX(SDN based Cloud Exchange)则更多的关注应用侧的WAN连接，为公有云、私有云以及越来越丰富的混合云应用提供高效的基于SDN的解决方案。
随着网络的智能化不断发展，围绕着网络运维、网络安全运维、业务运维的需求不断面临新的挑战，基于流量数据的广度分析、深度分析的技术手段在网络监测与分析/安全威胁检测与分析/业务监控与分析领域发挥了日益重要的作用，这为企业的旁路流量数据管理本身带来了显著的需求增长：
流量数据需求采集位置的增长-从以前的网络重要和关键位置的流量数据采集需求到覆盖全网绝大多数网元位置的增长，从以前只需要交换核心层、关键资源区域的数个网络位置的流量数据采集，到现在需要所有网络关键位置（核心层、服务器区域、远程接入区域、DMZ等）、下沉到汇聚层、接入层、虚拟化层、远程公有云等网络无所不在的数据监控与采集；
流量数据内容需求多样化/精细化分发的增长-基于流量数据内容的需求从全量数据到基于不同的分析维度、基于不同的分析目标，要求流量数据内容更为多样化、精细化。如基于业务的监控分析仅需要精确业务相关的流量数据；基于专项流量审计（数据库审计、业务访问行为审计）仅需要专项流量内容；这为流量数据的分发管理提出了新的要求。
（1）流量数据的需求增长引起交付困难；
（2）流量数据的来源/去向管理混乱；
（3）虚拟化/云网络流量数据获取困难；
（4）流量数据无限制分发面临泄密风险；
（5）SDN网络中业务网络和镜像的流量数据极易引起流量数据压力超限问题。
在很多中小型客户通过部署了多台分离的流量采集设备（汇聚分流器），并通过基于SNMP信息采集的方式和基于“堆叠”技术的设备集中管理实现了“形式化”的流量采集设备统一管理，从一定程度上对管理员实现了设备管理的便利性，但在实际的流量数据管理过程中仍然存在非常大的管理缺陷：
基于SNMP信息采集的方式实现了“形式化”的流量采集设备管理，从一定程度上对管理员实现了设备管理的便利性，但在实际的流量数据管理过程中仍然存在非常大的管理缺陷：SNMP的管理功能极其有限，充其量只能算做设备状态/端口状态的集中监控，离“数据管理”差距非常大。SNMP协议是面向采集设备端口的管理，无法与用户的数据来源、去向、策略做完整的关联，用户实际使用管理困难；
基于“堆叠”技术的设备集中管理，其技术根本上的劣势也是显而易见的，由于“堆叠”技术的限制，堆叠的设备数量与管理性能直接相关。虽然从理论上讲，底层ASIC芯片可以支持最大128个交换单元的堆叠管理，但实际上受限于设备的控制面性能和设备间的交互复杂性影响，多数厂商的设备无法实现真正可用的8台设备以上的堆叠。“堆叠”后的系统可靠性、系统性能均下降明显，“堆叠”系统的配置复杂性并未得到本质降低。在多设备堆叠后，本质上设备的配置文件是多台设备的配置文件集合，管理员将不得不理解更复杂的堆叠拓扑结构，对于流量数据本身的分发管理策略变得更为复杂和难于理解。
应对日益增长的流量数据需求，日益复杂的流量数据位置、内容的管理需要，只有采用“面向流量数据”的设计方式，一切从“流量数据”本身出发，对企业网络内的流量数据做全方面的采集流量数据管理，才能夯实流量数据基石，真正支撑IT系统的运维/安全业务需求。
（1）面向流量数据来源/去向/处理过程的管理；
（2）面向流量数据内容的识别及分类管理；
（3）面向流量数据需求目标系统的管理；
（4）所见即所得是流量可视化的重要前提。
得益于先进的SDN技术理念，创新性将SDN技术应用于旁路流量数据的集中采集、自由组网、统一分发，并结合先进的NP+ASIC的芯片解决方案，实现流量数据内容的识别、基于内容的分类管控和分发；最终形成一套“面向流量数据”的Matrix-SDN流量数据管控平台，为企业的旁路流量数据管理提供完美的解决方案，为未来流量数据需求的管理提供了新的指引和方向。
以SDN技术为核心，以“控制面”、“数据面”分离的先进架构为指导思想，将传统的流量采集硬件设备SDN化，为流量数据统一采集与分发提供了灵活的组网能力。
多样化拓扑支持组网能力-流量数据网络在SDN技术的加持下，可以支持网状、CLOS、半网状等多种灵活的组网拓扑，可完美适应不同规模的旁路流量数据的组网支持。
智能路由，更高可靠性，更便捷的管理- 基于集中的SDN控制器，标准的OpenFlow/Netconf交互协议，中心SDN控制器可完整全局把握流量采集网内的所有链路、设备、端口信息，基于用户配置的策略要求智能分解为逐跳流表，并能够实时根据采集网络的拓扑状态自动变化更新，完全为用户屏蔽掉复杂的选路过程，用户不再需要关注流量内部路由策略简化用户的管理、提升流量数据采集网络的可靠性。
CLAG/ECMP等高级路由特性的引入：
控制器HA高可用性支持 – 作为全网流量数据中心的基础平台，控制器支持HA主备高可靠冗余特性，进一步保证流量数据平台的工作可靠性和稳定性。
极强的可扩展性 – 基于SDN架构的组网支持不同规模的组网，使得流量采集网络可以随着企业IT网络的规模增长而平滑扩容，扩容仅需要增加相应的数据管理单元即可接入更多的流量采集点，实现全网流量的统一管理。
得益于SDN技术的集中控制器的计算能力，matrix-sdn管理平台实现了面向用户网络平面拓扑、采集平面拓扑、分析平面拓扑的一体化拓扑视图，并对三平面拓扑之间的互联关系实现了互联集中一体化展现。管理人员面对复杂纷繁的流量采集来源、流量输出逻辑关系可以在平台中实现完美的可视化视图展现与管理，极大的减轻了管理人员的工作量。
基于先进的SDN技术与ASIC/NP硬件架构处理技术完美结合，matrix-sdn平台引领行业趋势，摒弃“面向设备管理”的传统思路，实现“面向数据管理”的流量数据集中管控。
基于“面向数据管理”的新能力，用户可以基于网络流量数据的不同内容分类对流量数据实现更精细化、更为灵活的数据交付，为网络信息安全分析/IT运维分析构建坚实基础；减小流量数据泄密风险，提升数据安全性。
基于科学全面的MATRIX-SDN流量数据采集网，对任意已覆盖的采集点位置执行动态数据探测，直接探测是否存在故障通信端点是否有通信行为，排除客户端配置不正确问题。多节点同时探测指定通信端点双向通信行为，进一步定位网络/安全设备策略配置问题。基于多元组的数据过滤功能，基于MATRIX-SDN提供的灵活的数据探测之手，让运维人员随时随地获取想要分析的原始数据。直接最有效、最高效率的手段定位和解决故障。使得复杂而困难的故障定位和排除变的高效而简单。
结合MATRIX-SDN流量数据采集网，在Vmware、OpenStack、Hyper-V环境下虚拟机之间东西向报文采集部署Vtap流量采集软件，通过Vtap软件，可以实现对传统方式无法采集的虚机之间的报文的采集，解决虚拟化/云网络流量数据获取困难，实现“东西向流量全面覆盖”的流量数据集中管控。
基于“虚实结合，一体化云采集”的新能力，全面解决数据中心虚拟化/云网络的大量应用，虚拟服务器间的数据交互可能仅体现于同一服务器内部的内存数据交换，虚拟化/云网络流量数据获取困难，为业务分析/安全检测分析构建全面覆盖的东西向流量数据。从而实现完全意义上的流量数据全面覆盖采集、统一集中管控，流量数据可视化。
融合先进的SDN技术及先进的NP+ASIC的芯片构建科学的流量数据采集网，应对日益增长的流量数据需求，日益复杂的流量数据位置、内容的管理需要，采用“面向流量数据”的设计方式，一切从“流量数据”本身出发，对企业网络内物理网络和云网络的流量数据做全方面的采集，实现流量数据全面覆盖，消除监控盲点。并且基于业务数据类型梳理流量数据，以不同的业务交互数据流具有的数据敏感特性、业务交互特征、协议特征具有良好的聚合性。以于不同的业务系统建立不同的分类流数据，并以不同的分类进行流量数据的分发管理控制，以“最小化数据权限”原则向不同的流量数据分析工具提供流量数据，从而降低流量数据安全风险，提升流量数据安全性。实现统一展现现网逻辑拓扑架构，清晰展现流量数据采集点所在现网逻辑位置和采集方式，统一展现流量采集网本身拓扑架构，对采集单元的工作状态、流量分发状态进行实时监控和管理。从而做到流量来源、处理过程、去向可视化三位一体的逻辑拓扑。清晰展现流量采集位置，处理策略，输入输出信息，使流量数据的管控策略从复杂转变为简单。实现流量数据动态获取，提供的灵活的数据探测之手，方便的数据探查功能，对任意已覆盖的采集点位置执行动态数据探测，直接探测通信端点的流量数据信息，让运维人员随时随地获取想要分析的原始数据，是有力的安全运维支撑工具，直接最有效、最高效的手段定位和解决故障。夯实流量数据基石，真正支撑IT系统的运维/安全业务需求。
随着互联网的飞速发展，网络流量呈现爆炸式增长，其中大量无用背景流量数据不仅占用了旁路分析系统的性能资源，还可能对关键业务指标数据的分析结果造成影响。为了提高分析效率和分析结果的准确性，基于深度数据包检测（DPI）技术的应用层协议识别成为解决这一问题的关键手段。成都数维公司制定了通过DPI应用层协议识别与过滤解决方案，实现对数据包载荷特征的深度检测与匹配，替代传统基于L2-L4层协议+端口号的识别与过滤机制，极大地提高了对应用层协议数据报文的识别效率与准确性，实现了对无用背景流量数据的精准过滤与卸载，降低了无关流量数据对旁路分析系统的性能开销。
本方案通过采集单元设备集成的DPI深度流量检测技术，通过构建丰富的应用层协议特征库，快速准确地识别出无用背景流量数据，并采取相应的过滤与卸载措施，以提升分析系统的分析效能。采集单元设备集成的特征库支持上千种应用的识别，可对常见的如ftp、http、pop3、smtp、dns、ntp、BitTorrent、syslog、mysql、mssql、视频流、即时通讯工具、网络游戏等多种应用程序及协议进行精准识别。
DPI应用层协议识别
a.特征库构建：收集并整理各类应用协议的特征信息（如特征字、行为模式等），构建完善的协议特征库。特征库可以定期更新，以应对新型应用和协议的出现。
b.深度包检测：利用DPI技术对网络数据包进行深度解析，提取应用层内容，与特征库中的信息进行比对，识别出具体的应用协议。
无用背景流量识别
a.策略制定：根据业务需求和安全策略，制定无用背景流量的识别规则。这些规则可基于应用协议类型进行定义。
b.智能识别：结合DPI应用层协议识别结果，应用智能算法对流量数据进行综合分析，精准识别出无用背景流量。
过滤与卸载
a.流量过滤：根据识别结果，对无用背景流量进行过滤处理。
b.流量卸载：对于无关紧要的背景流量，可采用流量卸载技术对其丢弃，以减轻分析系统的负担。
电信运营商：当在骨干网、城域网等关键节点部署APT旁路分析设备时，通过采集单元设备的DPI深度流量识别机制，对应用层协议进行精确识别，实现对视频会议、视频直播、网络游戏等无用背景流量的有效过滤与卸载，提升APT分析系统的分析效率和用户体验。根据实际项目应用经验，可把100G链路中总流量70Gbps卸载至25Gbps~30Gbps左右，背景流量卸载比例高达65%，极大地降低了对旁路分析系统存储资源与计算资源的开销。
教育行业/企业客户：在园区网/办公网关键区域部署安全监测系统、安全分析系统、上网行为审计系统，可以通过采集单元的DPI应用层协议识别模块，实现对应用层协议数据的精准识别与分类，可为各类分析系统提供感兴趣的流量数据，更加高效地实现对园区网/办公网的安全监测以及上网用户的行为审计与管控。
本方案通过DPI应用层协议识别技术，实现了对应用层协议数据的精准识别与过滤，为各行业提供了高效、灵活的基于应用层协议的流量分类手段。随着网络技术的不断发展和新型应用的不断涌现，本方案将持续优化和完善，以应对新的挑战和需求。
网络安全/运维管理中非常重要且非常基础的一个环节就是网络流量数据捕获分析，通过对网络数据的连续捕获分析，以此来定位处理网络故障和分析网络流量数据。在网络安全/运维管理过程中，运维管理人员时常会因为网络临时故障、网络/系统配置、远程接入故障、其它未知故障等多种因素的影响，需要进行业务/网络等各类故障的实时排查与处理。网络运维时就会遇到类似的故障场景：
（1）某通信节点反映无法正常连接业务，问题节点可能是来自远程地市或来自接入层客户端；
（2）系统割接后影响某个具体业务出现异常-进行系统割接后替换或升级了防火墙/负载均衡/路由的配置或其它参数，多数业务访问正常，但就是某个业务出现不能正常访问；
（3）某企业网络中运行多种业务系统，业务系统流量经过多个网元设备，涉及一条完整的交易路径链信息，时常会出现业务系统访问缓慢或者无法访问；
（4）在某一天突然发现网络性能急剧下降，网络服务不能正常提供，服务器访问速度极慢甚至不能访问，网络交换机端口指示灯疯狂地闪烁，重启动后没有几分钟现象又重新出现了；
（5）某企业进行宽带接入组网，使用的核心技术是NAT，但在进行静态端口映射的时候发现，外网的用户根本无法访问内网服务器，同时，路由器配置和其他状态来说都是正常的；
（6）某网络在运行时总是出现奇怪现象，每隔一段时间就会出现网速很慢的情况。奇怪的现象不定期的发生；
（7）在企业网络运维管理中，网络运维人员想要直观可视的了解网络利用率如何、什么样的程序在网络中运行、主要用户有哪些、网络中是否产生异常流量、哪些用户产生的流量最多、哪些服务器接收的流量最多等信息；
（8）某企业网络中运行多种业务系统，当某一业务系统访问缓慢或者无法访问时，运维人员想分析当前网内有哪些业务、分别产生了多少流量、网络中业务使用的模式是什么、企业内部重要业务执行状况如何等。
在网络安全/运维管理中，当出现网络故障和监测网络的流量时，常规的问题解决方式需要手工逐段排查，往往一个故障的引起其故障点的定位需要涉及十数个不同的位置，这将涉及到“控制面路由信息的正确性”、“安全策略面防火墙配置的正确性”、“网络通信面的可达性”、“客户端配置的正确性”等多种不同因素的影响；更为复杂的问题甚至会涉及“厂商设备的协议/报文兼容性”等问题。在捕获到的海量流量数据存储系统中查找对应的报文/通信记录，故障定位效率低，故障排除难度大：
（1）运维人员需要在一个网络设备上面捕获流量数据，就需要申请机房管理部门进入机房，需要确定该设备是否支持电口直接连接流量捕获终端，需要确定设备端口镜像是否支持；
（2）在有虚拟化/云平台网络环境中，当网络发生故障时，部分虚拟机的网络流量可能在物理机内部的虚拟交换机中完成交互，运维人员通过常规数据包捕获终端无法从物理交换机上捕获流量数据；
（3）网络在运行时总是不定期的发生网速很慢的情况。运维人员就要通过数据包捕获终端长时间的捕获数据包，再得到大量的数据包后通过查找对应的报文/通信记录来确定故障点；
（4）网络中部分业务系统流量经过多个网元设备，涉及一条完整的交易路径链。当业务系统访问故障时，通过数据包捕获终端就需要一台一台网络设备上捕获分散的流量数据；
（5）企业通过部署网络安全分析设备（NPM）来实现网络数据包捕获问题。但实际上NPM设备都是基于探针的架构，在获取数据包时，只能捕获在部署探针节点的网络设备上流量数据包，即实现单一设备数据包捕获，从而无法实现全网动态数据包捕获。
通过MATRIX-SDN平台的灵活的策略探测功能，对特定时段的流量进行实时的捕获和监控。基于流量趋势探测功能可以实现：
（1）基于特定的一个或多个流量数据采集点（如核心交换机上联链路、远程接入链路、汇聚层交换机位置）的接入采集单元向其下发特定的仅用于监测和计数的流量统计策略；
（2）在下发动态的流量统计策略之后，可以通过MATRIX-SDN平台实时监测命中下发策略的流量趋势，也可以持续监测一段时间之后进行历史流量查询和展现。
基于灵活的MATRIX-SDN数据采集监控网络，在网络故障发生时，MATRIX-SDN为您提供随心所欲的数据探查功能，协助运维人员快速定位、快速分析故障节点：
（1）通过MATRIX-SDN平台上对任意已覆盖的采集点位置执行动态数据探测，直接探测是否存在故障通信端点是否有通信行为，排除客户端配置不正确问题；
（2）多节点同时探测指定通信端点双向通信行为，进一步定位网络/安全设备策略配置问题；
（3）基于多元组的数据过滤功能，基于MATRIX-SDN提供的灵活的数据探测之手，让运维人员随时随地捕获想要分析的原始数据。
在网络宏观态势可视化感知的基础上，通过可视化分析系统与流量采集网络的协同工作，一旦网络出现异常时，通过“流量快照技术”将任意采集点的任意类型流量进行“拍照/录像”处理，准确保存网络多个位置的异常现场数据。
基于流量快照技术，通过对流量数据采集和基于网络智能专家统一分析技术，形成概述、流量趋势、流量统计、包长分布、位置分布、会话列表、访问关系、会话质量、异常分布等多维度的分析视图为网络运维人员提供一种有力工具和助手。分析系统将对比不同网络位置的数据包的行为来协助用户精准定位异常故障点。通过多点数据的综合精细关联分析，完整展现出每个数据包如何穿越网络的路径，异常数据包在哪里发起，在哪里丢失等难于解决的问题。充分揭示了有关网络使用的“4W”问题：
Who：谁（IP）使用了网络？
What：网络流量的类型是什么？
When：在什么时间使用网络，使用了多长时间？
Where：网络流量流向何处？
（1）网络故障定位分析：网络发生故障（丢包、延迟、无法访问）时，通过流量数据快照捕获想要分析的流量数据包，通过多维度的流量数据快速分析定位故障点，解决故障产生原因；
（2）交易路径流量数据捕获分析：通过“流量快照技术”将任意采集点的任意类型流量进行“拍照/录像”处理，准确保存网络多个位置的异常现场数据。通过对整个交易路径信息流量数据多维度分析，快速定位故障点，解决故障产生原因；
（3）网络流量异常监测分析：网络管理员都希望在网络性能突然下降的时候找到“真凶”所在，并迅速解决问题。利用流量快照技术提供的某段时间内的流量、应用趋势分析，可非常直观的看到网络流量是否有突然增长或突然下降的现象，并进一步分析出是哪些用户产生了最多的流量、使用了哪些应用以至于网络运转出现性能问题。并根据最终分析结果，网络运维人员可快速的解决网络异常问题，保证网络正常的运行！
（4）业务流量监测分析：对于一个企业来说，业务流量数据管理是至关重要的，如果业务链路上的流量增大，就会一定程度上影响企业业务生产，但是如果企业能掌握业务流量的特征，制定相应的策略（比如QoS和针对源或目的IP地址作流限制），就能使业务带宽得到最合理最充分的使用，避免影响企业业务生产，而流量快照技术所提供的分析能够使网络运维人员洞察业务链路的流量特征、用户使用状况，从而针对业务流量作出响应！
（5）网络优化与规划：通过流量快照技术，可以使网络运维人员及时掌握网络负载状况，网内应用资源使用情况，尽早发现网络结构的不合理，或是网络性能瓶颈，尽快作出网络优化方面的决断，使网络带宽分配最优化，为用户提供高品质的网络服务，并且避免了网络带宽和服务器瓶颈问题。利用网络流量快照长期监控网络带宽而形成的各类趋势信息，有助于网络运维人员跟踪和预测网络链路流量的增长，从而能有效的规划网络升级（例如，增加路由服务、端口或使用更高带宽的接口）。
网络流量快照技术是一个有助于网络管理者进行网络故障处理、网络规划、网络优化、网络监控、流量趋势分析等工作的工具，通过对网络流量信息的采集并分析可帮助网络管理者得到网络流量的准确信息，为网络的正常、稳定、可靠运行提供保障。
准实时的流量捕获分析：快照数据支持对流量进行及时的分析，当快照数据产生之后，在很短的时间内即可得到分析结果，非常方便用户使用图表进行网络异常问题的定位。
交易路径链的流量捕获分析：通过对任意采集点的任意类型流量进行拍照/录像”处理，准确保存网络交易链多位置的全面现场数据，即对广域网核心层、广域出口、局域网核心层、局域网汇聚层网络流量的全面捕获与分析，实现完整网络交易路径链流量多点的可视性。
专家级的数据分析：对捕获到的流量数据进行自动深度关联分析，从时间分布、流量大小、会话分布、协议分布、活跃通信节点（IP）、承载服务、报文/网络/安全异常事件分析等多个维度对数据内容进行自动深度分析；帮助网络运维员看懂流量数据内容、帮助网络分析专家梳理流量数据分析头绪，起到快速故障定位、深度问题分析的效果。
基于灵活的MATRIX-SDN数据采集监控网络，流量快照技术可用于监控分析日益扩大、业务日益增多的网络的运载状况，及时发现、解决网络故障/异常现象；了解网络资源负载情况、应用使用的趋势状况，以便及时的进行网络优化，并提供长期趋势分析图表，为网络规划提供参考。
在NPB的典型应用场景中，最让管理员头疼的莫过于因为镜像报文及NPB组网拥塞而产生丢包的问题。NPB的丢包会让后端分析工具出现以下典型现象：
企业IT网络安全/运维管理中，像我这样的网络安全/运维管理人员时常会遇到流量数据快速交付的压力和挑战。
在IT网络安全/运维管理中，当遇到网络安全/运维分析设备上线时，需要网络位置的某些IP段的流量的需求时，我们安全\运维工程师就比较痛苦。
在企业IT网络安全/运维管理中，当遇到护网行动、应急演练、方案验证、新设备上线，这些特定的场景需要快速的流量数据管理分发需求时，需要某个网络位置的关键IP段的流量场景下，安全/运维工程师们需要通过传统的TAP实现方式来回折腾。
说了这么多遇到的麻烦和头疼的问题，直到我找到了解决办法，下面就是我给大家介绍的“良工利器”！
各路“入侵检测”、“专项审计”、“态势感知”、“攻击溯源”、“病毒监测”、“APT攻击检测”、“NPM”、“APM”、“大数据分析”都能够保证流量数据各取所需，快速精准交付！
再多、再复杂的流量数据分析设备都可以快速上线啦！
全网数据采集，MATRIX-SDN流量数据采集网络将分散的光、电链路以及在线分光、旁路镜像、云计算/虚拟化环境下虚拟TAP等多种方式进行集中、全网流量数据采集，实现用户现网全量的原始流量数据捕获。
先进的组网技术，将传统的流量采集硬件设备SDN化，为流量数据统一采集与分发提供了灵活的组网能力；可以支持网状、CLOS、半网状等多种灵活的组网，可完美适应不同规模的旁路流量数据的组网。
按需流量数据交付，在规划了采集节点并通过分布式流量采集单元进行流量采集之后，流量的输出可以是非常灵活而且自动化，基于构建的MATRIX-SDN流量数据采集网络。
（1）汇聚输出一个或多个网络位置采集流量输出。
（2）将一个或多个网络位置流量输出至一个单元/端口。
（3）基于流量数据类型流量策略输出至不同的单元/端口。
MATRIX-SDN管理平台实现了面向用户网络平面拓扑、采集平面拓扑、分析平面拓扑的一体化拓扑视图，轻松掌握流量数据的来源位置，流量数据的采集方式（镜像/分光/TAP），面对新的流量数据交付需求，用户可以快速找准流量数据来源位置【采集点】。
一条策略实现流量穿越，再也不用来回配置！
逐跳流量穿越细节完整可视，满足技术细节掌控需求！
趋势可视-验证流量大小：
流量数据交付分发策略配置后，直接点击策略元素中的“任意采集点”、“输出目标”、“策略对象”链接，可以立即显示相应对象的流量趋势状态；
简单直接的“流量交付策略集成”用户交互UI设计，一个界面内可实现快速检查校验，提升用户使用效率：
采集点源头流量是否正常？
策略命中流量有没有？
输出接口流量有没有？
内容可视-验证流量正确：
通过MATRIX-SDN平台内置的高效运维工具-“流量快照技术”，可实现对全网任意采集覆盖位置的流量进行实时的报文捕获及实时深度内容分析，实现内容可视，解决流量交付过程中的“数据内容确认”问题。
MATRIX -SDN流量数据安全管控平台围绕快速流量数据交付从“流量数据位置来源可视”、“流量数据内容可视”、“流量数据策略可视”、“流量数据趋势效果可视”狠下功夫，解决一线流量数据运维人员的实际“流量数据交付慢”的痛点，提升流量数据交付管理效率，降低运维成本。
近年来，随着人工智能、云计算、5G等技术的兴起，也让信息安全领域和IT运维领域的流量数据可视化发展成为不可或缺。不论是安全运营，威胁情报，态势感知都需要依赖流量数据为之作分析和运维依据。从而帮助技术人员进行更有效更智能的分析。网络流量数据可视化简单的说即网络中的摄像头，对网络流量来源\去向进行监管、分析与挖掘。利用人类视觉感知系统，将网络数据以图形化方式展示出来，快速直观地解释及概览网络数据，一方面可以辅助用户认识网络的内部结构，另一方面有助于挖掘隐藏在网络内部的有价值信息。
为了对网络流量进行分析，首先必须对网络流量进行采集。为了不影响生产网络的运行，我们就需要在独立于生产网络之外额外部署一套数据采集网络。数据采集网络通过交换机和路由器上的分光和SPAN(端口镜像)复制生产流量，将流量导入至对应的流量分析/监控工具中进行分析监控。
但是传统监控网络体系结构也有很多缺陷。其高昂的价格使其难以在一些预算有限的用户环境中普及。同时由于其封闭性，使得个TAP之间很难进行互联从而形成TAP和工具孤岛，也较难满足现代数据中心的大规模组网要求和集中可视化管理要求：
MATRIX-SDN平台基于SDN技术的流量数据可视化管控平台，实现流量数据可视化采集、展现及流量数据的管理和控制策略上可视化 ：
网络三位一体拓扑可视化
流量分发策略便利的实时查看可视化
采集点流量的实时查看可视化
流量分发策略可视化
MATRIX-SDN流量数据集中管控平台，可对采集节点、输出节点、策略、业务对象的当前/历史流量趋势进行查询，从宏观、微观角度向用户清晰的展现每时每刻网络中任意位置的流量变化态势，从而达到对全网全局流量可视化的目的。通过可视化统一展现。基于用户需求采集点、输出点、业务流量趋势、链路流量趋势等数据源，基于高清屏幕展现统一监控视图，让您对网络流量数据状态一览无余。
综上所述，随着用户IT环境的日益复杂，用户需要更多便捷的手段和方法来对其流量数据进行了解和掌控，网络流量数据可视化就是其中最有效的手段之一。利用MATRIX-SDN流量数据管控平台解决方案，通过分离逻辑网络与物理网络并实现集中可视化控制，有助于增强流量采集网络的实时智能和应用程序感知能力，并赋予数据中心更高的运维效率和安全水平，为用户实现快速、便捷的安全/运维数据中心铺平了道路。优质的IT流量数据管理系统能够协助企业整合优化企业信息资源和服务、提高生产率和竞争力，是为企业创造更多价值的有力保障。
现有的业务环境涉及众多网元、主机、PC、数据库、中间件等组成。因为安全、优化与运维需求，需要进行网络流量采集与分析。
客户端对某业务系统的访问，涉及客户端发起、服务器响应、建立连接、数据传输、上下文关联、经过安全策略、途径网元节点等诸多环节。为了实现对交易的综合管控，需要进行逐个节点的流量数据采集与完整性监控分析。本示意采集现场的部署方式是：交换设备流量通过端口镜像输出，防火墙通过分光器输出，经过TAP进行流量采集与汇总，将流量数据发送至分析工具。对应访问路径点的网络流量采集示意如下：
多点流量数据的采集与汇总，会产生重复流量数据，也有数据乱序的可能。
图a.环境的端口镜像因为进行了双向流量采集，进\出交换机端口的两次流量，会让分析系统接收到2份重复数据。
图b.环境的的流量采集与汇总，发送到分析工具的数据，会让分析系统接收到7份重复数据。
常规情况分析工具难于区分重复流量数据，多次获取相同的报文会让分析工具理解为网络重传行为或者是多次业务交易行为。
以wireshark接收到的数据分析为例，对存在重复数据的报文进行分析，内部出现了大量的TCP 重传和ACK重复确认信息。
多点流量数据采集与流量汇聚场景，相同流量数据按照既定队列通过TAP进行汇聚。
汇聚流量数据时，如果经过第1台设备的会话队列信息还没有结束，第2台设备又开始发送相同的会话队列信息，则两条队列的流量数据可能交织在一起，单独看每条队列的报文信息是完整无误的。然而分析工具无法区分两条队列的报文差异，导致分析工具会认为网络通信中存在TCP乱序问题。
以wireshark接收到的数据分析为例，对存在流量汇聚的报文进行分析，内部出现了TCP乱序信息。
因为分析系统无法有效识别重复报文，给出如此分析结论，会干扰工程师对问题的判断。
所以，TAP设备会提供去重功能，进行报文去重处理。
TAP设备去重功能，确保分析系统能正确处理流量数据。
TAP设备将采集到的报文逐个比较，如果发现有重复现象，后进入的重复报文将被丢弃。通过TAP去除重复数据再输出，可以让分析工具正常解析流量信息，同时也为分析工具卸载。
复杂业务场景往往涉及路由、交换、NAT、防火墙、负载均衡等多个环节，这种应用场景每个环节的问题都可能影响整个业务交互。交易路径的分析与管理，无论是在运维层面、安全访问策略层面、网络优化层面都是用户管理的重点和难点。
重复数据是业务交易关键点的数据交互证明，有效利用重复数据是进行路径分析的基础。
要实现路径分析，需要TAP实现并在报文中涵盖如下信息：
经过TAP设备的全网采集、位置区分、时间戳和数据关联就可以实现交易路径的完整追踪与管控。
在业务交互环境，利用全网的路径分析功能，可以实现：业务交易的路径追踪、防火墙策略配置分析与验证、NAT地址转换分析、路由交换路径验证、负载均衡配置、网元交互时间延迟或者抖动等问题的分析与监控，能够清晰完整的展现数据传输过程。
成都数维Matrix-SDN流量数据安全解决方案同时涵盖了流量数据的去重与路径分析考虑。
在网络宏观态势可视化感知的基础上，通过可视化分析系统与流量采集网络的协同工作，一旦网络出现异常时，通过路径分析将任意采集点的任意类型流量进行“拍照/录像”处理，准确保存网络多个位置的异常现场数据。
基于路径分析与其衍生的“流量数据快照技术”，异常状态现场的数据规模被缩小到数GB级别，基于网络智能专家分析技术，分析系统将对比不同网络位置的数据包的行为来协助用户精准定位异常故障点。通过多点数据的综合精细关联分析，完整展现出每个数据包如何穿越网络的路径，异常数据包在哪里发起，在哪里丢失等难于解决的问题。
根据不同维度的路径分析需求，同时可以实现：
有效识别与跟踪报文在网络内的标准三层路由、交换过程；
有效识别与跟踪报文在网络内的源/目的NAT过程，无需取得现网设备上的实时NAT会话表；
有效关联负载均衡、防火墙等处理设备的前后会话关联，包括TCPSEQ修改与重组关联；
精确分析同一报文在两个不同采集节点位置的处理过程转发时延；
对应分析上下游设备的厂商标识，帮助用户识别与梳理拓扑与数据包之间的关联关系。
等保2.0全称网络安全等级保护2.0制度，是我国网络安全领域的基本国策、基本制度。等级保护标准在1.0时代标准的基础上，注重主动防御，从被动防御到事前、事中、事后全流程的安全可信、动态感知和全面审计，实现了对传统信息系统、基础信息网络、云计算、大数据、物联网、移动互联网和工业控制信息系统等级保护对象的全覆盖。
近年来，随着信息技术的发展和网络安全形势的变化，等保1.0要求已无法有效应对新的安全风险和新技术应用所带来的新威胁，等保1.0被动防御为主的防御无法满足当前发展要求，因此急需建立一套主动防御体系。等保2.0适时而出，从法律法规、标准要求、安全体系等方面都有了变化。
从条例法规提升到法律层面。等保1.0的最高国家政策是国务院147号令，而等保2.0标准的最高国家政策是网络安全法。
对云计算、物联网、移动互联网、工业控制、大数据新技术提出了新的安全要求。标准覆盖度更加全面，安全防护能力有很大提升。
等保2.0相关标准依然采用“一个中心、三重防护”的理念，从之前被动防御的安全体系向事前防御、事中相应、事后审计的动态保障体系转变。建立安全技术体系和安全管理体系，构建具备相应等级安全保护能力的网络安全综合防御体系，开展组织管理、机制建设、安全规划、安全检测、通报预警、应急处置、态势感知、能力建设、技术检测、安全可控、队伍建设、教育培训和经费保障等工作。
随着等保2.0的不断实施，围绕着网络运维、安全分析、业务运维的需求不断面临新的挑战，“流量数据”检测已被推荐为等保2.0安全手段，对网络流量进行实时监控、分析。基于流量数据的广度分析、深度分析的技术手段在网络监测与分析、安全威胁检测与分析、业务监控与分析领域发挥了日益重要的作用，这为企业的旁路流量数据管理本身带来了显著的需求增长。同时众多维度的分析工具也使得安全及运维人员管理带来巨大的挑战。
安全检测方面：系统、设备、流量、链路、威胁、攻击、审计等方面都涉及到流量数据分析，对应到网络安全产品上就是APT、IDS、数据库审计、网络检测等都是需求流量数据做支撑，而部署的安全设备所检测的都是单一节点的流量数据，而且多维度安全检测工具也使得交换机设备无法满足。没有真正意义上的做到流量数据全面的检测，只是达到一个形式的安全检测目的。同时就安全而言把一台设备上的全流量数据镜像给这些形式上的安全设备后，一方面造成安全分析设备性能压力，另一方面对流量数据的安全性也无法保证。
态势感知方面：海量数据采集、精准检测能力、全局可视能力、协同响应能力方面都涉及流量数据，都需要全网流量数据做分析依据。而对应的态势感知设备单一的部署与某一个通信节点处就会造成流量数据无法采集全网全流量及全网全局可视，并且虚拟化环境下的流量数据更是无法获取。这样就无法形成有效闭环的协同响应能力，无法从根本上满足等保2.0中对应需求。
如上图所示，等保2.0建设下基于流量数据为支撑的安全分析工具（入侵检测、WEB审计，数据库审计、病毒检测、日志审计、态势感知）等都需部署与网络之中，从而使得在流量数据管理中带来如下难题：
应对等保2.0流量数据管理需求，日益复杂的流量数据位置、内容的管理需要，MATRIX-SDN采用“面向流量数据”的设计方式，一切从“流量数据”本身出发，对企业网络内的流量数据做全方面的采集流量数据管理，才能夯实流量数据基石，支撑IT系统的运维/安全业务需求，真正意义上满足等保2.0中流量数据安全管理需求。
流量数据管理平台已被证实在日常信息安全和网络运维以及重保活动中发挥了关键作用。企业应当重视流量数据管理，不仅仅因为等保2.0测评要求提出了新标准，更是因为流量数据管理的重要性在全球化网络环境中正在越来越清晰地体现出来，“知己知彼，百战不殆”，此次等保2.0测评对于流量数据管理的要求，正体现了国家对于建设网络安全环境的重视，像流量数据管理这样的新技术在网络安全行业中的应用和普及已经成为必需，对企业网络安全、社会网络安全和国家网络安全都有着重要意义。
回溯分析-等级保护2.0时代的必备工具
网络安全等级保护制度2.0标准正式发布，并且大力开始实施。“流量数据”检测已被推荐为安全手段。在安全检测方面：系统、设备、流量、链路、威胁、攻击、审计。态势感知：海量数据采集、精准检测能力、全局可视能力、协同响应能力。《信息安全技术 网络安全等级保护测评要求》中，首次提出了对“流量回溯分析系统”和“流量存储”的要求。我们将分别从产品功能和技术要求的角度，介绍等级保护制度2.0中的流量回溯分析系统。
流量数据回溯分析系统是一类网络安全基础设施，一个合理且完备的流量数据回溯分析应该包括数据调查、追溯、取证三个阶段。对网络流量进行实时监控、分析，人工智能学习，流量数据存储。发现隐藏在海量流量中的可疑活动与安全威胁，帮助企业安全团队精准检测失陷(被控)主机 ，定位攻击，追溯攻击链，防止攻击者进一步破坏系统或窃取数据。
从系统架构上讲，流量回溯分析系统至少需要具备如下模块：
从功能角度讲，流量回溯分析系统需要具有如下特点：
流量回溯分析系统的首要作用，就是基于告警，补足传统边界防护设备在防御上缺失的环节，在关键的“命令与控制”、“横向移动”和“行动数据窃取”等环节中发挥作用，快速检测出正在进行的威胁，并结合流量分析和网络监控，迅速、精准定位被控主机。
流量回溯分析系统的核心能力是应用多种检测机制在网络流量中发现异常流量信息。检测机制包括应用访问关系分析、回溯流量趋分析、回溯流量统计分析、回溯包长分布分析、回溯地理位置分布统计、回溯会话分析、回溯会话统计分析、回溯数据包分析、回溯TCP会话质量分析、回溯TCP会话异常分布分析等多种方法。利用以上分析方法，不仅定位内部机器被控情况，也能够上下关联全阶段追踪网络威胁，及时发现网络内部的恶意行为，并检测出数据窃取、破坏系统和业务连续性等恶意行为。
流量回溯分析系统能够清晰地归类威胁事件，并根据威胁情报提供丰富的威胁事件上下文信息，从而以攻击链的角度绘制出主机的行为，并通过可视化的方式将发现的失陷告警、关联主机、威胁类型、等进行关联展示，呈现当前组织内的所有失陷情况及关联威胁。
流量数据作为用户IT业务行为的直接体现，流量数据回溯分析可以依据流量数据提供用户IT行为，结论，依据和凭证。网络异常访问行为或者攻击事件产生的流量可能转瞬即逝，通过抓取网络流量，提取需要关注的部分和进行事后的多维度分析；对于用户关键业务系统、应用和网络行为异常，实现实时发现、分析和回溯，具有现实意义。
MATRIX-NetInsight网络回溯分析系统组件，包括：
MATRIX-NetInsight支持网络流量全量采集、存储和回溯分析，广泛应用于审计取证、应对未知威胁等领域。
回溯流量趋分析，总流量、指定业务、指定IP地址、指定网络协议、指定应用协议的流量趋势展现；数据传输率/包传输率/并发连接数/连接频度的展现；折线图/堆积面积图等方式的展现。
回溯流量统计分析，业务、IP地址、网络协议、应用协议的流量Top10展现；字节总数、发送字节数、接收字节数、包总数、发送包数、接收包数、连接总数、最高并发连接数、最高连接频度的统计展现；柱形图/环形图等方式的展现。
回溯包长分布分析，指定网络协议、应用协议的数据包包长分布的分析展现；柱形图/环形图加列表方式的展现。
回溯地理位置分布统计，统计对象为字节数/包数/连接数/连接频度的地理位置Top10统计展现；柱形图/环形图加列表方式的展现。
回溯会话分析，TCP及UDP网络会话的分析展现；展现建立时间、结束时间、时长、服务器IP、客户端IP、服务器端口、客户端端口、传输层协议、应用层协议、总字节数、服务器字节数、客户端字节数、服务器包数、客户端包数、平均包长及会话状态；上述数据的模糊查询功能。
回溯会话统计分析，针对指定业务或IP的会话统计功能，统计对象为访问该业务或IP的客户端的流量或连接数；柱形图/环形图加列表方式的展现。
回溯数据包分析，数据包原始内容的展现；数据包的分层解析和展现，包括以太网帧、IP报文、TCP/UDP报文的结构和偏移解析等。
针对业务和IP的访问关系分析，图形化展现特定业务或IP的访问关系；关键业务名称，IP地址，传输层协议，应用层协议，端口模糊查询。
回溯TCP会话质量分析，TCP会话质量分析功能，包括尝试建链、建链成功、建链成功率、建链无响应、连接重置、连接重置率、重传数、重传率、零窗口、平均建链时长、最低建链时长、最高建链时长及RTT等。
回溯TCP会话异常分布分析，包括重置、重传、零窗口各指标时间分布的图形化展现。
根据等保2.0要求，事后审计、回溯、取证是网络安全分析的重要内容。等保2.0中涉及的系统网络和通信安全部分，可通过部署流量回溯分析系统，实现对网络攻击的检测和分析能力，特别是未知的新型网络攻击。现有安全分析工具，因为功能设计和数据通用性的考虑，通常自身不具备原始流量数据存储功能，用户在进行攻击溯源时，要求发现、追踪、取证，会遇到极大的障碍。基于以上原因，用户迫切需要流量回溯分析能力，用于解决网络事件溯源取证需求，同时可以应对新型网络攻击。流量回溯分析系统在网络安全中的应用和普及已经成为必需，对企业网络安全、社会网络安全和国家网络安全都有着重要意义。
随着中国社会及经济的发展，企业信息化程度的不断提升，网络的架构已经发生翻天覆地的变化。基于信息化程度的提升使得信息化系统、应用的架构不断演进，从而对企业网络架构、企业IT资产运维、企业信息安全管理手段提出了更高的要求。基于“流量数据”本身的丰富数据内涵，决定了“流量数据”的分析价值。在信息化/网络化不断发展的过程中，围绕流量数据的“信息安全分析”、“业务健康分析”、“IT运维大数据分析”等不胜枚举的多维度分析已经在各行各业的IT信息化中得到广泛应用，强有力的保障了企业信息安全及IT系统正常运行。
本文首先简要回顾了迄今为止流量数据管理的三个阶段。然后，将介绍第三阶段流量数据管理架构创新：即流量数据可视化管理（Matrix-SDN），以及推动大型企业采用它的技术力量和运营挑战。
流量数据管理是专门建造的一种基础架构，将业务网络的流量数据输出给安全\运维分析工具。它是连接业务网络和安全\运维工具的桥梁。流量数据管理技术到现在有十几年的发展历史，大概经历了几个发展阶段。第一个阶段是流量数据获取阶段，为解决网络设备端口镜像不足；第二个阶段是流量数据预处理阶段，对流量数据进行预处理，提高流量数据的安全性和优化安全\运维分析工具的效率；第三阶段由于现代IT架构下业务场景的需要，流量数据管控阶段。对流量数据整体的梳理，以数据为核心管理。 在过去二十年里，一波又一波迅猛涌现的技术创新浪潮极大地提高了流量数据管理的技术水平。
需求：流量数据无法获取、端口镜像不足、安全监控工具的增长、运维工具的发展。
特征：流量复制、流量汇聚、流量分流、流量过滤。
描述：TAP交换机通过串接或并接在网络中，采集网络镜像或者分光的流量数据，可复制到多个端口、或把多条数据汇聚到个别端口，再给后端需要对流量进行分析、监控的系统应用，还可以根据一定规则过滤出分析平台想要的镜像流量数据。
需求：流量数据特殊要求、动态流量数据获取，支撑运维排障。
特征：去重、脱敏、截短、时间戳、封装/解封装、隧道内层识别与匹配、DPI数据分类识别。
描述： TAP交换机，不只是对镜像数据进行“汇聚、分流、过滤”，还可以更高功能比如“去重、脱敏、截短、时间戳、封装/解封装、隧道内层识别与匹配、DPI数据分类识别”等处理，再将处理过的镜像数据给后端分析工具。满足流量数据特殊要求，支撑运维。
需求：围绕流量数据的管理，满足流量需求基础上的管控、国家安全战略的提出和贯彻。
特征：数据为核心的管理（数据分发、数据处理、数据监控）、智能，灵活的流量数据管理、大数据展示，节点流量多维度AI分析、异常监控，分析一体化。
描述：随着流量数据需求增加。流量数据的集中采集、自由组网、统一分发，实现流量数据内容的识别、基于内容的分类管控和分发，最终形成一套“面向流量数据”的流量数据管控实现流量数据大数据展示，节点流量多维度AI分析、异常监控，分析一体化平台。
得益于先进的SDN技术理念，创新性将SDN技术应用于流量数据的集中采集、自由组网、统一分发，并结合先进的NP+ASIC的芯片解决方案，实现流量数据内容的识别、基于内容的分类管控和分发；实现” “采集平面” “网络平面” “分析平面”的三平面架构。最终形成一套“面向流量数据”的Matrix-SDN流量数据管控平台，为企业的流量数据管理提供完美的解决方案，为未来的流量数据需求管理铺平道路，如“流量数据中台”“流量数据安全管控” “快速流量交付”等方面。
以SDN技术为核心，以“控制面”、“数据面”分离的先进架构为指导思想，将传统的流量采集硬件设备SDN化，为流量数据统一采集与分发提供了灵活的组网能力。
MATRIX-SDN管理平台实现了面向用户网络平面拓扑、采集平面拓扑、分析平面拓扑的一体化拓扑视图，并对三平面拓扑之间的互联关系实现了互联集中一体化展现。管理人员面对复杂纷繁的流量采集来源、流量输出逻辑关系可以在平台中实现完美的可视化视图展现与管理，极大的减轻了管理人员的工作量。
MATRIX-SDN平台引领行业趋势，摒弃“面向设备管控”的传统思路，实现“面向数据管控”的流量数据集中管控。用户可以基于网络流量数据的不同内容分类对流量数据实现更精细化、更为灵活的数据交付，为网络信息安全分析/IT运维分析构建坚实基础；减小流量数据泄密风险，提升数据安全性。
MATRIX-SDN为您提供随心所欲的数据探查功能，通过MATRIX-SDN平台上对任意已覆盖的采集点位置执行动态数据探测，直接探测是否存在故障通信端点是否有通信行为，排除客户端配置不正确问题。多节点同时探测指定通信端点双向通信行为，进一步定位网络/安全设备策略配置问题。基于多元组的数据过滤功能，基于MATRIX-SDN提供的灵活的数据探测之手，让运维人员随时随地获取想要分析的原始数据。直接最有效、最高效率的手段定位和解决故障。
结合MATRIX-SDN流量数据采集网，在Vmware、OpenStack、Hyper-V环境下虚拟机之间东西向报文采集部署Vtap流量采集软件，通过Vtap软件，可以实现对传统方式无法采集的虚机之间的报文的采集，解决虚拟化/云网络流量数据获取困难，实现“东西向流量全面覆盖”的流量数据集中管控。为业务分析/安全检测分析构建全面覆盖的东西向流量数据。从而实现完全意义上的流量数据全面覆盖采集、统一集中管控，流量数据可视化。
通过全网多节点流量数据采集、实时报文/业务统计，产生基于不同网络位置节点、不同业务数据流、不同报文特征（单/组/多播、包长、标记）等多个维度的周期性网络/业务表征数据，并将表征数据输入AI模型进行训练，经历数个训练之后，多层神经网络算法将自动在内部形成正常状态下的各个表征数据的内在函数关系模型，并以此模型对异常网络/业务状态下数据表征作出准确的判断和预警；基于AI的预警能够有效的感知企业网络内的业务或网络异常表征，在第一时间作出有效预警，为IT运维支撑人员争取提前反应时间，同时触发系统的流量快照现场数据捕获，有效提升故障解决效率。
融合先进的SDN技术及先进的NP+ASIC的芯片构建科学的流量数据采集网，应对日益增长的流量数据需求，日益复杂的流量数据位置、内容的管理需要，采用“面向流量数据”的设计方式，一切从“流量数据”本身出发，对企业网络内物理网络和云网络的流量数据做全方面的采集，实现流量数据全面覆盖，消除监控盲点。并且基于业务数据类型梳理流量数据，以不同的业务交互数据流具有的数据敏感特性、业务交互特征、协议特征具有良好的聚合性。以于不同的业务系统建立不同的分类流数据，并以不同的分类进行流量数据的分发管理控制，以“最小化数据权限”原则向不同的流量数据分析工具提供流量数据，从而降低流量数据安全风险，提升流量数据安全性。实现统一展现现网逻辑拓扑架构，清晰展现流量数据采集点所在现网逻辑位置和采集方式，统一展现流量采集网本身拓扑架构，对采集单元的工作状态、流量分发状态进行实时监控和管理。从而做到流量来源、处理过程、去向可视化三位一体的逻辑拓扑。清晰展现流量采集位置，处理策略，输入输出信息，使流量数据的管控策略从复杂转变为简单。实现流量数据动态获取，提供的灵活的数据探测之手，方便的数据探查功能，对任意已覆盖的采集点位置执行动态数据探测，直接探测通信端点的流量数据信息，让运维人员随时随地获取想要分析的原始数据，是有力的安全运维支撑工具，直接最有效、最高效的手段定位和解决故障。夯实流量数据基石，真正支撑IT系统的运维/安全业务需求。
随着云计算技术的不断发展，传统网络架构已经无法满足现有的业务需求，网络数据中心越来越多应用系统从原来的物理机迁移至云平台，数据中心的云环境东西流量呈显著增长。网络流量采集分析已经成为数据中心基础设施不可缺少的分析手段，通过网络流量深度分析，我们能够更直观地加快故障定位、分析应用数据、协助优化定位，加快故障定位。网络流量采集也是一门学问，做得好会在关键时刻起作用，流量采集可不是简单地将几个网络设备端口的流量镜像一份发给分析服务器就了事，要建立一个覆盖全面、合理有效的流量采集网络，这样的流量采集才能有助于优化网络和业务性能指标，减少故障发生概率。
传统物理流量采集网络无法对云计算环境东西向流量进行直接采集，导致云计算环境中的业务流量成为盲区:
（1）云计算环境东西向流量无法直接采集使在云计算环境的应用系统无法部署基于实时业务数据流的监控探测，我们不能及时发现云计算环境中的应用系统的业务真实运行情况，给云计算环境中的应用系统的健康稳定运行带来一定隐患;
（2）云计算环境东西向流量无法直接采集使虚拟环境中的业务应用发生问题时无法直接提取数据包进行分析，给故障定位带来一定困难;
（3）随着网络安全和各类审计要求越来越严格，如BPC应用交易监控、IDS入侵检测系统、邮件以及客服录音审计等系统，对云计算环境东西流量的采集需求也越来越迫切。
基于以上情况，实现对云计算环境东西流量数据提取成为必然趋势，我们必须与时俱进引入新的云计算环境东西向流量采集技术以使部署在云计算环境的应用系统同样可以拥有完善的监控支持，在发生问题和故障时可以采用抓包的手段进行问题的分析和数据流的跟踪。实现云计算环境东西向流量可提取可分析，是保障云计算环境部署的应用系统稳定运行的有力法宝。
云计算环境中流量未被物理网络的监测探针捕获使监测虚拟化系统带来难点，而目前能够实现云计算环境内流量监测的解决方案根据计算节点上可部署采集点的位置，云计算环境下的虚拟机流量采集模式可分为网元采集模式、Agent模式、虚拟机模式，对比说明如下:
在虚拟环境下部署vTAP流量采集软件，资源占用低并且具备完整的流量预处理能力。vTAP流量采集软件部署实施时无需对现有系统进行改造，对生产系统的依赖和影响降到了最低。
通过帮助用户构建高性能采集器，提高了虚拟化资源的利用率和虚拟化服务的安全性，实现精细化地管理客户服务，降低虚拟网络运维的复杂度，让企业更专注于业务的发展。
在云计算环境流量采集网络主要由流量采集管理平台和部署在虚拟化平台物理宿主机上的采集虚拟机（vTAP）两部分组成，结合MATRIX-SDN流量数据采集网，在虚拟化环境下虚拟机之间东西向报文采集部署vTAP流量采集软件，通过vTAP软件，实现“东西向流量全面覆盖”的流量数据集中管控。vTAP软件部署实施时无需对现有系统进行改造，满足虚拟化网络环境中部署零依赖、策略零干扰、资源消耗低等特性。
MATRIX-SDN平台面向云端业务，支持用户根据应用和服务自定义精细的过滤策略，减少不必要的采集消耗。支持VMware、OpenStack、Hyper-v虚拟化环境的部署。基于逻辑网络对象、业务对象的流量分发，与其他功能组件完全解耦，采集的数据可与任意流量分析工具对接，进一步降低用户的运营成本。通过网络拓扑、虚拟网络流量统计，以360度视角呈现虚拟网络的全景视图，帮助用户梳理东西向流量与虚拟机的对应关系。其创新点及应用价值有以下几点：
融合先进的SDN技术及先进的NP+ASIC的芯片构建科学的流量数据采集网，基于“虚实结合，一体化云采集”的能力，全面解决数据中心虚拟化/云网络的大量应用，虚拟服务器间的数据交互可能仅体现于同一服务器内部的内存数据交换，虚拟化/云网络流量数据获取困难，为业务分析/安全检测分析构建全面覆盖的东西向流量数据。从而实现完全意义上的流量数据全面覆盖采集，消除监控盲点。并且基于业务数据类型梳理流量数据，以不同的业务系统建立不同的分类流数据，并以不同的分类进行流量数据的分发管理控制，以“最小化数据权限”原则向不同的流量数据分析工具提供流量数据，从而降低流量数据安全风险，提升流量数据安全性。统一展现现网逻辑拓扑架构，清晰展现流量数据采集点所在现网逻辑位置和采集方式，统一展现流量采集网本身拓扑架构，对采集单元的工作状态、流量分发状态进行实时监控和管理。从而做到流量来源、处理过程、去向可视化三位一体的逻辑拓扑。清晰展现流量采集位置，处理策略，输入输出信息，使流量数据的管控策略从复杂转变为简单。流量数据动态获取能力，提供的灵活的数据探测之手，方便的数据探查功能，对任意已覆盖的采集点位置执行动态数据探测，直接探测通信端点的流量数据信息，让运维人员随时随地获取想要分析的原始数据，是有力的安全运维支撑工具，直接最有效、最高效的手段定位和解决故障。实现流量数据可视化，统一集中管控。
VTAP虚拟采集模块（软件化） - 运行于云平台实现机上，以虚拟化软件形式展现，实际上它是一个虚拟机，负责从VSWITCH收取数据包，进行二次隧道封装后发送给物理汇聚分流设备或者外部其它分析设备。主要实现功能要点：
a) 接收来自于vswitch/OVS层的镜像流量，实现流量数据的收取及二次隧道封装，并引流至VPP系列可视化管控设备单元进行统一流量管理。
b) 实现收取流量的数据包解码，基于用户控制策略实现特定报文的七元组过滤，执行流表跟踪，基于不同的数据流表实现不同的数据包动作处理。
c) 实现数据流的压缩处理功能，包括基于不同的数据报文类型的数据包去重、截断等处理。
随着IT信息化的发展，信息安全领域和IT运维领域的网络流量数据分析成为不可或缺。进行“网络流量分析”的底层基础是对网络中实时传输的数据报文进行采集，根据对原始数据包中的相关信息的解析进行进一步的统计分析，如网络性能分析（NPM）和业务性能分析（APM），前者是针对网络性能指标，诸如：带宽、时延、抖动、丢包、重传、拥塞、网络攻击等进行分析统计和故障定位，后者主要根据数据报文所承载业务的具体特性，分析业务质量。“报文去重”的含义就是去掉采集到的重复报文，而在数据采集的过程中，“报文去重”有着重要的应用价值。
现有的业务环境涉及众多网元、主机、服务器、数据库、中间件等。客户端对业务系统的访问，涉及客户端发起、服务器响应、建立连接、数据传输、上下文关联、经过安全策略、途经网元节点等诸多环节。为了实现对交易的综合管控、安全、优化与运维需求，需要进行逐个节点的流量数据采集与完整性分析。本示意图采集现场的部署方式是：交换设备通过端口镜像输出，防火墙通过分光器输出，经过流量采集系统采集与汇总，将流量数据发送至分析系统。
从客户端发往服务端的数据报文packet，经过网络的传递，对于网络分析系统来说，通常会在全网布设多个数据采集点，于是在各个采集点分别会捕获到报文P1、P2、P3、P4、P5，这些报文都是与原始报文packet相关的报文，称同源报文。因为处的网络位置不同，所以报文的封装以及一些特征字节存在差异。报文 P1 和报文 P2 是在同一条链路上的两个采集点通过镜像方式采集，这两个报文完全相同。报文P3与报文P1和P2相比较，报文承载的Payload 相同，P1 和P2数据包存在 VLAN tag，P3没有VLAN tag。报文P4与报文P3相比较，因为经过了一台路由设备转发，数据包IP地址、MAC地址、IP_TTL、IP_Checksum 等的值不同。报文P5的数据带有 GRE、MPLS、VxLAN 等隧道协议的封装， Payload 部分与报文 P4 相同。报文p6与报文P5相比较，因为经过了一台防火墙设备转发，数据包TCP seq、TCP ack等的值不同。上述各个同源报文根据实际应用中的需求定义均可称为“重复报文”，根据后端分析系统的需要，去除冗余报文。保留1份数据报文输出给后端的网络分析系统。
图A环境的端口镜像因为进行了双向流量采集，进\出交换机端口的两次流量，会让分析系统接收到2份重复数据。
图B环境的流量采集与汇总，发送到分析系统的数据，会让分析系统接收到6份重复数据。
汇聚流量数据时，如果经过第1台设备的会话队列信息还没有结束，第2台设备又开始发送相同的会话队列信息，则两条队列的流量数据可能交织在一起，单独看每条队列的报文信息是完整无误的。然而分析系统无法区分两条队列的报文差异，导致分析系统认为网络通信中存在TCP乱序。
NETTAP流量采集系统去重功能，根据报文重复的特点，以及分析系统的去重需求，将采集到的报文逐个比较，如果发现有重复现象，后进入的重复报文将被丢弃。只输出第一份数据，确保分析系统能正确处理流量数据，同时也为分析系统卸载。
TAP流量采集系统将报文的Sip、Dip、Sport、Dport、TCP seq、TCP ack、Payload等参数的原始信息作为去重标识，将报文去重标识计算出一个特定的指纹信息，首先比较报文标识所计算的特定指纹信息，如果指纹信息相同，然后再比较报文去重标识的原始信息，如全部相同，则判断为重复报文，只转发首个报文，去除后续重复报文。同时给去重标识所计算出的特定的指纹信息加一个收敛时间，如果在一个收敛时间段内没有进行报文比对，表示去重标识老化，则清空该去重标识。如果在收敛时间快要结束时有报文进行比对的话，将重置该去重标识的收敛时间。
隧道报文的去重（GRE/MPLS/VxLAN）等：隧道协议封装内部报文的去重，需要首先对报文进行去封装操作，然后再按照上述去重方法进行去重。
在IT网络中，通常出于业务运维和监管需要，会部署应用分析系统，这些系统往往从前端流量采集设备中获取指定的业务数据流进行多维度指标分析，如：业务响应率、业务连接成功率、交易量等信息。为覆盖不同的应用分析场景，需要业务流量在进入应用分析系统之前，对其基于采集节点部署现状、分析节点位置、分析目标等要求，进行不同手段的去重预处理：
如上图所示，NETTAP流量采集系统将所有采集节点流量统一收敛，并进行有效的去重后，再输出到后端应用分析系统。可确保应用分析系统获取到的报文与原网络传输的报文数量一致、结构完整，从而使指标分析结果与现网业务实际运行情况保持一致，实现准确有效的应用分析价值体现。
在应用分析的时候，当业务流量经防火墙转发时，出于业务流的安全考虑，会将报文的SEQ、ACK字段进行随机变更，按照常规的去重机制进行去重后输出，则会使（请求报文A，SEQ）、（响应报文B，ACK=SEQ’+1）这2种报文被输出。按照基于tcp_seq/ tcp_ack变化的去重机制进行去重后输出，则会使（请求报文A，SEQ）、（请求报文A，SEQ’）、（响应报文B，ACK=SEQ+1）、（响应报文B，ACK=SEQ’+1）这4种报文被输出，从而使得应用分析系统无法对其进行有效关联重组，造成指标分析偏差，分析的结果失准、误判等。
如上图所示，NETTAP流量采集系统将流表信息关联去重机制，将墙前的采集端口分组绑定的去重、墙后的采集端口分组绑定，由于墙前墙后的数据属实同一个流表，只是数据经过防火墙后报文SEQ、ACK字段不同，所以只保留首先进来的端口组（墙前）报文，后进来端口组（墙后）的报文由于与墙前端口组报文流表一致，则判定为重复报文，直接丢弃。从而满足应用分析系统对同一业务经过防火墙的报文有效关联分析。
在应用分析的时候，业务流量经防火墙转发时，防火墙不会将报文的SEQ、ACK字段进行变更，同时要对防火墙墙前墙后的数据分别分析时，需要将墙前和墙后的数据分类输出给后端不同的应用分析系统。此时按照常规的去重机制进行去重后输出，则无法实现数据分类输出。
如上图所示，NETTAP流量采集系统基于不同流量输入端口分组绑定的去重，可对不同网络位置区、不同应用业务监控节点、防火墙前后的流量进行细分处理，从而满足应用分析控系统对不同数据来源对象在同一业务路径上的分层监控分析。
对网络流量进行应用分析和网络分析的时候，需要对部分流量数据去重处理，部分流量数据切片处理，此时按照常规的全局去重机制进行去重后输出，则无法实现需求流量数据分类输出。
如上图所示，NETTAP流量采集系统基于不同流量匹配策略，可将不同特征/类型的报文分别独立进行预处理动作后，按需输出到后端不同数据需求的分析系统，从而实现将流量分类预处理深度下沉至策略级。
联系电话：400-8853-028 028-84776105 地址：中国 四川省 成都市 高新区天府软件园G4栋2层
Copyright
2020 NetTAP 成都数维通信技术有限公司 版权所有 中国·成都
