什么是网络流量 网络流量在哪里
网络流量是指能够连接网络的设备在网络上所产生的数据流量。就像要根据来往车辆的多少和流向来设计道路的宽度和连接方式一样,根据网络流量设计校园网络是十分必要的。
独立访客
UV(独立访客):即Unique Visitor,访问网站的一台电脑客户端为一个访客。00:00-24:00内相同的客户端只被计算一次。就像要根据来往车辆的多少和流向来设计道路的宽度和连接方式一样,根据网络流量设计校园网络是十分必要的。
“80 /20”规则
在传统网络中,一般将使用相同应用程序的用户放到同一工作组中,他们经常使用的服务器也放在一起。工作组位于同一物理网段或VLAN(虚拟局域网)中。这样做的目的是将网络上客户机与服务器之间产生的数据流量限制在同一网段中。在同一网段,可以使用带宽相对高的交换机连接客户机和服务器,而不必使用带宽相对较低的路由器。将大部分网络流粒?制在本地的这种网络设计模式,被称为“80/20规则”,即80%的网络流量是本地流量(采用交换机交换数据),在同一网段中传输;只有20%的网络流量才需要通过网络主干(路由器或三层交换机)。
“80/20”规则中的“80”和“20”不能简单地理解为数字,应该理解为网络流量分布的方式,即大部分网络流量局限在本地工作组,小部分流量通过网络主干。因此在实际网络设计中,只要大部分网络流量在本地、小部分网络流量通过主干,就认为它符合了“80/20”规则,而不管实际的数字比例是多少。
应用
校园网中,纯软件多媒体电子教室就是一个符合“80/20”规则的小型网络。多媒体网络教室主要在同一教室或教学楼内使用,多采用多播(Multicast)和广播(Broadcast)方式由教师机向学生机发送多媒体数据,因此会产生很多数据流。如果不加以处理,数据流将形成“广播风暴”,扩散到网络的其他地方,因此需要将多媒体网络教室所在的网段划分成一个独立的子网,以抑制广播风暴的产生。
“20/80”规则
随着网络应用的逐渐丰富,“80/20”规则已经不能完全满足网络设计的需要。而一种被称为“集中存储、分布计算”的模式逐渐得到推广。集中存储,就是数据集中在网络中心存储,如已经得到普遍使用的Web服务、电子邮件系统和逐渐流行的VOD(视频点播)、多媒体资源库、教育数据中心(EDC)、数字图书馆等;分布计算,就是数据被下载到各个工作站上处理,如使用网络上的多媒体资源库制作多媒体课件、浏览数字图书馆等。在“集中存储、分布计算”的网络应用模式下,对网络流量的要求已经大大偏离了“80/20”规则,一种新的规则应运而生,这就是“20/80”规则。
在符合“20/80”规则的网络中,只有大约20%的网络流量局限在本地工作组,而大约80%网络流量经过网络主干传输。这种网络流量模式的转变,给校园网主干交换机带来了很大的负荷。因此理想状态下主干交换机应该能够提供与下面连接的支干交换机相匹配的性能,即提供线速三层交换,也就是说,下面的支干交换机能够跑多快,上面的主干交换机也应该能够跑多快。同样,如果网络中有许多按功能(如教学、科研、行政管理)划分的VLAN,这些VLAN也很难管理。在以往的“80/20”规则中,服务器往往分布在VLAN中,因此对于各工作组来说,访问起来比较快。但是在“20/80”规则中,服务器往往集中在网络中心,因此对于各工作组,必须实现跨VLAN的访问。
分类概念
很多网络应用具有自身的特性,对于网络环境的需求也不尽相同,因此只有对网络流量进行及时准确的识别和分类,才能准确地为不同应用提供合适的网络环境,有效利用网络资源,为用户提供更好的服务质量。网络流量分类的研究很广泛,使用的方法也很多,但主要是基于以下三个层面的:[1]
(1)Packet-level的流量分类:主要关注数据包(packet)的特征及其到达过程,如数据包大小分布、数据包到达时间间隔的分布等;
(2)Flow-level的流量分类:主要关注流(flow)的特征及其到达过程,可以为一个TCP连接或者一个UDP流。其中,流通常指一个由源IP地址、源端口、目的IP地址、目的端口、应用协议组成的五元组;
(3)Stream-level的流量分类:主要关注主机对及它们之间的应用流量,通常指一个由源IP地址、目的IP地址、应用协议组成的三元组,适用于在一个更粗粒度上研究骨干网的长期流量统计特性。
在上述三个层面的流量分类中,使用最广泛的是Flow-level的流量分类。这种以流为单位分析网络中传输数据的方法,是分组交换网络发展的必然需求。
评价指标
流量分类的一个关键度量标准是某个分类技术或分类模型对未知数据对象进行分类的准确率。通常用于衡量分类准确率的评估标准,主要包括以下四个方面:
真正(true positive,TP):表示被分类模型正确预测的正样本数,即属于类别A并被预测为类别A的样本数。
假负(false negative,FN):表示被分类模型错误预测为负类的正样本数,即属于类别A但被预测为不属于类别A的样本数。
假正(false positive,FP):表示被分类模型错误预测为正类的负样本数,即不属于类别A但被预测为属于类别A的样本数。
真负(true negative,TN):表示被分类模型正确预测的负样本数,即不属于类别A并被预测为不属于类别A的样本数。
此外,基于机器学习的分类方法通常采用另外两种度量标准对其分类结果进行评估,其定义如下:召回率(recall):recall=TP/(TP+FN),表示类别A中被正确预测的样本所占比例。
精度(precision):precision=TP/(TP+FP),表示在所有被预测为类别A的样本中,真正属于类别A的样本所占比例。很多流量分类研究都使用流准确率或字节准确率作为其实验结果的度量标准,流准确率表示被正确分类的流所占的比例,而字节准确率则更关注被正确分类的流所携带的字节数。其中,准确率的定义如下:
准确率(accuracy):accuracy=(TP+TN)/(TP+TN+FP+FN),表示被分类模型正确预测的样本数在总样本中所占比例。
2 控制器
产生原因
网络流量控制器bitSaver (又称应用流量管理器,带宽管理器或QoS设备)早在2000年就已经出现了,最早是美国的Packteer公司研发。但是由于网络带宽问题还没有显著,所以企业IT部门对带宽的重视程度还不够,随着各种网络新技术的应用以及网络多媒体技术的发展,网络带宽紧缺的问题越来越明显。尤其是2005年来,P2P应用更是对带宽的管理带来了严重威胁,所以带宽管理器的市场得到了很大的发展。据不完全统计,这个市场已经超过了近25亿美元。中国的带宽管理市场从2004年才开始逐渐受到重视,2007年中国带宽管理市场份额也在2亿人民币,预计中国带宽管理市场将以20%以上的速度增长。而具有带宽管理设备提供商的除了国外Packteer、Allot公司外,国内的北京英智兴达,畅讯科技等厂商,国外厂商带宽管理设备还没有实现界面的本地化,都是以授权代理的形式进入中国;国内的厂商在经历了3到4年的产品研发攻坚,产品才日益稳定,市场、技术、产品的竞争将在2008年展开。
基本功能
带宽管理器的基本功能非常简单,就是根据应用和用户进行带宽的分配与监控。由于是七层的网络管理设备,所以网络管理人员无需具备较高的网络知识就能直接对应用和用户进行带宽的分配,这在一定程度上降低了网络管理人员的投入。虽然功能很简单,但是能够实现的各种应用却很多,只是大部分用户对带宽管理的应用没有得到很好的认识。国外的带宽管理设备昂贵,且不支持中文展示所以Packteer和Allot的应用主要集中在电信和金融,国内的北京英智兴达等厂商虽然在教育、政府、能源与医疗行业有所斩获,但是产品系列才成型一年,所以在市场应用的推广各厂商没有过多投入,导致用户对带宽管理的应用处于初级阶段。
应用范围
在电信和金融领域带宽应用主要表现在SLA(服务等级协议)上,通过带宽管理设备给不同等级的用户提供不同等级的带宽服务,从而保障核心客户的投资回报率。
在教育、政府等应用,带宽管理器主要应用集中在对P2P的管理方面,尤其是BT的管理。同时带宽管理设备也开始作为视频会议的QoS的保障设备出现。由于P2P等应用的客户端不断升级,所以只有具有自主研发的国内产品才能实现快速根据新版本推出管理策略,在这个应用上国际厂商不具有优势。
当然作为带宽管理器,还具有更多的应用方式。如以下的应用:
一、网络应用透明度问题,通过带宽管理器可以让以前未知的网络应用的状况能够详细查看。
二、防范突发的流量激增和未知应用的攻击,如DoS攻击等,保障网络安全。
三、评估核心应用的价值,通过对核心应用流量的监查,了解核心应用的使用率与效率。
四、保证关键应用(如:CRM、VPN、无线网络、视频会议、VoIP、等)所需的带宽,保证任何时候关键应用不受阻
五、准确评估网络的负载能力以及新应用上线对整体网络应用的影响,保证客户的IT投资合理性。
六、实现按照用户的等级提供不同的网络资源配给,保障客户核心用户的网络价值。
七、降低网络管理人员的重复操作,并提供应用的量化数据,便于管理层根据应用状况做出决策。
这些应用只是在一些具体案例中出现,大部分用户还没有将带宽管理与自身的网络管理进行有效的融合。应用的前景很大。
3 交换机
没有三层交换机,VLAN之间无法通信,VLAN类似于硬盘的逻辑分区,可以简单地理解为把同一硬盘划分成不同的硬盘盘符。但是与逻辑盘不同的是,VLAN之间通信可不像把文件从一个逻辑盘复制到另一个逻辑盘那样简单,而是必须依,路由器才能使VLAN之间相互通信。
作用
1、网络骨干少不了三层交换
要说三层交换机在诸多网络设备中的作用,用“中流砥柱”形容并不为过。在校园网、城域教育网中,从骨干网、城域网骨干、汇聚层都有三层交换机的用武之地,尤其是核心骨干网一定要用三层交换机,否则整个网络成千上万台的计算机都在一个子网中,不仅毫无安全可言,也会因为无法分割广播域而无法隔离广播风暴。如果采用传统的路由器,虽然可以隔离广播,但是性能又得不到保障。而三层交换机的性能非常高,既有三层路由的功能,又具有二层交换的网络速度。二层交换是基于MAC寻址,三层交换则是转发基于第三层地址的业务流;除了必要的路由决定过程外,大部分数据转发过程由二层交换处理,提高了数据包转发的效率。 三层交换机通过使用硬件交换机构实现了IP的路由功能,其优化的路由软件使得路由过程效率提高,解决了传统路由器软件路由的速度问题。因此可以说,三层交换机具有“路由器的功能、交换机的性能”。
2、连接子网少不了三层交换
同一网络上的计算机如果超过一定数量(通常在200台左右,视通信协议而定),就很可能会因为网络上大量的广播而导致网络传输效率低下。为了避免在大型交换机上进行广播所引起的广播风暴,可将其进一步划分为多个虚拟网(VLAN)。但是这样做将导致一个问题:VLAN之间的通信必须通过路由器来实现。但是传统路由器也难以胜任VLAN之间的通信任务,因为相对于局域网的网络流量来说,传统的普通路由器的路由能力太弱。 而且千兆级路由器的价格也是非常难以接受的。如果使用三层交换机上的千兆端口或百兆端口连接不同的子网或VLAN,就在保持性能的前提下,经济地解决了子网划分之后子网之间必须依赖路由器进行通信的问题,因此三层交换机是连接子网的理想设备。
优点
除了优秀的性能之外,三层交换机还具有一些传统的二层交换机没有的特性,这些特性可以给校园网和城域教育网的建设带来许多好处,列举如下:
1、高可扩充性
三层交换机在连接多个子网时,子网只是与第三层交换模块建立逻辑连接,不像传统外接路由器那样需要增加端口,从而保护了用户对校园网、城域教育网的投资。并满足学校3~5年网络应用快速增长的需要。
2、高性价比
三层交换机具有连接大型网络的能力,功能基本上可以取代某些传统路由器,但是价格却接近二层交换机。一台百兆三层交换机的价格只有几万元,与高端的二层交换机的价格差不多。
3、内置安全机制
三层交换机可以与普通路由器一样,具有访问列表的功能,可以实现不同VLAN间的单向或双向通讯。如果在访问列表中进行设置,可以限制用户访问特定的IP地址,这样学校就可以禁止学生访问不健康的站点。 访问列表不仅可以用于禁止内部用户访问某些站点,也可以用于防止校园网、城域教育网外部的非法用户访问校园网、城域教育网内部的网络资源,从而提高网络的安全。
4、适合多媒体传输
教育网经常需要传输多媒体信息,这是教育网的一个特色。三层交换机具有QoS(服务质量)的控制功能,可以给不同的应用程序分配不同的带宽。 例如,在校园网、城域教育网中传输视频流时,就可以专门为视频传输预留一定量的专用带宽,相当于在网络中开辟了专用通道,其他的应用程序不能占用这些预留的带宽,因此能够保证视频流传输的稳定性。而普通的二层交换机就没有这种特性,因此在传输视频数据时,就会出现视频忽快忽慢的抖动现象。
另外,视频点播(VOD)也是教育网中经常使用的业务。但是由于有些视频点播系统使用广播来传输,而广播包是不能实现跨网段的,这样VOD就不能实现跨网段进行;如果采用单播形式实现VOD,虽然可以实现跨网段,但是支持的同时连接数就非常少,一般几十个连接就占用了全部带宽。而三层交换机具有组播功能,VOD的数据包以组播的形式发向各个子网,既实现了跨网段传输,又保证了VOD的性能。 5、计费功能 在高校校园网及有些地区的城域教育网中,很可能有计费的需求,因为三层交换机可以识别数据包中的IP地址信息,因此可以统计网络中计算机的数据流量,可以按流量计费,也可以统计计算机连接在网络上的时间,按时间进行计费。而普通的二层交换机就难以同时做到这两点。
在全国掀起了建设校园网、城域教育网的热潮之时,相信三层交换机以其优秀的性能、适中的价格,一定会在这个热潮中大有作为。
联系我们
网站名称:中国电商经济研究院
联 系 人:吴老师
固定电话:400-660-6095
电子邮箱:zgdsyjy@126.com
详细地址:北京市海淀区中关村南大街12号
邮政编码:100081