0
天阗IDS协议自识别(VFPR)技术
日前，启明星辰公司成功设计并实现了一种高效的协议自识别方法—VFPR方法 (Venus Fast Protocol Recognition)。VFPR方法对所有网络协议进行统计分析和对现有协议自识别方法进行了深入研究，基于协议指纹匹配和协议规则验证技术实现，能够在网络协议通信初期根据前期网络报文特征自动识别所属协议类型，具有识别准确率高、实时性好、通用性强，及运行效率高等优点。
当前主流IDS/IPS产品都广泛采用应用层协议深层解析技术来实现基于协议攻击特征和协议异常的入侵检测。而要真正实现对应用协议数据流的正确解析，必须首先正确判断该协议数据流的协议类型。目前多数IDS/IPS产品都基于端口映射机制来判别应用协议数据流所属协议类型，比如:如发现捕获的网络报文中源或目的端口为80 ，则认为它为HTTP协议相关报文，对这些网络报文进行流重组后直接交给HTTP 协议分析引擎进行协议解码和入侵检测。但随着各种新型网络协议以及各种恶意软件的出现，这种基于端口映射来判别网络报文所属协议类型的方法正受到严峻挑战:
1) 目前涌现出了一批新型网络协议，包括SIP和P2P协议等，它们并不采用固定协议端口，而是在协议运行过程中动态协商端口，因此无法预先为这些协议设置应用协议类型判别端口;
2) 各种木马、间谍和僵尸等恶意软件，它们为躲避IDS/IPS产品的入侵检测都采用了一些特殊的处理方式，主要表现为:
· 并不使用固定通信端口进行通信;
· 采用公知端口(比如80端口)进行私有协议通信;
· 采用隧道技术进行私有协议通信(比如HTTP隧道技术)。
3) 一些有经验的管理员经常将一些常见网络应用服务移到非周知端口，以降低来自外部攻击的风险系数;
4) 有大量的服务(比如ftp)运行在非周知的默认端口之上(比如2121)，对于该类型服务的攻击，一般的IDS都会因为无法判断通信报文的协议归属而产生漏报。
由此可见，网络报文端口将不再是一种可靠的应用协议类型识别方法，需要一种能够根据应用协议数据流特征来智能识别其所属协议类型的协议自识别方法，并且该方法的准确性、实时性和算法效率将直接影响到产品误报率和漏报率。为了让读者更好地理解协议自识别技术的重要性，先让我们来看一个案例。
典型案例
A企业由于业务需要，在其业务网络环境中部署了一台邮件服务器，并配置标准SMTP端口25作为其对外服务端口。同时，出于安全性考虑，A企业想在其企业内部部署一台IDS，以实现对该邮件服务器的重点安全防范。由于B厂家IDS提供了高层协议SMTP解析功能，A企业认为它可以基本满足其安全需求，因此就购买并部署了B厂家的IDS系统。
某天，A企业网络管理员发现该邮件服务器遭到了来自外部的远程漏洞溢出攻击。虽然本次攻击没有成功，但考虑到安全性，网络安全管理员将在邮件服务器的开放服务端口从标准STMP25号端口移动到了20000，并作了一些安全加固工作。没过几天，该服务器再次遭到外部攻击，重要邮件全部丢失，但是该厂家IDS没有报警。在与B厂家技术人员进行沟通后得知，该厂家IDS没有协议自识别功能，它依据标准25号端口来识别SMTP协议类型，如果更换SMTP服务端口，B厂家的IDS无法正确识别20000端口上的SMTP服务报文，对于黑客的针对SMTP邮件服务器的攻击渗透毫无知觉，最后，损失惨重。唉，要是有协议自识别就好了!
现有协议自识别技术不足
目前，市场上仅有少数几款IDS/IPS产品具有这种协议自识别功能，但是它们存在以下不足:
1) 有些方法单纯基于协议数据流所包含的某个关键字就认为识别出了其所属协议类型，比如当匹配到”GET”关键字时就认为是HTTP协议，而没有对本次协议识别结果进行验证，缺点是误报率高;
2) 有些协议自识别方法将整个协议数据流当作一个文本，采用文本分类和检索方法来识别其所属协议类型，因此无法识别二进制格式的协议;
3) 有些协议自识别方法工作时需要捕获未知协议流的多数网络报文，存在协议识别结果上的滞后性，无法满足实时性要求;
4) 现有多数协议自识别方法算法实现复杂，并且没有采用有效的优化措施来提高协议自识别的性能，导致IDS/IPS产品在开启协议自识别功能后性能低下，因此默认情况下关闭此功能。
启明星辰协议自识别技术优势
在对现有协议自识别方法进行深入研究以及对目前所有网络协议进行统计分析后，启明星辰公司成功设计了一种高效的协议自识别方法——VFPR方法 (Venus Fast Protocol Recognition)。该协议自识别方法基于协议指纹识别和协议规则验证技术实现，能够在网络协议通信初期根据前期网络报文特征自动识别所属协议类型，并采用预先建立的协议验证规则进一步验证协议识别结果正确性。VFPR方法包括前期协议样本特征提取和在线协议识别两个阶段，其中，协议样本特征提取阶段包括协议类型样本的协议指纹提取和相应协议验证规则建立过程，协议识别阶段包括协议指纹快速匹配和协议识别结果快速验证等过程方法。VFPR方法的协议指纹识别过程基于快速哈希表方法实现，而协议验证规则执行过程基于高效的专用网络报文处理虚拟机实现。
与其它协议自识别方法相比较，VFPR方法优势在于:
· VFPR方法同时支持对文本格式和二进制格式协议，功能完备;
· 仅依据协议流前期报文就可以识别协议类型，可以满足实时性要求;
· 一旦识别成功，可以智能记忆识别结果，对后继的通信可以起到“协议导航”的作用，既提高了效率，又避免了因识别时机滞后所带来的漏报;
· 识别规则可以灵活配置，可以像升级事件特征库一样定期对协议指纹库进行远程在线升级，以增加新的协议识别规则;
· VFPR方法效率高，并可基于配置文件在协议识别结果准确率和算法效率之间进行调整，模块灵活性和可操作性强，可满足各种应用场景。
目前，VFPR方法已经成功应用到启明星辰的天阗IDS产品中，测试结果表明，VFPR方法的实时性和准确率高，算法开销较小，在不影响现有IDS检测引擎性能的情况下，有效提高了天阗IDS产品的检测准确率。
当前主流IDS/IPS产品都广泛采用应用层协议深层解析技术来实现基于协议攻击特征和协议异常的入侵检测。而要真正实现对应用协议数据流的正确解析，必须首先正确判断该协议数据流的协议类型。目前多数IDS/IPS产品都基于端口映射机制来判别应用协议数据流所属协议类型，比如:如发现捕获的网络报文中源或目的端口为80 ，则认为它为HTTP协议相关报文，对这些网络报文进行流重组后直接交给HTTP 协议分析引擎进行协议解码和入侵检测。但随着各种新型网络协议以及各种恶意软件的出现，这种基于端口映射来判别网络报文所属协议类型的方法正受到严峻挑战:
1) 目前涌现出了一批新型网络协议，包括SIP和P2P协议等，它们并不采用固定协议端口，而是在协议运行过程中动态协商端口，因此无法预先为这些协议设置应用协议类型判别端口;
2) 各种木马、间谍和僵尸等恶意软件，它们为躲避IDS/IPS产品的入侵检测都采用了一些特殊的处理方式，主要表现为:
· 并不使用固定通信端口进行通信;
· 采用公知端口(比如80端口)进行私有协议通信;
· 采用隧道技术进行私有协议通信(比如HTTP隧道技术)。
3) 一些有经验的管理员经常将一些常见网络应用服务移到非周知端口，以降低来自外部攻击的风险系数;
4) 有大量的服务(比如ftp)运行在非周知的默认端口之上(比如2121)，对于该类型服务的攻击，一般的IDS都会因为无法判断通信报文的协议归属而产生漏报。
由此可见，网络报文端口将不再是一种可靠的应用协议类型识别方法，需要一种能够根据应用协议数据流特征来智能识别其所属协议类型的协议自识别方法，并且该方法的准确性、实时性和算法效率将直接影响到产品误报率和漏报率。为了让读者更好地理解协议自识别技术的重要性，先让我们来看一个案例。
典型案例
A企业由于业务需要，在其业务网络环境中部署了一台邮件服务器，并配置标准SMTP端口25作为其对外服务端口。同时，出于安全性考虑，A企业想在其企业内部部署一台IDS，以实现对该邮件服务器的重点安全防范。由于B厂家IDS提供了高层协议SMTP解析功能，A企业认为它可以基本满足其安全需求，因此就购买并部署了B厂家的IDS系统。
某天，A企业网络管理员发现该邮件服务器遭到了来自外部的远程漏洞溢出攻击。虽然本次攻击没有成功，但考虑到安全性，网络安全管理员将在邮件服务器的开放服务端口从标准STMP25号端口移动到了20000，并作了一些安全加固工作。没过几天，该服务器再次遭到外部攻击，重要邮件全部丢失，但是该厂家IDS没有报警。在与B厂家技术人员进行沟通后得知，该厂家IDS没有协议自识别功能，它依据标准25号端口来识别SMTP协议类型，如果更换SMTP服务端口，B厂家的IDS无法正确识别20000端口上的SMTP服务报文，对于黑客的针对SMTP邮件服务器的攻击渗透毫无知觉，最后，损失惨重。唉，要是有协议自识别就好了!
现有协议自识别技术不足
目前，市场上仅有少数几款IDS/IPS产品具有这种协议自识别功能，但是它们存在以下不足:
1) 有些方法单纯基于协议数据流所包含的某个关键字就认为识别出了其所属协议类型，比如当匹配到”GET”关键字时就认为是HTTP协议，而没有对本次协议识别结果进行验证，缺点是误报率高;
2) 有些协议自识别方法将整个协议数据流当作一个文本，采用文本分类和检索方法来识别其所属协议类型，因此无法识别二进制格式的协议;
3) 有些协议自识别方法工作时需要捕获未知协议流的多数网络报文，存在协议识别结果上的滞后性，无法满足实时性要求;
4) 现有多数协议自识别方法算法实现复杂，并且没有采用有效的优化措施来提高协议自识别的性能，导致IDS/IPS产品在开启协议自识别功能后性能低下，因此默认情况下关闭此功能。
启明星辰协议自识别技术优势
在对现有协议自识别方法进行深入研究以及对目前所有网络协议进行统计分析后，启明星辰公司成功设计了一种高效的协议自识别方法——VFPR方法 (Venus Fast Protocol Recognition)。该协议自识别方法基于协议指纹识别和协议规则验证技术实现，能够在网络协议通信初期根据前期网络报文特征自动识别所属协议类型，并采用预先建立的协议验证规则进一步验证协议识别结果正确性。VFPR方法包括前期协议样本特征提取和在线协议识别两个阶段，其中，协议样本特征提取阶段包括协议类型样本的协议指纹提取和相应协议验证规则建立过程，协议识别阶段包括协议指纹快速匹配和协议识别结果快速验证等过程方法。VFPR方法的协议指纹识别过程基于快速哈希表方法实现，而协议验证规则执行过程基于高效的专用网络报文处理虚拟机实现。
与其它协议自识别方法相比较，VFPR方法优势在于:
· VFPR方法同时支持对文本格式和二进制格式协议，功能完备;
· 仅依据协议流前期报文就可以识别协议类型，可以满足实时性要求;
· 一旦识别成功，可以智能记忆识别结果，对后继的通信可以起到“协议导航”的作用，既提高了效率，又避免了因识别时机滞后所带来的漏报;
· 识别规则可以灵活配置，可以像升级事件特征库一样定期对协议指纹库进行远程在线升级，以增加新的协议识别规则;
· VFPR方法效率高，并可基于配置文件在协议识别结果准确率和算法效率之间进行调整，模块灵活性和可操作性强，可满足各种应用场景。
目前，VFPR方法已经成功应用到启明星辰的天阗IDS产品中，测试结果表明，VFPR方法的实时性和准确率高，算法开销较小，在不影响现有IDS检测引擎性能的情况下，有效提高了天阗IDS产品的检测准确率。
