DPI的那些事儿

猕猴桃

摘要：一会被形容为无所不能的天使，一会被比喻成无耻下流的魔鬼，DPI(Deep Packet Inspection)深度包检测技术究竟是怎样一种纠结的存在？

DPI(Deep Packet Inspection)深度包检测技术从诞生那天起，就活在争议中，一会被形容为无所不能的天使，一会被比喻成无耻下流的魔鬼。很少有基础技术名词有这么混乱的认知，可以说人人心里都有不同的一个DPI。那究竟什么是DPI，什么不是DPI，是天使还是魔鬼？
百度百科的词条对DPI的定义是：“一种基于应用层的流量检测和控制技术，当IP数据包、TCP或UDP数据流通过基于DPI技术的带宽管理系统时，该系统通过深入读取IP包载荷的内容来对OSI七层协议中的应用层信息进行重组，从而得到整个应用程序的内容，然后按照系统定义的管理策略对流量进行整形操作”。它正确描绘了DPI是对TCP/IP数据包头部之外的数据进行的应用层重组和匹配，但是错误的把它和流量分析和控制产品等同了起来。WiKi（https://en.wikipedia.org/wiki/Deep_packet_inspection）上相对完整的描绘了DPI技术最早来源于IDS/IPS等网络安全设备，进而扩展到了反病毒、反垃圾邮件、应用识别控制、数据防泄漏和内容审计等领域。综上所述，DPI是一种对IP数据包包含的应用层数据进行重组和匹配的技术，可以应用于优化、安全和审计等诸多领域。那么我们来剖析一下对DPI的一些典型的谬误，看看围绕DPI为何存在如此多的争议。

DPI从来不是一个产品
业界对DPI最大的一个误会应该就是把DPI当成一个产品来定义和采购，比如招标一个叫XXX DPI的项目。如前文所述，DPI是诸多产品类别使用的基础技术，是工具，而自身并不是一个产品形态。用它来匹配攻击规则，它就是IDS/IPS/AV/Anti-Spam产品；用它来匹配应用规则，它就是应用识别和控制产品；用它去匹配内容关键字，它就是内容审计产品。这就好比DPI是一个高级餐馆里后厨的一把菜刀，大厨用它可以做出不同的菜色，但是餐馆的菜谱里一定不会有一款叫菜刀的菜品。如果你想用DPI技术解决一些实际问题，首先想想自己要的菜色，而不是去餐馆里点菜刀。

侵犯隐私的魔鬼
围绕DPI一个常见的争议是对个人隐私的侵犯，这是一个更大的误会。就像菜刀可以用来做菜，也可以用来杀人，DPI没有自我约束的能力，关键在于使用它的人。 根据国家网络安全法的要求，为了避免在出现问题时候无法追溯作恶之人，上网的行为级日志是必须留存的。是否在此基础上多迈出半步，保留涉及用户隐私的上网内容，则取决于设备商的自律和使用者的出发点。这个内容审计的锅，DPI不背。

他的DPI天下第一快？
经常听到有人吹嘘，他的DPI天下第一快，我们都报以诚恳的微笑。男人太快不太好，最好先想清楚再说（chui）？对应用层数据的重组和匹配是DPI的基本动作，但是重组解码的深度、匹配的规则数目、对数据采取的动作和记录的详细程度才真正定义了一个DPI任务的计算工作量。在这些细节未加定义的情况下，对比DPI的性能无异于盲人摸象。举例来说，在数据流中识别80端口HTTP POST流量和识别流经设备的每时每刻每条session的应用种类、流量并记录，是完全不同数量级的计算任务，放在一起比较性能就是笑话。要比性能，先定菜谱，搞清楚要做拍黄瓜还是松鼠桂鱼。
  
怎么知道你说的对？
DPI领域里，最常被问到的一个技术难题，是如何确认你的识别结果是可以信赖的，比如：你怎么知道你抓到的是攻击？你怎么知道这一定是病毒？你怎么知道你识别的应用是对的？如果一直追问下去，应该可以逼得售前工程师跳楼。究其根本原因，DPI所面对的都是有大量复杂场景的领域，比如应用识别，每天都有很多新应用产生，有很多旧应用消失。作为用户，可以用两个最简单的问题来考验你的供应商：1）你如何得知互联网上新应用的产生？2）你是否敢于根据你的识别结果对应用做出控制动作？这两个简单问题，考验了厂商的数据获取能力和识别准确性。如果他告诉你是坐在实验室监测互联网，只能做做旁路分析，基本可以请他离开了。

我能识别5000种应用，你行吗？
攻击、病毒和应用种类的数量，是最常被用来衡量DPI引擎的另外一个参数。厂商对这些数量的定义，内部有很多差异，并没有一个业内公认的标准。比如，对普通HTTP浏览中的一个非知名域名是否值得单独识别为一种应用？考虑系统开销，答案是否定的，而为了投标凑数，可能答案就是肯定的。基于我们对互联网的观察，业内主流流量的协议不超过1000种，把非知名网站识别为一种应用来凑数，实在大可不必。非要把它做成投标参数，只能说，你开心就好。

绿叶还是红花
从长远来看，DPI究竟是一个附属品，还是网络产品的必须特性？任何技术的产生都不是没来由的，DPI也一样，正是纷繁复杂的互联网造就了DPI的原始需求。网络设备可以根据IP头部、TCP头部来做出路由、交换、安全控制和优化，就也可以根据更多的内容字段做出类似的动作，这完全取决于应用场景的变化，技术上其实没什么限制。牵引防火墙产品从四层防火墙向统一威胁管理和下一代防火墙演进的正是DPI技术，路由器产品也越来越多的开始具备应用识别和攻击识别能力，背后的技术根基也是DPI。当前汹涌的SDN浪潮里，有更多白盒交换机方案也开始利用控制器的协助内嵌DPI特性。在看得见的未来，DPI技术必然由绿叶变成红花，这一点毋庸置疑。

Panabit的DPI
Panabit专注于将DPI技术应用于网络应用识别、优化和大数据分析领域，基于业界最大的互联网管理优化社区，提供业界最及时的应用识别更新，并为256用户以下的中小企业提供免费的流量分析和优化产品。在全流量串接优化和大数据留存分析（1：1超级Netflow，URL，DNS等行为数据）前提下，Panabit提供高达40G/U的处理性能和超过95%的现网流量识别率。

后记
最近被业界不停炒作的HTTPS，让很多人对DPI技术的未来莫名忧虑。其实，DPI技术从诞生之日起，就不停的在适应互联网的各种变化，攻击识别如此，应用识别也是如此。HTTPS趋势并没有比当初的加密P2P冲击更大，你有张良计，我有过墙梯。

娱乐

认真的开完了  谢谢分享

cejay

娱乐 发表于 2020-12-7 16:43
认真的开完了  谢谢分享

太牛了

Freak

认真的开完了  谢谢分享