首页
社区
课程
招聘
[翻译]初学网络驱动,翻译了msdn上的wfp的文档
发表于: 2013-12-7 20:41 8934

[翻译]初学网络驱动,翻译了msdn上的wfp的文档

2013-12-7 20:41
8934

wfp是vista后取代ndis的网络框架,代码例子以前有人写过了,链接:
http://bbs.pediy.com/showthread.php?t=173871&highlight=wfp
我翻译的msdn上的理论部分,后面的还有部分没翻译完。
一。基本术语定义
callout 为扩展wfp性能提供的一个功能,由一系列call function和一个guid key组成,wfp内置了几个callouts。用户可以通过callout drivers自己添加callout。
callout driver 实现一个或者多个callouts 的内核驱动,这个驱动通过向filter engine注册callouts,来通知filter engine当计算机处理网络连接或者网络包
                时回调对应的callout function
callout function 由callout driver 实现的定义一个callout的一个函数。一个callout由三种函数定义组成,nofityFn处理连接或者包的通知,类似一个网络事件。
                classifyFn处理一次分类决策,即拒绝还是放行数据包的操作。flowDeleteFn处理流的删除,这个函数是可选的。
filter        为TCP/IP网络数据定义了一些过滤条件,以及当所有的条件都成立时采取的放行还是拒绝的决策行为。如果一个filter要求对网络数据包做另外的处理时,它可以
        指定一个callout完成操作。如果这个filter的所有条件都成立时,filter engine会把网络数据转发给特定的callout做另外的处理。
        通过FwpmFilterAdd添加一个filter,filter中指定对应的callout和filterCondition.
filter engine wfp平台的一个组件,用于存储filter和完成filter的过滤决定。filters在指定的filtering layers中添加到filter engine中,从而filter engine完成对过滤
              的拒绝,放行或者交给新的callout处理。如果一个filter在filter engine中指定新的callout来处理,则filter engine会调用这个callout的calssifyFn来处理。
filtering layer TCP/IP网络栈中的一个层,filter engine匹配对应的网络数据找到合适的filters集合,交给这个层处理。每一层由一个filter layer identifier唯一标示。
                Run-time Filtering Layer Identifiers (FWPS_XXX)用于内核层的callout驱动。Management Filtering Layer Identifiers (FWPM_XXX)和 Base Filtering Engine (BFE)通信,既可以用于应用层也可以用于内核层。FWPM过滤由128的guid标示,FWPS由64为的luid标示。FWPS的位数少,提供了在实际网络流量中内核驱动处理时
                整数比较的性能。
过程基本上是注册callout,注册filter->在filtering layer监控到事件发送,提交给对于的filter,filter通过filter.action.calloutKey 找到对应的callout,提交给callout的nofityFn或者ClassifyFn处理。
二。wfp架构
applications
|
network stack --filter engine-->各种callout
|
network hardware
在tcp/ip栈中的关键点处都有filtering layer,在layer中网络数据被交给filter engine处理。filter engine中的filters可以指定一个callout来完成对应过滤条件的丢弃或者
放行,交给新的callout的过滤操作。

三。callout driver可以完成的过滤操作
1.初始化callout driver
在DriverEntry函数中完成callout driver的初始化操作。初始化需要三步操作,指定一个Unload函数,创建一个设备对象,向filter engine注册callouts。
前两部和以前的驱动开发一样,wdm驱动中通过IoCreateDevice,在wdf驱动中通过WdfDeviceCreate创建设备对象。即使对应的filter engine当前没有运行,
第三部向这个filter engine注册callout也是可以的。callout driver通过FwpsCalloutRegister0函数注册一个callout.函数的参数是设备对象和一个FWPS_CALLOUT0
类型的callout结构,结构中包含这个callou的ClassifyFn,NotifyFn,FlowDeleteFn函数指针。这三个函数指针需要提前声明。一个callout驱动可以实现多个callout,
这个驱动通过FwpsCalloutRegister0函数每次向filter engine注册一个callout。
2.处理notify callouts
filter engine调用callout的notifyFn函数来通知callout驱动对应的网络事件的发生。主要是filter的添加,删除事件。
添加filter:当添加到filter engine的filter指定了一个callout执行filter的操作时,filter engine会回调callout的notifyFn函数,并且在notifyType参数中传递
FWPS_CALLOUT_NOTIFY_ADD_FILTER。如果指定了callout处理操作的filters已经添加到了filter engine中,对于这种已存在的filters,callout再通过这个filter注册callout时,filter engine不会调用这个callout 的notifyFn。filter engine只会在向指定的callout添加新的filter时调用notifyFn函数。这种情况下,filter engine不一定会回调这个callout
的每一个filter。
filter 删除:当添加到filter engine中的filter被删除时,对于callout的notifyFn函数会被调用,并且传递一个FWPS_CALLOUT_NOTIFY_DELETE_FILTER参数,filterKey参数为NULL。
当callout的notifyFn函数不识别接收到的NotifyType参数时,应该忽略而且返回STATUS_SUCCESS。
当filter添加到filter engine时,callout驱动可以为filter指定一个context。这个callout的classifyFn函数可以使用这个context保存一些状态信息,当下次filter engine回调它时使用。当filter被删除时,callout驱动完成context的清理。
3.处理classify callouts
当有网络数据需要被某个callout处理时,filter engine会回调它的classify函数。这种情况发生在当指定的callout注册的某个filter的过滤条件全部满足时。如果这个filter没有
过滤条件,filter engine会调用对应的callout的classifyFn函数。
canctiwall简易wfp防火墙中通过RegisterCalloutForLayer注册了accept和connect的ALE层事件处理网络数据的连接和接收,匹配对应的规则。
过滤引擎传输几种不同的数据项到callout的classifyFn函数。这些数据项包括fixed data values,metadata values,原始网络数据,过滤信息和流的context。
特定的传输数据依赖于指定的filtering lawyer和classsifyFn的条件。
下面列举一些callout可以完成的典型操作。
(1)使用callout做深度检查
        当callout要做深度检查时,它的classsifyFn函数可以对数据的任意fixed data fields,metadata fields,原始包数据或者相关数据
做组合检查。
处理过程如下:
VOID NTAPI
ClassifyFn(
    IN const FWPS_INCOMING_VALUES0  *inFixedValues,
    IN const FWPS_INCOMING_METADATA_VALUES0  *inMetaValues,
    IN OUT VOID  *layerData,
    IN const FWPS_FILTER0  *filter,
    IN UINT64  flowContext,
    OUT FWPS_CLASSIFY_OUT  *classifyOut
    )
{
  PNET_BUFFER_LIST rawData;
  ...
   //检查是否有FWPS_RIGHT_ACTION_WRITE 标志,该标志指示了本callout是否有权限修改过滤action
   //如果这个标志没有设置,callout仍然可以返回block为了否决被前一个filter返回的permit行为。
if (!(classifyOut->rights & FWPS_RIGHT_ACTION_WRITE))
  {
    // 不指定action直接返回
return;
  }

  //获取 inFixedValues数据
  ...

  // 获取 metadata 字段从 inMetaValues中
  ...

  //得到原始数据的指针
rawData = (PNET_BUFFER_LIST)layerData;

  // Get any filter context data from filter->context
  ...

  // Get any flow context data from flowContext
  ...

  //检查数据来源用以决定对数据的action

  ...

  // 如果允许数据通过
if (...) {
   
classifyOut->actionType = FWP_ACTION_PERMIT;

    //检查是否要清除FWPS_RIGHT_ACTION_WRITE 标志
if (filter->flags & FWPS_FILTER_FLAG_CLEAR_ACTION_RIGHT)
    {
       // 清除FWPS_RIGHT_ACTION_WRITE 标志
classifyOut->rights &= ~FWPS_RIGHT_ACTION_WRITE;
    }

return;
  }

  ...

  // 如果拒绝数据通过
if (...) {

    // 设置拒绝数据
classifyOut->actionType = FWP_ACTION_BLOCK;

    // 清除 FWPS_RIGHT_ACTION_WRITE 标志位
classifyOut->rights &= ~FWPS_RIGHT_ACTION_WRITE;

return;
  }

  ...

  //如果允许或者拒绝行为需要继续向在filter engine后面的filter传递
if (...) {

    // 设置继续向下一个filter传递的标志
classifyOut->actionType = FWP_ACTION_CONTINUE;

return;
  }

  ...
}
在 filter->action.type中指定callout返回的action,如果需要了解action的具体有哪些值,可以看msdn中FWPS_ACTION0_ 结构的定义。
如果一个callout必须完成对数据包的额外处理后才可以决定action,它可以先pend数据包直到处理完成。如果需要了解如何pend数据包,可以看
msdn中Types of Callouts 和 FwpsPendOperation0的定义。
在一些filtering layer中,filter engine传给callout的classifyFn的原始数据指针layerData可能为NULL。
(2)做流数据的深度检查
类似上面,区别在
//获取流数据io packet的指针
ioPacket = (FWPS_STREAM_CALLOUT_IO_PACKET0 *)layerData;
  // 得到数据流指针
dataStream = ioPacket->dataStream;
如果需要更多的流数据做action决定时
if (...) {
    // 通知filter engine需要多少个字节
ioPacket->streamAction = FWPS_STREAM_ACTION_NEED_MORE_DATA;
ioPacket->countBytesRequired = bytesRequired;
ioPacket->countBytesEnforced = 0;
//通知filter engine 传递给下一个filter继续处理
classifyOut->actionType = FWP_ACTION_CONTINUE;
return;
  }
(3)检查包和流数据
这部分包括下面几个点:
(3.1)包的检查点
    进来的数据包被指定按下面的顺序提交给本机,依次向上遍历wfp layer。
    a. IP Packet(network layer)网络层
        所有的ip包,包括ip包分片,在这层做检查。但是,如果包是IPsec-protected,对包内容的深度检查和修改这层不能做因为包还没有生效或者解密
    b. Transport Layer 传输层
       所有排列好的或者重组的包都可以在这层检查。IPsec-protected包已经生活或者解密
    c.         Application Layer Enforcement (ALE) Receive or Accept应用层加强层接收包或者连接
        到达本地端点的第一个包被提交到这层。例如,一个将要到达的tcp的syn段或者一次udp流的第一个udp消息被提交。一个被要求重新授权
        的包,比如防火墙策略改变了,也被提交到这层,此时,ALE的reauthorization标志将会被设置。
    d. datagram 数据或者流
        ;
    a. ALE connect
        Tcp连接请求(在syn产生之前)和第一个udp消息在这层提交发送给远程端点
    b.datagram data or stream
    c.transport and icmp error
    d.ip packet
    如果一个目的地址是本地的包被修改为非本地地址,它应该被注入到forwarding layer.
(3.2)wfp layer 要求和限制
    a.forwarding layer
     ip包的转发功能可以通过netsh interface ipv4 set interface开启。NET_BUFFER_LIST链表结构可以用来提交ip包的在路由
     上的组装(group)功能,这个不同于在目的地址的报的重组(reassembly).当一个包组装提交到这层时,FWP_CONDITION_FLAG_IS_FRAGMENT_GROUP标志位
     会被传送到classifyFn函数中。此时NET_BUFFER_LIST结构指示了一个包分片的第一个节点。
     一个转发的注入包能被再次提交给callout驱动。为了阻止死循环,驱动先调用FwpsQueryPacketInjectionState0函数在调用classifyFn之前。
    驱动应该允许包,把包状态FWPS_PACKET_INJECTION_STATE 设置为FWPS_PACKET_INJECTED_BY_SELF或者FWPS_PACKET_PREVIOUSLY_INJECTED_BY_SELF
    来使包不被改变。
    b.netwok layer
    c.transport layer and ale
(3.3)包的提交格式
     net buffer list可以描述整个ip包,对于不同的layers, wfp提交一个从ip头开始的不同的偏移,例如对于接收包的网络层,net buffer list
从ip头部开始。对于传输层,net buffer list从传输层头部开始。
     对于发送的包,在net buffer list包的一些被发送时,callout driver必须按下面步骤做:
     复制而且block整个net buffer list。建立一个新的net buffer list来描述原来list的子集,把新的list注入到发送路径上去。
(3.4)callout 的类型
        Inline Inspection Callout,这种类型返回FWP_ACTION_CONTINUE值。它不修改任何网络包,比如只是做网络流量的统计监控。这种的 FWPS_ACTION0 结构
的Type成员应该设置FWP_ACTION_CALLOUT_INSPECTION。
        Out-of-band Inspection Callout,Inline Modification Callout,Out-of-band Modification Callout
        Redirection Callout
        为了和其他callout合作完成包的检查,修改和连接重定向,在包被pended之前,callout必须丢弃原始的包通过清除FWPS_CLASSIFY_OUT0 结构中的FWPS_RIGHT_ACTION_WRITE标志位在
        classifyFn函数返回前。如果FWPS_RIGHT_ACTION_WRITE位被设置,对于classifyFn来说,意味着包可以被pended然后重注入或修改。此时,callout不能pend这次提交,不能改变action
        类型。它必须等待更高weight的callout注入这个包或者修改。FwpsPendOperation0 函数用于pend一个包。
(3.5)包注入函数
      callout驱动可以利用FwpsInjectForwardAsync0等函数注入pended或者修改一个包。
(3.6)包修改的例子
(3.7)流的检查
(4)修改流数据
在callout驱动注入流数据之前,需要先创建一个注入句柄.关于如何修改流数据,可以看wfp中的Windows Filtering Platform Stream Edit Sample示例源码。
(5)数据日志记录
callout的classifyFn可以记录的数据有data fields,metadata fields,原始网络数据和存储在context中的相关数据。例如,如果callout在网络层通过filter日志记录接收的ipv4数据包中
有多少被丢弃了,callout可以在FWPM_LAYER_INBOUND_IPPACKET_V4_DISCARD层向filter engine添加一个filter。classifyFn函数如下:
VOID NTAPI
ClassifyFn()
{
  //增加所有丢弃包的统计数量
InterlockedIncrement(&TotalDiscardCount);
  // 检查丢弃原因字段metadata 是否存在
if (FWPS_IS_METADATA_FIELD_PRESENT(
inMetaValues,
        FWPS_METADATA_FIELD_DISCARD_REASON))
  {
    // 检查是不是普通的丢包
if (inMetaValues->discardMetadata.discardModule ==
        FWPS_DISCARD_MODULE_GENERAL)
    {
      // 检查是不是因为filter丢包
if (inMetaValues->discardMetadata.discardReason ==
          FWPS_DISCARD_FIREWALL_POLICY)
      {
        // 增加因为filter丢包的统计数量
InterlockedIncrement(&FilterDiscardCount);
      }
    }
  }
  // 对包的action不做改变
classifyOut->actionType = FWP_ACTION_CONTINUE;
}
(6)为一个数据流关联一个cotext
对于支持数据流的callou在filtering layer处理数据时,callout driver可以和流关联一个context。这个context对filter engine是不透明的。callout的classify函数可以使用这个context为指定的
数据流存储状态信息,以便于filter engine下次调用callout时使用。filter engine通过flowContext传递给callout,如果没有关联context,则参数为0.
callout使用函数 FwpsFlowAssociateContext0 关联一个context。例如
// Context structure to be associated with data flows
typedef struct FLOW_CONTEXT_ {
  .
  .  // Driver-specific content
  .
} FLOW_CONTEXT, *PFLOW_CONTEXT;
#define FLOW_CONTEXT_POOL_TAG 'fcpt'
VOID NTAPI
ClassifyFn()
{
  PFLOW_CONTEXT context;
  UINT64 flowHandle;
  NTSTATUS status;
  ...
  // 在metadata中检查流的句柄
if (FWPS_IS_METADATA_FIELD_PRESENT(
inMetaValues,
        FWPS_METADATA_FIELD_FLOW_HANDLE))
  {
    //获取流句柄
flowHandle = inMetaValues->flowHandle;
    // 分配一个context结构
context =
      (PFLOW_CONTEXT)ExAllocatePoolWithTag(
NonPagedPool,
sizeof(FLOW_CONTEXT),
        FLOW_CONTEXT_POOL_TAG
        );

    //检查是否分配失败
if (context == NULL) {}
else
    {
      //初始化context结构
      ...
      // 和数据流关联context
status = FwpsFlowAssociateContext0(
flowHandle,
        FWPS_LAYER_INBOUND_IPPACKET_V4,
calloutId,
        (UINT64)context
        );

      //检查关联结果
if (status != STATUS_SUCCESS)
      {
        // Handle error
        ...
      }
    }
  }
  ...
}
可以通过函数 FwpsFlowRemoveContext0 解除关联。
(7)处理鉴别异步数据
wfp callout驱动可以通过在classifyFn函数中返回 FWP_ACTION_PERMIT, FWP_ACTION_CONTINUE, or FWP_ACTION_BLOCK授权或者拒绝一个网络行为,或者放行,丢弃一个网络包。
很多情况下,callout驱动不能在classifyFn函数立即返回检查结果,必须异步的等待一些相关数据的处理。比如classifiable fields,metadata,packets可能被转发给
别的组件处理,或者应用层返回判断结果。
wfp对不同的层的异步处理机制不同,一般的处理方式如下:
a.异步的ALE层鉴别
callout驱动在classifyFn中调用FwpsPendOperation0异步处理。异步操作完成后调用FwpsCompleteOperation0函数结束。
b.异步的packet鉴别
callout驱动应该在classify函数中返回FWP_ACTION_BLOCK并设置FWPS_CLASSIFY_OUT_FLAG_ABSORB标志。网络包应该被引用或者复制。异步的操作可以是重新注入复制或者修改后的
包,或者丢弃包。
c.异步的包含packet的ALE鉴别
包含上述两种操作。
需要考虑的特殊情况如下:
a. ALE connect与Receive/Accept 层
   当在ALE connect层(FWPS_LAYER_ALE_AUTH_CONNECT_V4 or FWPS_LAYER_ALE_AUTH_CONNECT_V6)完成了一个pended的classify操作时,FwpsCompleteOperation0函数被调用。
此时,ALE的reauthorization的classify行为被触发在各自的ALE连接层。callout驱动应该从这种reauthorization行为中返回一个检查的决定。可以通过FWP_CONDITION_FLAG_IS_REAUTHORIZE
标志看是不是reauthoriaztion行为。
   callout驱动必须为每一个pended的ALE_AUTH_CONNECTclassify行为维持一个唯一的状态,以便于在 FwpsCompleteOperation0触发的reauthoriaztion期间对每一个classify行为
的classify决定都可以被查询。如果在pended的ALE_AUTH_CONNECTclassify行为期间,reauthoriaztion发生后包被引用或者复制时他们可以被重注入。
   当在ALE的Receive/Accept((FWPS_LAYER_ALE_AUTH_RECV_ACCEPT_V4 or FWPS_LAYER_ALE_AUTH_RECV_ACCEPT_V6)完成一个classify操作时,FwpsCompleteOperation0 被调用不会
触发ALE reauthoriaztion操作。后面几句没看懂。 Instead a new call to classifyFn is made again when the cloned packet is reinjected incoming if the modification was not
significant enough to bypass the filter. Permitting the self-injected clone from the ALE_RECV_ACCEPT layer effectively authorizes the incoming connection.
If the incoming connection is not to be allowed, discard the incoming packet after it calls FwpsCompleteOperation0.
b. ALE reauthoriaztion
   当一些事件发生时,比如策略改变(例如增加删除一个filter),检测到新的arrival接口,通过使用IPsec更新连接密钥, callout驱动可以在ALE connect或者receive/accept层reclassified.
这种reauthoriaztion不能通过调用FwpsCompleteOperation0被pended。callout驱动在reauthoriaztion时可以利用规则处理这些包。
   所有进来和出去的数据包都可以被reauthorized在ALE_AUTH_CONNECT或者ALE_RECV_ACCEPT层。例如,一个进来的数据包可以被reauthorized在ALE_AUTH_CONNECT层。callout驱动
不可以假设包的方向和connection的方向相同。
c.ALE_FLOW_ESTABLISHED 层
  FWPS_LAYER_ALE_FLOW_ESTABLISHED_V4 or FWPS_LAYER_ALE_FLOW_ESTABLISHED_V6)层不支持异步处理数据。
d.INBOUND_TRANSPORT Layers
  当在进来的传输层((FWPS_LAYER_INBOUND_TRANSPORT_V4 or FWPS_LAYER_INBOUND_TRANSPORT_V6))要求ALE classify处理包时, callout驱动必须不完成异步处理过程。
这个可以和流的创建进行交互。当wfp对进来的包调用classify函数时,它对那些要求ALE classify处理的包设置了FWPS_METADATA_FIELD_ALE_CLASSIFY_REQUIRED标志。
callout驱动应该从INBOUND_TRANSPORT层对这种包放行,并且延迟处理直到ALE_RECV_ACCEPT层。
e. stream 层
在stream层(FWPS_LAYER_STREAM_V4 or FWPS_LAYER_STREAM_V6),tcp数据段代替了ip或者tcp头提交。stream层也是net buffer list可以被提交的在classify 函数中。WFP
可以对stream层将调用的函数进行复制或者注入,通过FwpsCloneStreamData0 和 FwpsStreamInjectAsync0函数。
因为提交的stream层的数据的有序性,callout驱动必须复制和处理数据只要流数据是pending的。对一个给定的数据流混合同步和异步操作对导致异常行为。
(8)连接绑定或者重定向连接
WFP连接重定向callouts重定向一个程序的连接请求以便程序连接代理服务取代原始的连接。代理服务有两种sockets,一个用于被重定向的原始连接,一个用于新的代理发送连接。
一条wfp重定向记录是不透明的数据缓冲区,它被wfp在FWPM_LAYER_ALE_AUTH_CONNECT_REDIRECT_V4和FWPM_LAYER_ALE_AUTH_CONNECT_REDIRECT_V6层建立了对外的连接请求,从而把重定向后的
连接和原始的连接关联起来。
  win7之前,callout driver可以代理tcp连接的方式只有复制,丢弃,修改或者重注入传输层的包。有了连接绑定重定向的支持,callout driver可以修改任何tcp的4元组(本地,远程ip地址
和端口号).因为可以绑定重定向,所以没必要在连接重定向上支持本地地址和端口修改。
重定向可以在以下重定向层完成:
FWPM_LAYER_ALE_BIND_REDIRECT_V4 (FWPS_LAYER_ALE_BIND_REDIRECT_V4)
FWPM_LAYER_ALE_BIND_REDIRECT_V6 (FWPS_LAYER_ALE_BIND_REDIRECT_V6)
FWPM_LAYER_ALE_CONNECT_REDIRECT_V4 (FWPS_LAYER_ALE_CONNECT_REDIRECT_V4)
FWPM_LAYER_ALE_CONNECT_REDIRECT_V6 (FWPS_LAYER_ALE_CONNECT_REDIRECT_V6)
重定向的效果取决于所在层,connect层只影响连接流,bind层影响所有连接。
可以使用 FwpsCalloutRegister1或者FwpsCalloutRegister2而不是the older FwpsCalloutRegister0注册重定向。
重定向不是适用于所有类型的网络流量,支持的类型有tcp,udp,Raw UDPv4 without the header include option,raw icmp。
示例代码如下。
(9)ale终端的生命周期管理
支持ale的callout driver可能会分配资源处理提交数据。现在讨论当相关的端点关闭时,如何配置callout driver释放这些资源。ale端点的生命周期管理在win7后的系统都支持。
为了管理ale端点相关的资源,callout必须在以下层注册,
FWPS_LAYER_ALE_RESOURCE_RELEASE_V4 (FWPM_LAYER_ALE_RESOURCE_RELEASE_V4)
FWPS_LAYER_ALE_RESOURCE_RELEASE_V6 (FWPM_LAYER_ALE_RESOURCE_RELEASE_V6)
FWPS_LAYER_ALE_ENDPOINT_CLOSURE_V4 (FWPM_LAYER_ALE_ENDPOINT_CLOSURE_V4)
FWPS_LAYER_ALE_ENDPOINT_CLOSURE_V6 (FWPM_LAYER_ALE_ENDPOINT_CLOSURE_V6)
。。。
(10)使用数据包的标记
callout driv可以标记有兴趣的包或者接受标记包的事件通知。包的标记在win7之后系统支持。
为了使用包标记,callout driver必须实现 FWPS_NET_BUFFER_LIST_NOTIFY_FN0和FWPS_NET_BUFFER_LIST_NOTIFY_FN1回调函数。


[招生]科锐逆向工程师培训(2024年11月15日实地,远程教学同时开班, 第51期)

收藏
免费 5
支持
分享
最新回复 (0)
游客
登录 | 注册 方可回帖
返回
//