Sully:
监视网络,并系统的自动维护着相应记录.
监视目标的健康状况,并有能力使用多种方法使其恢复到一个好的状态.
Sully 能够发现,跟踪,以及对检测到的错误进行分类.
Sully 能够并行执行,增加了测试的速度.
Sully 能够自动的确定测试案例中那一个单一系列引发的错误.
Sully的使用:
数据表示: 是使用任何fuzzer的第一步.运行目标程序,将协议独立的请求和响应 ,并使用sully中的blocks表示.
会话 : 将开发的请求连接在一起形成会话,并附加上各种可用的监视代理(socket,debugger,etc..)然后开始fuzzing
事后分析:检查生成的数据和监控结果,重放单一测试案例.
目录结构:
archived_fuzzies: 这是个自由形态的目录,以fuzz目标名组织在一起,用来存储已存档的fuzzer和fuzz 会话产生的数据.
audits: 一个活动会话所记录的PCAP数据,崩溃的二进制文件,代码覆盖范围和分析的图标都应该放在此目录.
一旦fuzz会话完成,所有的数据都要移到"Archived_fuzzies"目录中.
docs: 文档和生成的Epydoc API references
requests: Sully requests 库,每个目标应该拥有它自己的能被用来存储多个请求的文件.
___REQUESTS__.html: 包含已存储请求的类别和个别类型列表说明,按字母顺序维护.
http.py : 各种各样的web 服务fuzzing 请求
trend.py : 包含一个完整的fuzz 演练相关请求,在稍后的文档中讨论.
sulley: fuzzer 框架.除非你想扩展这个框架,否则不要轻易的改动这些文件.
legos: 用户定义的复杂原语
ber.py ASN.1/ BER 原语
dcerpc.py 微软RPC NDR 原语
misc.py 诸如E-mail 地址和主机名等各种各样的未分类原语
xdr.py XDR types
pgraph: python 图形抽象库,建立sessions时使用.
utils: 各种辅助例程
dcerpc.py 微软RPC 帮助例程.比如绑定一个接口以及生成一个请求.
misc.py 各种未分类的例程,比如CRC-16 以及UUID 处理例程
scada.py SCADA特有的帮助例程,包含DNP3 块编码器
__init__.py : 用于创建请求时定义的各种各样的别名.
blocks.py : Blocks 和block 帮助在这里定义.
instrumentation.py 外置仪表特征,用于并不支持debugger的监视目标
pedrpc.py 用于定义sully 在不同的代理和主fuzzer之间通信的客户端和服务器类.
primitives.py 各种fuzzer原语,包括静态,随机,字符串和整数定义
sessions.py 创建并执行一个会话的功能函数.
sex.py sully的自定义异常处理类
unit_tests: sully 的单元测试装置
utils: 各种独立的实用工具
crashbin_explorer.py 命令行工具,用于扫描序列化存储于crash 二进制文件结果。
pcap_cleaner.py 命令行工具,用于清除没有错误关联的PACP 目录 network_monitor.py PedRpc驱动的网络监视代理
process_monitor.py PedRpc驱动,基于调试器的目标监视代理
unit_test.py sulley的单元测试
vmcontrol.py PedRpc驱动的VMWare 控制代理 。
作者:
Pedram Amini
http://pedram.openrce.org
Aaron Portnoy
http://dvlabs.tippingpoint.com/team/aportnoy
安装和需求:
network_monitor.py :
CORE Pcapy,
http://oss.coresecurity.com/projects/pcapy.html
CORE Impacket
http://oss.coresecurity.com/projects/impacket.html
process_monitor.py
PaiMei
http://code.google.com/p/paimei/
http://www.openrce.org/downloads/details/208/PaiMei
http://www.nologin.org/main.pl?action=codeList&
数据表示:
初始化并命名一个请求
sulley使用基于数据块表示的方法来生成独立的请求,然后将这些请求放在一起生成一次会话。
s_initialize("new request")
现在,你可以添加原语,blocks 或者嵌套的blocks 来生成请求。每一个原语都能被单独的rendered或突变。rendering 一个原语
将返回其关联的raw data数据格式内容。突变一个原语将变化它内部的内容。rendering 和mutating 的概念被大多数fuzzer开发者
抽象出来的,所以不用为它担心。然而,当fuzzable 的值被穷尽时,任何可突变的原语都接受一个默认的值。
静态数据 以及 随机数据:
让我们开始一个最简单的原语,s_static(),这个原语添加一个任意长度静态不突变的值到request中,为了便利,sully 使用了
各种不同的别名 s_dunno(),s_raw(),s_unknown()都是s_static()的别名。
# these are all equivalent:
s_static("pedram\x00was\x01here\x02")
s_raw("pedram\x00was\x01here\x02")
s_dunno("pedram\x00was\x01here\x02")
s_unknown("pedram\x00was\x01here\x02")
原语,block 等,都有一个可选的名字关键字参数。指定一个名字项可以直接使用request 变量request.names["name"] 存取,而
不需要遍历block结构来找到你期望的值。
s_binary 和s_static类似,但不相同,s_binary 接受多种形式表示的二进制数据,SPIKE 用户应该很熟悉它的使用,
# yeah, it can handle all these formats.
s_binary("0xde 0xad be ef \xca fe 00 01 02 0xba0xdd f0 0d", name="complex")
大多数sulley原语又fuzz 启发式驱动,因此它们突变的数目是有限的,但是s_random除外,它被利用来生成各种长度的随机数值,该原语必须携带两个
参数'min_length','max_length',用来说明在每一次迭代生成随机数值得最大,最小长度值,该原语,还接受如下关键字参数.
num_mutations: (integer, default=25) 在恢复到默认值前的突变次数
fuzzable: (boolean, default=True) 开启和关闭该原语的可突变性
name: (string, default=None) 通过名字,sulley可以对该原语直接存取.
number_mutations 关键字参数指定在被认为该原语耗尽时应该突变该原语多少次。如果要生成固定长度的随机数,指定min_length 和max_length
相等即可
整数
二进制和anscii协议中可能会包含各种大小的整数域,如http协议的内容长度域,和所有的fuzz框架一样,我们在这里也需要来产生这些数据:
1 byte: s_byte(), s_char()
2 bytes: s_word(), s_short()
4 bytes: s_dword(), s_long(), s_int()
8 bytes: s_qword(), s_double()
每一个整数类型至少要接受一个单一的参数,即默认整数值,此外,下面这些可选关键字参数可被指定.
endian: (character, default='<') bit 位序 指定 '<' 为小端,'>'为大端
format: (string, default="binary")输出格式, "binary" 或 "ascii", 控制者原语表示的整数格式, 例如,值100 ascii格式为 ‘100’ 而 "\x64" 是二进制格式
signed: (boolean, default=False) 使得大小为有符号数,还是无符号数,仅当format="ascii"时适用
full_range: (boolean, default=False) 使该原语突变所有的可能值
fuzzable: (boolean, default=True) 开启和关闭该原语的可突变性
name: (string, default=None) 可以通过在request中指定该名称来直接存储该原语的值
full_range 参数是上面所有参数中最值得关注的。考虑一下,当你fuzz一个DWORD类型的值时,一共有4294967295 种可能值,以每秒10个测试案例的速度
你需要13年才能fuzz完这个原语,通过定义一些smart数值集来减小原有穷举空间,包括在0边界处,+,- 10,以及最大值除2,4,6,8,10.16,32等得到
的集合,而穷尽减小的空间值(141 测试案例) 仅需要10几秒。
字符串和分隔符
字符串能在协议中的使用非常广泛,邮件地址,主机名,用户名,密码等等,你不用怀疑,字符串的应用贯穿在整个fuzzing的过程中,s_string 原语
负责这些域,这个原语只需要带一个默认参数值为必选参数,下面这些附加参数也可被指定。
size: (integer, default=-1) 字符串的静态大小,对于动态大小,指定该值为-1
padding: (character, default='\x00') 如果明确大小被指定,而产生的大小小于指定值, 使用这个值来填充直到满足条件为止。
encoding: (string, default="ascii") 字符串使用的编码,有效的选项包含无论在python中任何地方都能被接受的s.encode,对于微软unicode字符串,指定 utf_16_le
fuzzable: (boolean, default=True) 开启和关闭该原语的可突变性
name: (string, default=None) 可以通过在request中指定该名称来直接存储该原语的值
字符串通常被分割符划分为几个子域,例如,空格被用作http协议请求的分割符,"GET /index.html HTTP/1.0"前面的/ 和 . 同样作为该请求的分割符。
但你定义协议时,请确保使用s_delim()原语代替分割符,正如其它原语一样,必须指定一个默认值作为它的第一个参数,同样,和其它参数一致,
s_delim()同样接受可选的fuzzable 和name 参数,定界符的突变包括,重复,替代,排除。
作为一个完整的例子,fuzzing http 标签时使用如下系列原语:
# fuzzes the string: <BODY bgcolor="black">
s_delim("<")
s_string("BODY")
s_delim(" ")
s_string("bgcolor")
s_delim("=")
s_delim("\"")
s_string("black")
s_delim("\"")
s_delim(">")
Blocks:
必须精通的原语,让我们来看下,如何组织并嵌入一个块,新的块使用s_block_start()定义,使用s_bolck_end()关闭,每个块必须给定
一个名称,作为s_block_start()的第一个参数,这个例程同样可以指定如下可选参数:
group: (string, default=None) 和该块关联的组的名称
encoder: (function pointer, default=None) 函数指针,在reader 该block数据返回之前,提供一次处理该block数据的机会
dep: (string, default=None) 可选的参数,用来指定该block依赖的值
dep_value: (mixed, default=None) 如使该block的值 能被readered,该值必须在dep域中被包含
dep_values: (list of mixed types, default=[]) 为了该block的值能被readerd,dep可能包含的值列表.
dep_compare (string, default="==") 应用于依赖的比较方法,有效的可选操作为"==", "!=", ">", ">=", "<" and "<=".
Group ,encoding,以及依赖性是大多数fuzz框架没有的特性,我们将在下面论述它们。
组
group允许你连接一个块到指定的group原语,和一个组关联的block必须为每一个组中的值循环穷尽该block的所有空间,例如,在表示一个有效的opcode列表或一些有
相同参数的行为时,组原语是非常有用的,s_group定义一个组,并接受两个必须的参数,第一个参数指定组名称,第二个参数指定一个需要迭代的原始值列表。
例如,下面的请求完成web ,服务器的fuzz:
# import all of Sulley's functionality.
from sulley import *
# this request is for fuzzing: {GET,HEAD,POST,TRACE} /index.html HTTP/1.1
# define a new block named "HTTP BASIC".
s_initialize("HTTP BASIC")
# define a group primitive listing the various HTTP verbs we wish to fuzz.
s_group("verbs", values=["GET", "HEAD", "POST", "TRACE"])
# define a new block named "body" and associate with the above group.
if s_block_start("body", group="verbs"):
# break the remainder of the HTTP request into individual primitives.
s_delim(" ")
s_delim("/")
s_string("index.html")
s_delim(" ")
s_string("HTTP")
s_delim("/")
s_string("1")
s_delim(".")
s_string("1")
# end the request with the mandatory static sequence.
s_static("\r\n\r\n")
# close the open block, the name argument is optional here.
s_block_end("body")
该脚本由sulley组件的引入开始,接下来,初始化并一个请求,并为该请求命名为“HTTP BASIC”,该名称稍后被引用,来对request进行直接存取,
下一步,一个组被定义,名称为“verbs”,其可能的字符串值为"GET", "HEAD", "POST", "TRACE",一个名为body的block被定义,并使用group参数连接到
先前定义的group原语,注意,s_block_start总是返回True,这让你可以通过使用if语句来组织block的结构,让程序更具有可读性,注意,
s_block_end()的名称参数是可选的,一系列的基本原语和数据原语被限定在body 块中,当定义的请求被载入到一个sulley的会话中时,fuzzer将为
每一个定义在组中的值,生成并传输body块中的所有可能值。
Encoders
编码者是一个简单但非常有效的block修改器,在block将readered的内容返回并传输到物理线路之前,一个函数能被指定并附加到该block上来对该数据进行修改。
下面是一个xor加密器:
def trend_xor_encode (str):
key = 0xA8534344
ret = ""
# pad to 4 byte boundary.
pad = 4 - (len(str) % 4)
if pad == 4:
pad = 0
str += "\x00" * pad
while str:
dword = struct.unpack("<L", str[:4])[0]
str = str[4:]
dword ^= key
ret += struct.pack("<L", dword)
key = dword
return ret
encoder 直带一个单一参数,即,传入被编码的数据,返回编码后的数据,通过定义一个编码器并附加到一个可fuzzable的block上,允许fuzz的开发者
可以继续他的开发而不用担心这个小障碍。
依赖性
Dependencies 允许你在读取一个block的值时应用一个依赖条件 ,可在块的初始化时连接一个原语来完成依赖性,该原语将被使用dep关键字的block依赖,当sulley读取
依赖的块时,它将检查说连接的原始值,并以此指导自己的行为。只有一个依赖的值时,可以通过指定dep_value 关键字参数,如果有多个依赖的值,依赖的值列表能被
dep_values关键字参数指定。最后,实际的条件比较关系可以通过dep_compare关键字修改。考虑如下一种情景,依赖于一个整数的值,但不同的数据被期望。
s_short("opcode", full_range=True)
# opcode 10 expects an authentication sequence.
if s_block_start("auth", dep="opcode", dep_value=10):
s_string("USER")
s_delim(" ")
s_string("pedram")
s_static("\r\n")
s_string("PASS")
s_delim(" ")
s_delim("fuzzywuzzy")
s_block_end()
# opcodes 15 and 16 expect a single string hostname.
if s_block_start("hostname", dep="opcode", dep_values=[15, 16]):
s_string("pedram.openrce.org")
s_block_end()
# the rest of the opcodes take a string prefixed with two underscores.
if s_block_start("something", dep="opcode", dep_values=[10, 15, 16], dep_compare="!="):
s_static("__")
s_string("some string")
s_block_end()
块的依赖性可以通过不同的数量和方式连接在一起,而得到强有力的组合。
block helps:
在使用sulley生成数据时,一个重要的方面就是熟悉block helper的利用,包括,大小,校验和,和重复。
Sizers
SPIKE使用者将会非常熟悉s_sizer()或者s_size()块助手,辅助函数使用block的名称作为它的第一个参数来确定该block的大小,并可接受如下参数:
length: (integer, default=4) 大小域的长度
endian: (character, default='<') bit 位序 指定 '<' 为小端,'>'为大端
format: (string, default="binary") 输出格式, "binary" 或"ascii", 控制着整数原语读入的格式
inclusive: (boolean, default=False) sizer是否应该计算它自身的长度?
signed: (boolean, default=False) 使sizer成为有符号或无符号数, 仅当格式为ascii时适用
fuzzable: (boolean, default=False) 该原语可fuzzing 性的开关
name: (string, default=None) 可以通过在request中指定该名称来直接存储该原语的值
sizer是数据生成中重要的组件,允许我们表示诸如XDR符号,ASN.1等复杂的协议,但读取sizer的时候,sulley将动态计算关联块的长度,
默认情况下,sulley将不会fuzz Sizer域,在许多情况下,可能会有这种需求,如果遇到,enable fuzzable标志即可。
Checksums
和Sizers相似,s_checksum() 助手使用block的名称作为其第一个参数来确定该block的checksum,如下的可选参数可被指定
algorithm: (string or function pointer, default="crc32"). 应用于目标块的checksum的算法(crc32, adler32, md5, sha1)
endian: (character, default='<') bit 位序 指定 '<' 为小端,'>'为大端
length: (integer, default=0) 校验和的长度,指定为0则自动计算
name: (string, default=None) 可以通过在request中指定该名称来直接存储该原语的值
algorithm 参数能被指定为"crc32", "adler32", "md5" or "sha1"其中之一,或者,你可以指定一个函数指针,作为你自己定制的算法。
Repeaters
s_repeat()或者s_repeater()助手,被用于重复一个块为一个变量所代表的次数。这对于测试需要解析一个表为多个元素的溢出案例是非常有用的。
这个辅助程序需要携带三个必须参数,被重复的block的名称,最小重复次数和最大重复次数,此外,下面的可选参数可使用:
step: (integer, default=1) 最小,最大重复次数的步长
fuzzable: (boolean, default=False) 该原语可fuzzing 性的开关
name: (string, default=None) 可以通过在request中指定该名称来直接存储该原语的值
考虑下下面这个例子:
它连接了三个我们所介绍的辅助程序,我们fuzz的协议的一部分是一个包含字符串的表格。
每一个表格中的项由两个字节的字符串类型域,两个字节的长度域,一个字符串域,最后以一个需要接受整个字符串域的crc-32校验和结尾
我们并不知道对这个有效的类型域是什么类型,所有我们使用随机数据来对其进行fuzz,
使用suelly定义的这部分协议如下:
# table entry: [type][len][string][checksum]
if s_block_start("table entry"):
# we don't know what the valid types are, so we'll fill this in with random data.
s_random("\x00\x00", 2, 2)
# next, we insert a sizer of length 2 for the string field to follow.
s_size("string field", length=2)
# block helpers only apply to blocks, so encapsulate the string primitive in one.
if s_block_start("string field"):
# the default string will simply be a short sequence of C's.
s_string("C" * 10)
s_block_end()
# append the CRC-32 checksum of the string to the table entry.
s_checksum("string field")
s_block_end()
# repeat the table entry from 100 to 1,000 reps stepping 50 elements on each iteration.
s_repeat("table entry", min_reps=100, max_reps=1000, step=50)
这个sulley脚本不仅可以发现解析表项时的错误,而且可能发现在处理超长表时的错误。
Legos
sulley使用legos来代表用户定义的组件,诸如,e_mail地址,主机名,以及用于微软RPC,XDR,ASN.1等协议原语,在ASN.1中 /BER字符串被描述为一个系列[0x04][0x84][dword length][string
,在fuzzing 基于ASN.1的协议时,在每一个字符串前面都包括一个长度和类型的前缀,将变得相当难处理,作为代替,我们定义该lege来引用它。
s_lego("ber_string", "anonymous")
除了可选择的可选关键字参数外,每一个lego都有相似的格式,来指定一个独立的lego。作为一个例子,考虑到tag lego的定义,当fuzz xml-ish协议时
是非常有用的:
class tag (blocks.block):
def __init__ (self, name, request, value, options={}):
blocks.block.__init__(self, name, request, None, None, None, None)
self.value = value
self.options = options
if not self.value:
raise sex.error("MISSING LEGO.tag DEFAULT VALUE")
#
# [delim][string][delim]
self.push(primitives.delim("<"))
self.push(primitives.string(self.value))
self.push(primitives.delim(">"))
这个lego例子接受一个期望的tag作为字符串,并且将其压缩在适当的分割符内,如此做扩展了blocks类,通过self.push将合适的分割符和字符
串添加到block的栈中。
这里是另外一个为了生成ANS.1/DER 整数的简单lego,最小的共同点是代表的整数都是4字节整数,并有如下的形式,
[0x02][0x04][dword] 0x02 指定整数的类型,0x04指定整数的长度是4字节长,doword代表我们实际传入的值,如下是
在sulley中的定义:
class integer (blocks.block):
def __init__ (self, name, request, value, options={}):
blocks.block.__init__(self, name, request, None, None, None, None)
self.value = value
self.options = options
if not self.value:
raise sex.error("MISSING LEGO.ber_integer DEFAULT VALUE")
self.push(primitives.dword(self.value, endian=">")) def render (self):
# let the parent do the initial render.
blocks.block.render(self)
self.rendered = "\x02\x04" + self.rendered
return self.rendered
Sessions
一旦你定义了许多请求,就是时候将它们连接在一起形成一个会话了 。sulley 比其它好的fuzz框架最大的优势在于它对协议模糊测试的深度.
它将各个请求连接在一起形成图, from sulley import *
s_static("helo")
s_initialize("ehlo")
s_static("ehlo")
s_initialize("mail from")
s_static("mail from")
s_initialize("rcpt to")
s_static("rcpt to")
s_initialize("data")
s_static("data")
sess = sessions.session()
sess.connect(s_get("helo"))
sess.connect(s_get("ehlo"))
sess.connect(s_get("helo"), s_get("mail from"))
sess.connect(s_get("ehlo"), s_get("mail from"))
sess.connect(s_get("mail from"), s_get("rcpt to"))
sess.connect(s_get("rcpt to"), s_get("data"))
fh = open("session_test.udg", "w+")
fh.write(sess.render_graph_udraw())
fh.close()
在fuzz测试时,sulley沿着图形结构,从根节点开始fuzz测试每一个组件,在这个例子中,它从helo请求开始fuzzing,一旦完成,sulley将fuzz
mail from 请求,它在每一个测试案例前添加一个有效的helo请求,接下来,sulley将对rpct to 进行fuzzing,通过在每一个测试案例前添加一个
有效的helo和mail from 请求,这个过程一直到data请求完成后又从ehlo重新开始,这种将协议拆分为多个独立的请求,并fuzz了协议图的所有可能路径
的能力是非常强大的。
当实例化一个sesssion时,下面的可选参数可能被使用:
session_filename: (string, default=None) 用于存储系列化数据的文件名 指定一个文件名允许你停止以及恢复一个fuzzer的执行。
skip: (integer, default=0). 需要跳过的测试案例数
sleep_time: (float, default=1.0) 在发送测试案例时睡眠的时间值
log_level: (integer, default=2) 设置日子级别,级别越高,得到的日志信息就越多
proto: (string, default="tcp") 用于通信的协议
timeout: (float, default=5.0)设置等待 send /recv 返回之前的超时时间.
另外一个要介绍的sulley的高级特性是可以在协议图结构的每一边注册一个回调函数,这允许我们在两个节点间注册一个回调函数,来实现诸如
询问回答系统的功能,回调函数的原型如下:
def callback(node, edge, last_recv, sock)
node是将要被发送到node,edge是沿着当前路径到node的最后边,last_recv 包含从最后一次sock传输返回的数据,sock是一个可用的sock,
回调函数在如下的情景中是非常有用的,例如,下一个包的大小由上一个包指定,如果你需要动态填入目标IP地址,注册一个callback从sock.
getpeername()函数获取,边的回调函数可以在session.connect函数中又参数关键字 callback指定。
Target 和 Agents
下一步是定义目标,为它们添加代理并将其加入到会话中,下面这个例子初始化一个运行在vmware 中的目标,并为其连接了3个代理:
target = sessions.target("10.0.0.1", 5168)
target.netmon = pedrpc.client("10.0.0.1", 26001)
target.procmon = pedrpc.client("10.0.0.1", 26002)
target.vmcontrol = pedrpc.client("127.0.0.1", 26003)
target.procmon_options = \
{
"proc_name" : "SpntSvc.exe",
"stop_commands" : ['net stop "trend serverprotect"'],
"start_commands" : ['net start "trend serverprotect"'],
}
sess.add_target(target)
sess.fuzz()
实例化目标绑定在主机 10.0.0.1 ,端口 为 5168 .一个网络监控代理运行在目标系统上,监听的默认端口为26001,网络监控代理将记录所有的socket通信为独立的pcap包,
,使用测试案例号作为PCap文件标号。进程监控代理同样运行在目标系统上,监听默认端口26002.进程监控代理需要指定附加的进程名作为其参数,以及停止和打开该进程的
命令行语句。最后,VMware 代理运行在本地引擎,监听26003,目标被添加到session并开始fuzz测试,sulley有能力fuzzing多个目标,每一个目标都要有唯一的代理,
这可以将总测试空间划分在多个不同的目标上来为你节省时间。
[培训]内核驱动高级班,冲击BAT一流互联网大厂工作,每周日13:00-18:00直播授课