研究团队

夏杰

深圳市网安信科技有限公司CEO
毕业于武汉大学，2004年入行网安、2009年获得cissp、行业经验近20年
曾任加拿大最大电信公司Telus（研科）安全实验室负责人
作为主要技术负责人完成的项目有：
1.SAP公司旗下Sybase数据库核心代码安全审计
2.加拿大四大银行中的三家银行安全审计
3.加拿大最大的药品连锁店启康药业连锁网站安全审计
精通Windows、Linux下漏洞挖掘、代码审计、二进制逆向等多种方向
曾服务于IBM、Microsoft、加拿大政府等多位大客户

周先生

暨南大学博士研究生
资深安全研究员

X先生

某985重点大学博士

合作意向

后续还将继续更新，如有合作研究意向，可评论区联系

学习笔记

2022/9/18

学习李宏毅2021/2022春机器学习课程 P85 P87 Anomaly Detection

总结:

PPT on devserver AD_DeepLearning\04-学习资料\02-讲义 Detection (v9).pptx

课程 Machine Learning Homework 8 Anomaly Detection.pdf HW讲义

Anomaly Detection 课程内容回顾：

1, clasification -> score基于Score的threshold来判断异常。训练是基于clean正常数据。

2，maximum likelyhood + Gussian distribution 基于所有数据来训练。但是需要数据分布符合Gussian才会比较准确。有各种方法来让处理过的数据符合Gussian。

3，One-class SVM

4, Isolated forest

Addtional info:

1, ROC AUC curve:

https://en.wikipedia.org/wiki/Receiver_operating_characteristic

2,

https://speech.ee.ntu.edu.tw/~hylee/ml/ml2022-course-data/Machine%20Learning%20Homework%208%20Anomaly%20Detection.pdf

因为我们的数据集是大量的polluted数据，label数据比较少。所有 clasification -> score 这种方式不太时候。监督学习方式都不太适合。

下一步看无/自监督学习。

HW8: code:

https://colab.research.google.com/github/ga642381/ML2021-Spring/blob/main/HW08/HW08.ipynb#scrollTo=DCgNXSsEWuY7

Dataset: login 之后，点击左侧文件， 双击 Set up the environment，会出现对应数据集相关部分。具体下载地址如下：

https://drive.google.com/file/d/15XWO-zI-AKW0igfwSydmwSGa8ENb9wCg/edit

已下载到：/home/wax/AD_DeepLearning/03-数据集/01-HW8

TODO:

1, Study auto-decoder.

2, HW8 change to use GPU, study HW8 code. - done

2022/9/18

1, Run HW8 on different network. If need to change cnn to fcn, need to change model_type and checkpoint_path.

2, download npyviewer and change the code to be able to write dataset to jpeg. The other format is wrong. study auto-decoder 1.1 Feature disentangle

TODO:

1, learn 机器学习的可解释性

2, Learn 自监督学习

3，Anormaly detection zhihu:

https://zhuanlan.zhihu.com/p/42267652

4, Evaluating Real-time Anomaly Detection Algorithms - the Numenta Anomaly Benchmark - a benchmark for anomaly detection.

https://github.com/numenta/NAB

5,

https://www.kaggle.com/datasets/mlg-ulb/creditcardfraud

-- creditcard fraud detection. dataset already downloaded. Book reference

https://fraud-detection-handbook.github.io/fraud-detection-handbook/Foreword.html

[注意]传递专业知识、拓宽行业人脉——看雪讲师团队等你加入！