mirror of
https://github.com/Estom/notes.git
synced 2026-04-05 11:57:37 +08:00
delete log
This commit is contained in:
yinkanglong
@@ -1,94 +0,0 @@
|
||||
# 想法存档
|
||||
|
||||
* 使用python3编程，实现markdown文章存放到本地。自己写Python对markdown语法的解析程序把。
|
||||
|
||||
# 本月安排
|
||||
|
||||
10.1
|
||||
|
||||
上午 完成3-4
|
||||
下午 完成5-6
|
||||
晚上 完成7-8
|
||||
|
||||
|
||||
10.2
|
||||
上午-下午：写界面、去聚餐
|
||||
|
||||
晚上 完成9-10
|
||||
|
||||
10.3
|
||||
上午-下午：写界面、去聚餐
|
||||
晚上 完成11-12
|
||||
|
||||
10.4
|
||||
上午 完成13-14
|
||||
下午 完成15-16
|
||||
晚上 完成17-19
|
||||
|
||||
吴恩达课程完成。
|
||||
-------------------------------
|
||||
10.5 机器学习基石上完成
|
||||
|
||||
10.6 机器学习基石下的一半
|
||||
|
||||
10.7 机器学习基石下的一半
|
||||
|
||||
10.8 机器学习基石完成
|
||||
|
||||
> 整理好相关的机器学习笔记。进行附上代码的实现。
|
||||
-------------------------------
|
||||
|
||||
10.9-10.11 统计学习方法，书籍结合视频教程
|
||||
|
||||
10.11-10.20 机器学习西瓜书，书籍结合视频教程
|
||||
|
||||
10.20-10.25 机器学习实战，编程。sklearn，书籍结合视频教程
|
||||
|
||||
10.25-10.30 TensorFlow教程学会
|
||||
|
||||
-----------------------------------
|
||||
11.01-11.10 神经网络的五套课程（仅仅学习三套就够了，因为后边的是针对专门的领域的）
|
||||
|
||||
11.10-11.20 联邦学习+情报，相关论文
|
||||
|
||||
-----------------------------------
|
||||
|
||||
基础知识->算法实现->科研论文->系统实现
|
||||
|
||||
|
||||
----------------------------------
|
||||
|
||||
> 关于未来的思考。你应该知道自己毕业后回选择什么样的岗位，是算法岗还是开发岗。如果是开发岗，现在就应该重新学习C++以及相关的一系列基础知识了。如果是算法岗，现在应该去刷LeetCode上的各种算法了。如果是机器学习岗位，现在应该开始，了解各种机器学习相关的内容，然后发表相关方向的论文。
|
||||
|
||||
|
||||
# 一周安排
|
||||
|
||||
主要任务：
|
||||
|
||||
1. 完成吴恩达课程√和作业（编程实现）
|
||||
2. 完成李宏毅机器学习（笔记+编程）
|
||||
3. 完成统计学习方法（笔记+编程，熟悉numpy和matplotlib）
|
||||
4. 复习线性代数（3blue1brown）和数理统计（一门课程，重新做笔记）
|
||||
|
||||
---------------------------------
|
||||
|
||||
时间安排：
|
||||
|
||||
上午、下午：看视频
|
||||
|
||||
晚上：写代码
|
||||
|
||||
--------------------------------
|
||||
任务安排：
|
||||
|
||||
|
||||
|
||||
|
||||
------------------------------
|
||||
后续安排：
|
||||
|
||||
下周主要任务：
|
||||
李红统计学习方法+周志华西瓜书。
|
||||
|
||||
下下周主要任务
|
||||
实践真正的机器学习项目+看论文，写开题报告。
|
||||
@@ -1,49 +0,0 @@
|
||||
## 第一周
|
||||
|
||||
----------------------
|
||||
主要任务
|
||||
* 吴恩达机器学习+深度学习课后作业
|
||||
* 李航统计学习方法+笔记
|
||||
* 李航统计学习方法+代码实现
|
||||
* 情报论文阅读
|
||||
|
||||
---------------------
|
||||
时间安排
|
||||
* 8.00-11.30
|
||||
* 2.00-5.30
|
||||
* 7.00-11.00
|
||||
|
||||
---------------------
|
||||
任务安排
|
||||
|
||||
* 找到阅读论文的方法和工具。
|
||||
* 然后开始紧张刺激的编程工作。
|
||||
* 认真学习也太好了。
|
||||
……
|
||||
|
||||
|
||||
## 第二周
|
||||
|
||||
-------------------------
|
||||
主要任务
|
||||
* 吴恩达机器学习+深度学习课后作业
|
||||
* 周志华习惯书笔记+代码实现
|
||||
* 情报利用+联邦学习论文阅读（自己搜集论文，把现有的论文读完）
|
||||
|
||||
时间安排
|
||||
------------------------
|
||||
早 一篇论文
|
||||
下 一篇论文
|
||||
晚 算法实现和算法学习
|
||||
|
||||
## 第三周
|
||||
|
||||
## 第四周
|
||||
|
||||
感觉最近状态差的一批。你的学习计划，几乎落空，就算现在不吃不睡，也不知道能不能完成。绝对不能再玩耍了。需要大量的时间，投入到工作当中。日了够了……滚吧，别浪了。浪费时间就是犯罪啊！！！！以后每周计划都像上一个一样，做好范本。月计划和周计划合并到一块。
|
||||
|
||||
|
||||
果然一个好的软件也会阻止你进行你要做的事情因为你会花费大量的时间，去思考这些功能或者工具该怎么用，太难了。
|
||||
|
||||
|
||||
|
||||
@@ -1,36 +0,0 @@
|
||||
## 第一周
|
||||
|
||||
### 主要任务
|
||||
* 文献综述完成
|
||||
* 开题报告完成
|
||||
|
||||
### 时间安排
|
||||
|
||||
* 8.00-11.30
|
||||
|
||||
* 12.30-2.00（刚吃完饭，真的睡不着）
|
||||
|
||||
* 3.00-5.00
|
||||
|
||||
* 6.00-12.00
|
||||
|
||||
### 任务计划
|
||||
|
||||
* 周一-周三：文献综述
|
||||
* 周四-周日：开题报告
|
||||
（字数肯定很好凑，看来并不是自己所想的那样，关键技术和技术路线，需要很长的内容。或许在开题的时候，就必须直到自己应该怎么做了。）
|
||||
|
||||
|
||||
## 第二周
|
||||
|
||||
### 主要任务
|
||||
* 修改开题报告（场景定义明确，即我们到底要完成一个什么样的事情）
|
||||
* 修改开题报告（技术路线明确，即我们到底通过什么样的手段完成）
|
||||
|
||||
* 网络威胁情报-文献阅读
|
||||
* 恶意软件-文献阅读
|
||||
* 特征生成和机器学习可解释-文献阅读
|
||||
|
||||
### 任务安排
|
||||
|
||||
*
|
||||
@@ -1,20 +0,0 @@
|
||||
# 基于联邦学习算法的 IOC 情报生成利用系统
|
||||
|
||||
## 研究内容
|
||||
|
||||
1. IOC 情报的自动生成模型
|
||||
2. 联邦学习算法的应用
|
||||
3. 面向恶意程序和软件识别的 IOC 情报生成与利用
|
||||
|
||||
## 关键技术
|
||||
|
||||
1. IOC 威胁情报的定义与规范
|
||||
2. 恶意软件特征生成技术
|
||||
3. 基于深度神经网络的联邦学习算法
|
||||
4. 神经网络的可解释性研究
|
||||
|
||||
## 创新点
|
||||
|
||||
1. IOC 自动化生成，通过机器学习掌握情报分析师的知识。
|
||||
2. 创建内生情报。通过 IOC 情报利用生成系统，企业可以无需借助外部的专门的安全团队，生成内生情报。
|
||||
3. 联邦学习获取更多团队的数据。
|
||||
@@ -1,99 +0,0 @@
|
||||
# 学位论文文献综述
|
||||
|
||||
## 开题题目：基于联邦学习的恶意软件威胁情报处理系统的设计与实现
|
||||
|
||||
## 摘要+关键词
|
||||
|
||||
## Abstract+keyword
|
||||
|
||||
|
||||
## 基于联邦学习的恶意软件威胁情报处理系统概述
|
||||
|
||||
> 主要论述这三个关键方向的关系。
|
||||
### 威胁情报
|
||||
### 恶意软件
|
||||
### 联邦学习
|
||||
|
||||
## 网络威胁情报的研究现状
|
||||
|
||||
|
||||
|
||||
### 网络威胁情报的定义
|
||||
* 定义
|
||||
* 作用
|
||||
* 格式
|
||||
CTI的研究主要集中在三个方向，包括CTI的生成、CTI共享、CTI利用。
|
||||
### 网络威胁情报的生成研究
|
||||
* 研究现状
|
||||
* 问题
|
||||
* 未来发展趋势
|
||||
### 网络威胁情报的共享研究
|
||||
* 研究现状
|
||||
* 问题
|
||||
* 未来发展趋势
|
||||
### 网络威胁情报的利用研究
|
||||
|
||||
* 研究现状
|
||||
* 问题
|
||||
* 未来发展趋势
|
||||
|
||||
## 恶意软件威胁的研究现状
|
||||
|
||||
### 恶意软件的数据
|
||||
### 恶意软件识别的算法
|
||||
### 恶意软件特征生成的方法
|
||||
### 恶意软件威胁情报的生成与共享方案研究进展
|
||||
|
||||
## 联邦学习算法的研究现状
|
||||
|
||||
### 联邦学习的背景
|
||||
### 联邦学习定义
|
||||
### 联邦学习的架构和生命周期
|
||||
### 联邦学习的应用
|
||||
### 联邦学习存在的问题
|
||||
### 联邦学习在安卓环境中的应用
|
||||
### 联邦学习在恶意软件威胁情报领域的应用进展
|
||||
|
||||
## 结论
|
||||
## 参考文献
|
||||
|
||||
|
||||
|
||||
----------
|
||||
夏老师给的要求
|
||||
* 研究的分支
|
||||
* 各分支的理论方法技术研究现状
|
||||
* 关键问题和尚未解决的问题
|
||||
* 未来的发展趋势
|
||||
----------
|
||||
|
||||
关于文献综述需要做的事情。
|
||||
|
||||
1. 阅读文献，粗读，对文献做好标记。（首先进行第一步吧），单纯地找到能够使用的文献，明白文献的主要内容，做好标记。
|
||||
2. 从“综述”类型的文献开始，按照别人综述的方式撰写文献，引用别人的综述。还是按照citavi工具提供的category格式，整理文献，并完成文献综述的内容部分。
|
||||
3. 写文献综述，总共四十篇文章，每篇文章撰写300字左右的文献综述
|
||||
|
||||
> 可以直接从原本的文献综述出发，按照人家文献综述的内容，直接摘抄，制作自己的文献综述。总之现在的目标是第一个读第一遍文献，一方面为了完成文献综述，另一方面，也为了搞清楚开题相关的内容。
|
||||
|
||||
---------------------
|
||||
联邦学习的撰写方案
|
||||
|
||||
1. 联邦学习的那一部分可以一联邦学习的那本书作为开始，引用联邦学习那本书上的内容。就可以完成联邦学习的应用现状介绍。
|
||||
2. 非引用部分直接摘抄书上的内容。引用部分使用文献阅读后的结果。现在应该从文献的角度，总结文献能够提供的内容，而不是从文献综述的角度，描述文献综述需要什么内容。所以现在就从温馨啊的角度描述文献的主要内容。
|
||||
3. 最后再结合几篇文章论述联邦学习在恶意软件威胁情报领域的应用
|
||||
|
||||
---------------------
|
||||
威胁情报的撰写方案
|
||||
1. 威胁情报的综述，主要使用三个材料：
|
||||
1. SANS威胁情报2020年报告的翻译√
|
||||
2. 两篇中文的网络威胁情报的描述
|
||||
3. 1区的文献的翻译、
|
||||
4. 蒋师兄的网络威胁情调研中能用的内容。
|
||||
2. 威胁情报的综述控制在两千到三千字之间。
|
||||
|
||||
|
||||
--------------------
|
||||
恶意软件的撰写方案
|
||||
1. 根据综述完成恶意软件的基本介绍。
|
||||
2. 介绍几个简单的恶意软件分析方案。
|
||||
|
||||
@@ -1,296 +0,0 @@
|
||||
# 基于联邦学习的恶意软件表征系统研究
|
||||
> 不要论述威胁情报相关的内容了，关联性不强。
|
||||
|
||||
|
||||
> 1. 可以重点论述的内容：Android、Malware、FL。Android是运行场景，安全问题需求迫切。CTI是目标，生成的IOC威胁情报用于后续的威胁软件分析工作。Malware是对象，需要处理的对象。FL是系统和模式。机器学习，包括机器学习的可解释性工作，需要定义算法的输入输出和算法的选型。
|
||||
|
||||
|
||||
## 1 论文选题的背景与意义1000字
|
||||
### 选题背景
|
||||
Android场景->恶意软件的研究+Android隐私保护的提出。
|
||||
|
||||
1. 构建威胁情报共享系统。
|
||||
2. 恶意软件数据分析生成恶意软件情报。
|
||||
3. 使用联邦在线学习，训练恶意软件情报的自动生成模型。
|
||||
|
||||
### 选题意义
|
||||
> 应该描述存在的为，和解决这些问题的价值。而不是，用什么方案去解决这些问题。这应该是当前研究中有待解决的问题。
|
||||
> 不对，这里不应该指出研究中存在的问题，应该给出研究隐私保护、使用人工智能方法、特征提取、在线机器学习的方法的好处。
|
||||
|
||||
1. √在线学习机制，能够实时监控恶意软件的变化，掌握最新的恶意软件的情报。为恶意软件情报的利用提供高效、快捷、准确的生成方案。
|
||||
2. √联邦学习生成恶意软件的特征，保护用户或组织本地的隐私和数据。
|
||||
3. ×构建威胁情报共享系统，实现情报实时共享。增强威胁相应系统的响应速度。
|
||||
4. √恶意软件识别与人工智能方法的可解释研究，用来增强恶意软件检测与后续的防御工作。
|
||||
5. ×与威胁情报领域结合，从恶意软件特征->转换为恶意软件威胁情报->通过共享的方式->参与到恶意软件的分析和检测中->更好的识别恶意软件。
|
||||
|
||||
因此，研究在保护用户隐私的前提下，使用人工智能方案实现恶意软件特征的提取，具有理论价值与应用价值。
|
||||
|
||||
## 2 国内外研究现状及发展动态3000字
|
||||
|
||||
### 国内外研究现状
|
||||
* Android恶意软件的研究现状。
|
||||
* 机器学习算法可解释性研究现状。
|
||||
* 联邦学习算法的研究现状。
|
||||
|
||||
|
||||
|
||||
### 有待解决的问题
|
||||
|
||||
* 传统的方案忽视了隐私保护。无法解决隐私保护与机器学习应用的矛盾。
|
||||
* 传统的方案没有给出理论的解释，人们往往只能通过机器学习方法进行分类，却无法解释分类的结果。分类器往往无法部署应用。结合人工智能（机器学习）+可解释性，通过大数据分析得出。自动化构建。恶意软件特征提取方案。
|
||||
* 传统的方案无法保证病毒特征的更新。====>联邦在线学习系统，能够跟随最新识别出的病毒，更新联邦学习模型的特征。
|
||||
* 联邦学习应用存在的问题：
|
||||
* 模型中毒
|
||||
* 模型隐私。前两个是训练过程中的威胁问题。
|
||||
* 用户本地无法提供模型标签。训练本身存在的问题，使用半监督学习，能够推断用户在本地的运行程序的标签。
|
||||
|
||||
|
||||
## 3 论文的研究目标和研究内容1000字
|
||||
|
||||
### 研究目标
|
||||
本课题对恶意软件检测与分析过程进行研究，旨在实现一个基于联邦学习的恶意软件检测与威胁信息生成系统，该系统具有如下特点：
|
||||
1. 能够在保护用户隐私的前提下，完成深度神经网络模型的训练，模型在恶意软件检测中具有较好的性能和效果。
|
||||
2. 生成恶意软件的威胁信息，作为恶意软件判别的指标和依据，包括浅层特征和深层特征组合信息，威胁信息能够解释模型判别的原因。
|
||||
3. 能够在线学习新的恶意软件特征，处理具有新特征的恶意软件。
|
||||
|
||||
|
||||
### 研究内容
|
||||
|
||||
1. 基于深度神经网络的恶意软件检测模型。给出模型效果的评估方法。
|
||||
2. 基于神经网络解释方法的威胁信息生成方法 。给出解释方法的评估方法。
|
||||
3. 面向隐私保护的联邦在线学习方法。
|
||||
|
||||
## 4 关键技术和技术难点2000字
|
||||
|
||||
### 关键技术路线
|
||||
> 关键结束应该论述的是流程和原理，是解决问题的流程和原理，可以不与具体的方法挂钩，但是需要是所有方法通用的流程和步骤。
|
||||
----------------------------
|
||||
神经网络模型的关键技术
|
||||
* 神经网络建模技术（把技术流程和原理画出来）
|
||||
* 特征生成技术（通过特征工程确定特征的维度，利用APK分析工具，提取恶意软件的特征）
|
||||
* 模型构建技术（怎么建立神经网络模型，调整神经网络模型的参数）
|
||||
* 模型评估方法（圆下曲线、F1结果）
|
||||
|
||||
----------------------------
|
||||
威胁信息生成方法的关键技术
|
||||
* 威胁信息生成技术（把技术流程和原理画出来）
|
||||
* 如何解释神经网络（LIMI算法的原理）
|
||||
* 如何评估解释结果（Can we trust your explanation）
|
||||
* 如何规范化解释结果生成威胁信息（IOC）
|
||||
|
||||
----------------------------
|
||||
面向隐私保护的联邦在线学习方法的关键技术
|
||||
* 联邦在线学习技术（把技术流程和原理画出来）
|
||||
* 隐私保护技术（防止模型窃取）
|
||||
* 安全增强技术（防止模型中毒，来自恶意客户端的攻击，增强模型的鲁棒性和安全性）
|
||||
* 联邦学习技术（各个步骤，如何实现联邦学习过程）
|
||||
* 在线学习技术（需要搭建在线的学习系统，能够用户选择参与到训练计划当中，确定何时进行再次荀兰）
|
||||
|
||||
|
||||
### 技术难点
|
||||
> 上述关键技术中存在的难点，可以是重述，从困难的角度解释
|
||||
* 客户端数据未标注
|
||||
* 数据不对称
|
||||
* 数据非独立同分布
|
||||
---------------------------
|
||||
* 神经网络解释
|
||||
---------------------------
|
||||
* 梯度保护
|
||||
* 安全增强
|
||||
* 通信问题
|
||||
* 激励问题和选择问题
|
||||
|
||||
|
||||
|
||||
|
||||
## 5 论文的研究计划100字
|
||||
|
||||
----------------------
|
||||
撰写说明
|
||||
|
||||
1. 现在的关键问题，是精力过分的集中在了联邦学习上。要做的工作，最重要的一部分还是
|
||||
* “恶意软件”识别->恶意软件特征生成（选取与生成）->恶意软件威胁表征（给出可解释性）->恶意软件威胁情报生成（生成规范格式）
|
||||
2. 关于如何引出想要研究的问题：
|
||||
* Android普及性---->恶意软件分析的需求+隐私保护的需求---->（恶意软件识别->恶意软件特征生成->机器学习的可解释性）+联邦机器学习。
|
||||
* 同样研究成果可以通过多种方式进行扩展。扩展到win领域以及与隐私保护相关的所有领域。
|
||||
* 相比于以前的方法的优势，以【1】隐私保护为核心，构建【2】基于威胁情报的恶意软件协同防御体系。单独的恶意软件识别功能，相关的研究落地困难，停留在理论方法的阶段，该面向恶意软件特征的方法，【3】能够提供一中可解释性的辅助手段，对现有的方法进行增强，而不是取代。【4】使用联邦在线学习，还能持续获取千变万化的恶意软件特征。
|
||||
3. 接下来主要工作：
|
||||
* 联邦学习只是系统的实现方案。联邦学习系统/模式。应该这么说。分布式机器学习的方式。
|
||||
* 机器学习算法是核心。
|
||||
* 算法的可解释性-特征生成是关键。
|
||||
* Android是场景，恶意软件是对象，特征生成是目标。
|
||||
* > 接下来应该主要研究机器学习和算法的可解释性，在Android恶意软件的场景下进行分析。
|
||||
4. 要想完成开题报告，还有许多核心工作要做。
|
||||
* 需要重新阅读联邦学习相关的东西。参考其他文章中的联邦学习系统框架，确定自己如何应用联邦在线学习的模型。
|
||||
* 需要重新阅读威胁情报相关的文章。给出目标生成的特生描述格式。
|
||||
* 需要重新阅读恶意软件相关的文章。给出核心的算法模型，和可解释性的方案。
|
||||
5. 需要论述自己的特征选择方案
|
||||
* 如何通过主成分分析等方案，分析特征对最终结果的影响。会不会有一个特征对结果没有影响，但是通过另外一个特征的组合对结果产生影响呢？应该给出特征选择的理由，或者通过数学的方法进行特征筛选。
|
||||
6. 特征生成的自动化。
|
||||
* 可以通过人工判定选取某些特定的特征，但是在训练过程中，特征提取、特征选择、特征生成工作，必须在Android自动完成。（那为什么不将这些生成的特征直接发回中央服务器进行训练呢？因为，数据不能动？google的Gboard训练过程也是啊，直接得到用户下面即将输入的内容，那是肯定不能发送的。）
|
||||
7. 最后的数据流图
|
||||
* 原始数据---->特征工程（特征提取、特征选择、特征生成）---->机器学习算法（神经网络）---->联邦学习系统---->恶意软件分类---->表征生成---->威胁情报生成---->威胁情报共享---->恶意软件检测。
|
||||
8. 是否也应该给出训练方案。
|
||||
* 这应该是系统构建过程应该给出的内容。可以考虑给出训练方案，应该包括什么内容？那些神经网络训练的方式。
|
||||
9. 恶意软件特征技术说明
|
||||
* 特征提取，提取能够描述目标的**原始特征**，包括静态和动态特征，决定后续的研究。
|
||||
* 特征选择，通过信息量、贝叶斯网络等方法选择合适的特征。
|
||||
* 特征生成，通过特征组合、主成分分析等，生成**新的特征**。
|
||||
* > 经过DNN训练之后能够得到**软件表征**
|
||||
10. 关于恶意软件特征生成技术的说明：
|
||||
* 恶意软件特征生成技术，本来就有。相关的特征工程也做过很多工作。分析那些主要的特征和次要的特征，以及特征的组合对最终结果的影响。
|
||||
* 我们应该通过横向对比相同的技术，基于神经网络的特征工程的优越性。
|
||||
* 所以说，我们本质上的工作还是包括两部分，恶意软件的特征工程、基于生成特征的恶意软件识别。
|
||||
* 其实这是一个循环过程。通过恶意软件的识别，增强恶意软件的特征生成。然后又通过增强的特征，去识别最新的恶意软件。他不能发现一个完全具有新特征的恶意软件。但一旦发现它就能迅速记录恶意软件的特征，并通过威胁情报共享机制，共享出去，增强现有的恶意软件识别工作。
|
||||
11. 需要看一下神经网络风格迁移相关的文章或者教程。
|
||||
* 训练一个神经网络，记录梵高的画的风格。训练一个神经网络，记录恶意软件的内在联系。
|
||||
* 然后将这种风格应用到其他画作上边。然后使用这种内在联系评估其他的软件。
|
||||
12. 关于特征工程和基于特征工程的恶意软件检测。我们想做的到底是那一部分。
|
||||
* 两者有很严格的区分。我觉得我们相用后边的技术实现前边的过程。
|
||||
* 正常的过程是提取特征、利用特征进行恶意软件的分类。我们的目标是利用DNN分类器，提取软件的深度行为特征。
|
||||
13. 关于涉及隐私的充分性。
|
||||
* 正常情况：检测到恶意软件，将恶意软件本身和相关的所有数据以及恶意软件的行为记录一同上传到中央服务器，在重要服务器由专门的网络分析人员利用分析工具或者机器学习方法，分析恶意软件的特征，必然会侵犯隐私。
|
||||
* 应用商店的检测，是利用多种方式对APK进行检测。没办法考虑到第三方应用商店、网页上下载的APK。存在检测的漏洞。
|
||||
* 只上传与隐私无关的APK分析证据不足，任意丢失软件的恶意行为信息。
|
||||
* 用于恶意软件的检测的数据包含用户的行为操作习惯和软件倾向列表。回报楼用户的行为。
|
||||
14. 对于联邦学习应用的两个条件：
|
||||
* 数据集应该具有较大隐私，所以无法上传；
|
||||
* 对于有监督学习下的任务，可以很轻易地判断其标签；
|
||||
15. 关于第二个问题的解决方案：
|
||||
* 是否标签会在Android本地很容易获得？通过Android本地的恶意软件判别软件？
|
||||
* 存在两种思路：一种是通过半监督的学习，服务器上有软件的标签？那这种标签又是怎么来的，当面对一个新的软件的时候，又怎么会得到标签呢？这都无所谓，因为这是训练集。
|
||||
* 另一种是通过Android本地生成的标签。Android本身也会运行大量的恶意软件识别软件，可以借助其他东西来识别。
|
||||
* 主要是为了在保护隐私的情况下获得足够多的数据，又能实时掌握新的样本的特征。本质上还是训练一个能够应用的模型。是一个静态的模型。
|
||||
16. 关于用户端没有足够的数据标签的问题解决方案：
|
||||
* 使用安全的半监督学习方式。在服务器上给定标签，在用户端获取软件运行相关的知识。
|
||||
* 或者通过用户本地的恶意软件识别工具，在本地识别是否是恶意软件。
|
||||
17. 具体的模型重述：
|
||||
* 恶意软件特征自动提取模型、基于特征自动提取模型的恶意软件判别模型、基于判别模型的威胁信息自动生成模型
|
||||
----------------------
|
||||
撰写计划
|
||||
|
||||
周一下午完成文献综述部分，和最后的计划安排
|
||||
1. 恶意软件，应该重新阅读文献，总结别人提到的方法。直接添加文献引用。使用citavi。从中文开始，一点一点往下读，每一特类别提供三篇文献，凑出9篇文献即可。再加上文献综述的文献。
|
||||
2. 联邦学习，直接复制黏贴自己的文献综述里的内容即可。包括参考的文献。
|
||||
3. 给出其中存在的问题。
|
||||
|
||||
周一晚上完成的任务
|
||||
1. 接下来要做的事情还挺多的。总感觉存在的问题还挺多的。写完开题报告，然后开始做工程。做工程需要大量的学习基础知识，知道怎么完成一个基础的机器学习算法，到使用高级的编程接口实现神经网络。以及联邦学习相关的内容。太多东西了。
|
||||
2. 感觉场景的定义，跟我上次开题的时候说的，也没有什么差别，虽然说的不怎么清楚，但本质上就是威胁情报的自动生成模型。恶意软件知识自动获取，然后进行恶意软件特征自动提取模型、基于特征自动提取模型的恶意软件判别模型、基于判别模型的威胁信息自动生成模型。到现在为止，我们也只是知道了要做个什么。对要怎么做这种事情，完全没有思路。我觉得师兄对具体的算法的了解程度跟我可能也不相上下。感觉要给师兄讲明白很多东西，挺麻烦的，我觉得我们两个都应该补充一下机器学习的基础知识，至少在讨论的时候，不会很尴尬。他似乎对一些机器学习基本逻辑基本的思想还不是很了解。虽然我也了解很少，但如果想对算法或模型做更改，必须得对这些东西能够运用熟练。不只是那篇文献中要用的方法，还有周边的方法。能够丰富自己的思想。我觉得机器学习和神经网络，是一门学科，不能当那种简单的工具来使用说明，到最后其中的东西都不是很理解，更别说构建、使用、更改模型了。感觉师兄特别懂得怎么应付夏老师。但是这不是写本子，得有一些真正的知识积累才能做出东西来吧。我觉得我应该提醒他，去补充一些领域的基础知识。跟一个能力比自己强一些的人合作还是好啊。
|
||||
3. 研究内容、关键技术应该是具体的实现方案。主要是论证实验方案的可行性。所以现在要做的并不是通过论文，论证自己要做的东西有价值，要做的东西可行。而是通过论文中提到的技术和相关的技术，来构建一个模型实现的框架。所以现在应该补充基础知识，然后搞明白怎么样实现整个系统。
|
||||
4. 让我这个老年人来区分一下这几个问题的关系。存在的问题（存在一些当前没有解决的问题）----->研究意义（解决存在的三个问题很有意义）----->研究的目标（有一个产品，这个产品能解决当前存在的问题，）---->研究的内容（实现研究目标的手段）
|
||||
5. 需要明确一下几个名词的含义：方法、技术、模型、系统
|
||||
|
||||
周二的任务
|
||||
1. 上午：完成文献阅读，确定研究内容-关键技术-技术难点的对应关系
|
||||
2. 下午：完成关键技术和技术难点的论述。
|
||||
3. 晚上：画好必要的图。
|
||||
|
||||
-----------------------------------
|
||||
第二版撰写计划
|
||||
|
||||
1. 语言和修辞：特有名词确定下来，保持论述的一致性。改善说话的方式，你写的那个句子啊，我自己读都不通顺，太难了。
|
||||
2. 总体框架：需要画一个总体框架，将各种技术结合起来。1个是技术的总体框架，另一个是如何使用这些技术完成研究的内容，实现研究的目标。
|
||||
3. 论述重点：研究内容改成两点，关键技术保持不变。或者改成三点，论述的侧重点发生变化，你要让别人明白，你要做的主要不是训练一个神经网络模型，检测效率有多高。而是提出了一种面向隐私保护的训练方式和基于神经网络解释方法的威胁信息生成。联邦学习！！！威胁信息生成！！！关键。 论述方式应该改变，将重点放在特征生成上。
|
||||
4. 篇幅：减少研究现状中关于恶意软件检测的综述。
|
||||
5. √序号和流程：需要给出序号，对于并列的部分可以使用单行序号。
|
||||
6. 敲定细节：神经网络模型还是深度神经网络模型，哪种神经网络模型。
|
||||
7. 需要将研究内容写得更加详细。需要指明每个研究内容下的研究细节。包括哪些东西。可以改成两个，完全可以。而且后边的东西也需要逐次强调。可以考虑将特征工程，分出来。
|
||||
8. 需要用什么样的形式描述研究内容呢。？
|
||||
9. 不能再添加新的东西了。
|
||||
|
||||
我们要研究的内容是：生成恶意软件的威胁信息，而不是恶意软件检测。你在论述的时候必须讲明白这点。或者可以在总体架构中说明这点。
|
||||
|
||||
应该包括两个模型：恶意软件检测模型+威胁信息生成模型====>威胁信息。第一：我们要提出一种神经网络解释方法，理解神经网络的输入输出之间的关系，尝试提取网络中的深度特征。第二，我们实现了一种能够保护隐私的模型训练方法。
|
||||
|
||||
现在应该做的是从头开始重新构建一边。
|
||||
|
||||
--------------------------
|
||||
关于几个名词之间的关系讨论
|
||||
|
||||
* 研究问题：提出当前研究存在的问题。
|
||||
* 研究意义：解决当前研究中存在的问题很有意义。
|
||||
* 研究目标：定量或定性的地解决当前研究中存在的问题。
|
||||
* 研究内容：研究的核心内容。另外需要将这些研究内容分成一些独立的内容进行描述。应该是一种算法、模型和机制。
|
||||
* 关键技术：实现研究内容中需要用到的技术。应该是方法、技术、系统，如何实现研究内容中提出的模型和方法。
|
||||
|
||||
在“联邦神经网络”“联邦在线学习”“半监督学习”，联邦神经网络模型。使用联邦学习的方式训练。需要解决模型更新的问题-构建在线学学习系统。需要解决数据没有标签的问题-使用半监督学习的训练方式。------后边的应该是一种子技术和子方法。
|
||||
|
||||
--------------------------------
|
||||
方法与模型的理解
|
||||
1. 神经网络模型，可以包括特征生成方法、神经元设计方法、训练方法等。模型是一种集合。
|
||||
2. 模型pattern更像是一种数学上的定义，是一堆数学公式的集合。
|
||||
3. 方法Methodology更像是一种实现上的途径，是一对技术或者实践的路径。
|
||||
4. 在论述上进行区分。划定这些名词。模型是静态的，方法是动态的，是一个流程，是模型的实现。系统是这一切的集合。
|
||||
|
||||
----------------------------------
|
||||
模型命名规范
|
||||
|
||||
神经网络模型部分需要用到的内容：
|
||||
* 特征提取工具
|
||||
* 恶意软件检测方法
|
||||
* 深度神经网络模型
|
||||
|
||||
威胁信息生成部分需要用到的内容：
|
||||
|
||||
|
||||
联邦在线半监督学习部分需要用到的内容：
|
||||
* 基础分类器（使用多个简单的机器学习分类器，利用服务器上分类号的标签进行自训练。然后将训练好的姿训练分类器发送到客户端，对数据集进行标记，并挑选误差最小的标记点，作为有监督学习的数据。）
|
||||
* 联邦学习框架、技术（）
|
||||
* 在线学习系统
|
||||
|
||||
|
||||
|
||||
突然感觉时间不够了。得多看点东西，好好准备开题报告。跟吕老师说的一样，把很多东西在开题报告中直接说明白。
|
||||
|
||||
|
||||
|
||||
-------------------------------
|
||||
画图问题
|
||||
1. 突出数据的隐私性问题。（隐私数据如何标注）
|
||||
2. 联邦学习的模型融合过程？可以画一下。
|
||||
3. 半监督学习未标注的数据和已标注的数据相互结合？可以突出一下。
|
||||
4. 图和图的说明要清晰，有个图的小图没有名字。
|
||||
5. 模型解释需要画出神经网络解释的过程。
|
||||
6. 论述语言还需要修改，
|
||||
7. 文献综述中我们改成本文
|
||||
|
||||
> 关于作图的一点心得。作图主要有两个方向：图标化和图形化。图标化即利用像素文件构成的图片图标作为主体，进行说明，更加通俗易懂，适合在PPT上展示，给别人说明流程。图形化多使用方形、圆形等图形+文字构成的框图作为主体，更适合在word中给别人说明数据流、系统结构等原理。两者的侧重应该不同。
|
||||
> 可以在昨晚开题报告后，学习一周的PPT，word已经基本掌握了所有的技巧了吧，毕竟专门学过。以后用得到数据处理，再去学Excel电子表格，或者Python、MATLAB做数据处理。
|
||||
|
||||
------------------------------
|
||||
1. √修改开题报告
|
||||
1. √根据夏老师所标记的内容有所侧重（联邦在线学习和恶意软件的广告）
|
||||
2. √威胁信息的定义以及生成的相关内容。
|
||||
2. ×画图。蒋师兄发的那些图有点好看，可以模仿一下。因为有涉及到太多的原理算法相关的内容。可以日后做结题的时候这样画。
|
||||
3. √做PPT。今天只需要完成PPT的框架。
|
||||
4. √PPT的美化
|
||||
5. √国内外研究现状处的表格问题
|
||||
6. √威胁信息生成的研究现状有明显的逻辑问题
|
||||
7. √隐私窃取攻击？模型窃取攻击？威胁模型存在严重问题
|
||||
8. √研究内容处的框图问题。
|
||||
9. √PPT文字太多
|
||||
10. √打印PPT讲稿问题
|
||||
11. √开题报告修改，添加图相关的描述。
|
||||
12. √文献综述修改，错字等内容检查。
|
||||
13. √系统提交材料。
|
||||
14. √打印开题的材料
|
||||
|
||||
|
||||
------------------------------------
|
||||
PPT说明
|
||||
|
||||
* 颜色
|
||||
* 背景颜色：靛蓝 -20
|
||||
* 文字颜色：黑白
|
||||
* 文字特殊标注：靛蓝 0
|
||||
* 前景颜色：靛蓝 0
|
||||
* 线框颜色：靛蓝 +20
|
||||
* 字号
|
||||
* 目录32
|
||||
* 标题32
|
||||
* 一级24
|
||||
* 二级20
|
||||
* 三级16
|
||||
* 表格18
|
||||
* 参考文献14
|
||||
@@ -1,78 +0,0 @@
|
||||
# 知乎，论文阅读
|
||||
|
||||
> 文献相关内容
|
||||
> * 检索
|
||||
> * 筛选
|
||||
> * 阅读
|
||||
> * 笔记
|
||||
> * 管理
|
||||
|
||||
## 阅读方法
|
||||
|
||||
|
||||
|
||||
* 标题、关键字-> 摘要、结论-> 图表、引言-> 结果、讨论
|
||||
## 论文笔记
|
||||
|
||||
|
||||
* 序号、文献名称、文献类型、发表时间、关键部分、研究方法、存在的问题、产生的原因、解决方法、创新点、下一步工作、不足之处。
|
||||
|
||||
|
||||
## 管理工具
|
||||
|
||||
### 候选项
|
||||
|
||||
* citavi
|
||||
* noteExpress(放弃)
|
||||
* Mendeley
|
||||
|
||||
> 二选一吧。
|
||||
|
||||
* citavi也太强大的有各种梦幻的功能，根本爱不释手好吧。但是感觉现阶段的自己，根本用不到这些东西，暂时还没有写论文的计划。
|
||||
* 暂时先使用mendeley吧。主要能提供最基础的文献阅读和做笔记的功能，这对我来说，刚好够用。等以后需要更加复杂的科研工作了，再使用citavi。（citavi的检索功能也强大的一批。）
|
||||
* 一边用简单的，一边学复杂的。citavi，牛皮。
|
||||
|
||||
|
||||
### 最终的选择
|
||||
|
||||
* 最终还是选了了citavi，我发现做选择远比向一个目标努力奋斗要艰难的多。尤其是当感性和理性这两种本就互相冲突的思维，体现在两个选项上的时候。虽然理性上提示我，mendeley能够更好的适应我的需求，更加简洁，能提供必要的功能。但是好奇心驱使我，无法放下牛逼的citavi，那种想要了解他的冲动，太强烈了。
|
||||
* 最终选择了citavi，并不是因为工作需要，而是因为不得不选择他。因为如果我不选择他，我就会一直不断地思考，如果是citavi会不会能够更好的实现，如果是citavi，会怎么做。他的复杂和技巧性，深深地吸引了我。大概这就是选择的原因吧。
|
||||
* 所以，选择了citavi。
|
||||
|
||||
|
||||
## 个人阅读方案
|
||||
|
||||
### citavi
|
||||
|
||||
* 直接标注：主要内容
|
||||
* 红色标注：关键内容，需要手动添加注释说明
|
||||
|
||||
* summary：读完论文后给的。
|
||||
* comment：读完章节或段落后给的。
|
||||
|
||||
|
||||
* quotation：引用阶段使用的内容，阅读论文的时候不需要。需要在写论文的时候，添加category，然后添加每篇文章的direct、indirect quotation
|
||||
|
||||
### 三次阅读
|
||||
|
||||
1. 泛读中文
|
||||
1. 摘要、引言、结论、图表
|
||||
2. citavi黄色、红色、summary、comment标注
|
||||
3. citavi星级&评价。content context。读完之后给出
|
||||
2. 精读英文
|
||||
1. 原理、实验
|
||||
2. citavi论文笔记
|
||||
3. 引用4星
|
||||
1. category（与论文关系）
|
||||
2. quotation（引用方式）
|
||||
|
||||
## citavi使用教程
|
||||
|
||||
### 文献导入
|
||||
|
||||
1. 直接输入文献内容，添加文献文件和信息。
|
||||
2. 通过ID添加（arxivID、pumid、doi、isbn）
|
||||
3. 直接添加pdf自动生辰给相关信息
|
||||
4. 通过citavi picker从网页上抓取。
|
||||
|
||||
> 在导入文献的时候，可以通过手动的方式补全文献信息、content内容信息、context管理信息。并且导入这些信息的时候，citavi能够自动更新参考文献的格式。
|
||||
@@ -1,36 +0,0 @@
|
||||
对于场景定义中存在的问题
|
||||
|
||||
1. 我们是要解决“数据孤岛”的问题还是“数据隐私性”的问题。应该是两者都有？我们的训练数据是具有“强隐私性”特征的吗？所谓的那些软件的Manifest中的权限声明等数据，是不需要下载到客户端就可以知道的数据，而且与用户的本地运行环境没有关系。
|
||||
2. 我们的训练数据是否是在安卓本地生成并带有标记的吗？确定应用场景是面向不同的安卓用户的联邦学习？还是面向不同安全厂商的联邦学习？前者是cross-device，后者是cross-silo跨组织的联邦学习。恶意软件的数据为什么会在Android设备上打上标签。
|
||||
3. 我觉得联邦迁移学习不应该成为我们的研究方向，当前需要解决的问题已经够多了。就算每个设备的数据都一样，都是具有标签的完整的数据，需要做的工作也足够了。“联邦迁移学习”的实现，本身就是一个博士毕业的工作量（迁移真没有那么容易）。
|
||||
4. 我们到底是在共享什么？数据本身具有特征，能够被机器学习模型记录下来。我们只要共享模型本身，就相当于共享这一类恶意软件的特征。利用这个特征（或者是模型）去识别新的恶意软件。当新的恶意软件被识别后，又能迅速添加到模型当中，模型又能去识别新的恶意软件。
|
||||
5. 如何说明从联邦学习系统的搭建、基于机器学习的恶意软件分类、基于机器学习的恶意软件特征提取、网络威胁情报生成、网络威胁情报共享的一系列工作之间的相关性。感觉对网络威胁情报的了解之后。感觉上，这里的每一个工作都是一篇论文，我们要做的是那一部分工作。
|
||||
|
||||
--------------
|
||||
关于具体要做的事情还是有很多不理解的东西
|
||||
|
||||
1. 存在一个很严重的问题，很多时候其他人应该是能够构建一个模型或者系统，用于对恶意软件分类。而我们要做的是构建一个系统，生成一个构建模型的方案模型是持续改进的，并不是为了分类，而是为了不断地继续应用下去。所以我们的目标如果是一个系统的话，应该通过哪种方式评价系统的好坏？如果是模型的话，应该对比其他的软件分类模型，对比软件分类模型，给出模型的精确率和召回率，可以实现模型好坏的评价。
|
||||
|
||||
|
||||
------------------------------
|
||||
|
||||
11月26日讨论
|
||||
|
||||
1. 我觉得联邦学习的目标是训练一个能用的模型，使用这个模型去解决问题。它的目标不是训练过程，训练过程只能让模型更准确，更准确的完成模型本来应该完成的任务。它不是一个自洽的系统，能够提取病毒的特征，当恶意软件的特征发生变化时，联邦学习就能用新的数据去训练，让模型能够识别具有新特征的目标。
|
||||
2. 蒋师兄认为，联邦学习是一个能追踪病毒变化过程的工具，当病毒发生变化后，能够通过联邦学习的训练过程，迅速发现病毒的特征变化。
|
||||
3. 以上观点，有一定的道理。联邦学习的输出可能有两种结果，一种是恶意软件识别（检测），一种是恶意特征生成。软件识别是一个“分类问题”，恶意特征生成，是一个“生成问题”，两者是不一样，应该通过不同的学习方法来实现。所以在一开始就确定学习模型的输入输出至关重要。
|
||||
4. 另外有一点，联邦在线学习，确实能够通过学习过程掌握恶意软件的特征。（模型本身相当于计算某种数据特征，记录数据的特点和数据之间的关联特征）。但是模型是黑盒，这些特征通过神经网络进行描述，所以如果要输出这些特征，需要对神经网络进行解释。
|
||||
5. 按照以上思路，确实能够理解，并且有一个很合理的解释。难点主要体现在一下方面
|
||||
* 机器学习技术范式的确定
|
||||
* 联邦学习的细节问题的研究
|
||||
* 联邦在线学习系统的实现
|
||||
* 神经网络的可解释。
|
||||
6. 我想说的是否有另外一种思路。直接使用数据挖掘方法，提取数据中隐含的特征，而不是通过神经网络进行分类，然后对神经网络进行可解释性的演技。特征提取的方法？数据挖掘的方案？将特征看做是一个“生成问题”，但是没有足够的训练数据，即没有输出标签。神经网络学习到的的就是隐含的内在的特征，所以这种特征，从本质上来说，确实是无法表述的。但是可以结合特征工程和关联分析相关领域的方法，对神经网络得出的结果加以说明和分析。
|
||||
|
||||
---------------------------
|
||||
关于研究恶意软件的流程说明
|
||||
|
||||
1. 特征选取
|
||||
2. 机器学习算法
|
||||
3. 联邦学习系统
|
||||
4. 评估方式（最新的论文可以）
|
||||
@@ -1,19 +0,0 @@
|
||||
# 组会的PPT结构
|
||||
|
||||
|
||||
> 虽然我没有定义场景，但是我应该介绍每一种算法能够适应的场景，用来解决什么问题。或者解释一下机器学习算法的本质，然后再给出每一种算法的应用条件，从而确定可以解决什么问题。
|
||||
> 算法原理+应用场景
|
||||
|
||||
|
||||
## 机器学习
|
||||
|
||||
## 深度学习
|
||||
|
||||
## 联邦学习
|
||||
|
||||
|
||||
## 情报利用（这一个自己好像并没有接触很多诶，得等下一次组会了）
|
||||
|
||||
$$
|
||||
w_{t+1}\leftarrow w_t - \eta \sum_{k=1}^K \frac{n_k}{n}g_k
|
||||
$$
|
||||
@@ -1,115 +0,0 @@
|
||||
# 基于联邦学习的Android恶意软件检测方法研究
|
||||
|
||||
## 1 论文选题的背景与意义1000字
|
||||
### 选题背景
|
||||
Android场景->恶意软件的研究->隐私保护的提出
|
||||
|
||||
1. 构建威胁情报共享系统。
|
||||
2. 恶意软件数据分析生成恶意软件情报。
|
||||
3. 使用联邦在线学习，训练恶意软件情报的自动生成模型。
|
||||
|
||||
### 选题意义
|
||||
> 应该描述存在的为，和解决这些问题的价值。而不是，用什么方案去解决这些问题。这应该是当前研究中有待解决的问题。
|
||||
> 不对，这里不应该指出研究中存在的问题，应该给出研究隐私保护、使用人工智能方法、特征提取、在线机器学习的方法的好处。
|
||||
|
||||
1. √在线学习机制，能够实时监控恶意软件的变化，掌握最新的恶意软件的情报。为恶意软件情报的利用提供高效、快捷、准确的生成方案。
|
||||
2. √联邦学习生成恶意软件的特征，保护用户或组织本地的隐私和数据。
|
||||
3. ×构建威胁情报共享系统，实现情报实时共享。增强威胁相应系统的响应速度。
|
||||
4. √恶意软件识别与人工智能方法的可解释研究，用来增强恶意软件检测与后续的防御工作。
|
||||
5. ×与威胁情报领域结合，从恶意软件特征->转换为恶意软件威胁情报->通过共享的方式->参与到恶意软件的分析和检测中->更好的识别恶意软件。
|
||||
|
||||
因此，研究在保护用户隐私的前提下，使用人工智能方案实现恶意软件特征的提取，具有理论价值与应用价值。
|
||||
|
||||
## 2 国内外研究现状及发展动态3000字
|
||||
|
||||
### 国内外研究现状
|
||||
* Android恶意软件的研究现状。
|
||||
* 机器学习算法可解释性研究现状。
|
||||
* 联邦学习算法的研究现状。
|
||||
|
||||
|
||||
|
||||
### 有待解决的问题
|
||||
|
||||
* 传统的方案忽视了隐私保护。无法解决隐私保护与机器学习应用的矛盾。
|
||||
* 传统的方案没有给出理论的解释，人们往往只能通过机器学习方法进行分类，却无法解释分类的结果。分类器往往无法部署应用。结合人工智能（机器学习）+可解释性，通过大数据分析得出。自动化构建。恶意软件特征提取方案。
|
||||
* 传统的方案无法保证病毒特征的更新。====>联邦在线学习系统，能够跟随最新识别出的病毒，更新联邦学习模型的特征。
|
||||
* 联邦学习应用存在的问题：
|
||||
* 模型中毒
|
||||
* 模型隐私。前两个是训练过程中的威胁问题。
|
||||
* 用户本地无法提供模型标签。训练本身存在的问题，使用半监督学习，能够推断用户在本地的运行程序的标签。
|
||||
|
||||
|
||||
## 3 论文的研究目标和研究内容1000字
|
||||
|
||||
### 研究目标
|
||||
本课题对恶意软件检测与分析过程进行研究，旨在实现一个基于联邦学习的恶意软件检测与威胁信息生成系统，该系统具有如下特点：
|
||||
1. 能够在保护用户隐私的前提下，完成深度神经网络模型的训练，模型在恶意软件检测中具有较好的性能和效果。
|
||||
2. 生成恶意软件的威胁信息，作为恶意软件判别的指标和依据，包括浅层特征和深层特征组合信息，威胁信息能够解释模型判别的原因。
|
||||
3. 能够在线学习新的恶意软件特征，处理具有新特征的恶意软件。
|
||||
|
||||
|
||||
### 研究内容
|
||||
|
||||
1. 基于深度神经网络的恶意软件检测模型。给出模型效果的评估方法。
|
||||
2. 基于神经网络解释方法的威胁信息生成方法 。给出解释方法的评估方法。
|
||||
3. 面向隐私保护的联邦在线学习方法。
|
||||
|
||||
## 4 关键技术和技术难点2000字
|
||||
|
||||
### 关键技术路线
|
||||
> 关键结束应该论述的是流程和原理，是解决问题的流程和原理，可以不与具体的方法挂钩，但是需要是所有方法通用的流程和步骤。
|
||||
----------------------------
|
||||
神经网络模型的关键技术
|
||||
* 神经网络建模技术（把技术流程和原理画出来）
|
||||
* 特征生成技术（通过特征工程确定特征的维度，利用APK分析工具，提取恶意软件的特征）
|
||||
* 模型构建技术（怎么建立神经网络模型，调整神经网络模型的参数）
|
||||
* 模型评估方法（圆下曲线、F1结果）
|
||||
|
||||
|
||||
----------------------------
|
||||
面向隐私保护的联邦在线学习方法的关键技术
|
||||
* 联邦在线学习技术（把技术流程和原理画出来）
|
||||
* 隐私保护技术（防止模型窃取）
|
||||
* 安全增强技术（防止模型中毒，来自恶意客户端的攻击，增强模型的鲁棒性和安全性）
|
||||
* 联邦学习技术（各个步骤，如何实现联邦学习过程）
|
||||
* 在线学习技术（需要搭建在线的学习系统，能够用户选择参与到训练计划当中，确定何时进行再次荀兰）
|
||||
|
||||
|
||||
### 技术难点
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## 5 论文的研究计划100字
|
||||
|
||||
|
||||
|
||||
-------------------------------------
|
||||
开题答辩后的问题修改
|
||||
|
||||
1. √感觉我研究的内容，三个方法，都是模型训练的方法。用于改进模型训练过程中存在的问题。而不是恶意软件检测的方法，也不是检测过程中存在的问题。所以题目应该是“基于联邦学习的恶意软件检测方法研究吗”，研究的是恶意软件检测方法吗？研究的是恶意软件检测模型的构建的方法。（貌似没有什么问题）
|
||||
2. √数据集的问题，需要指出数据集的相关研究。
|
||||
3. 突出隐私保护的方法
|
||||
4. Android恶意软件的特点指明（夏老师）
|
||||
1. √传统的恶意软件检测方法的说明，如何侵犯了用户隐私，如何进行代码变化
|
||||
2. 恶意软件分析技术的说明。
|
||||
5. 系统架构图（熊老师
|
||||
6. 完成
|
||||
1. 联邦学习
|
||||
2. 半监督学习
|
||||
3. 增量学习
|
||||
4. 系统架构
|
||||
|
||||
|
||||
最大的教训就是，充分利用好自己身边的资源啊。老师师兄啥的，哪个都能给你点指点的，广泛地咨询，再动笔写。
|
||||
|
||||
|
||||
1. 联邦学习研究内容、技术和系统框架结构的明确。
|
||||
2. 半监督学习的算法和技术
|
||||
3. 增量学习的算法和技术。
|
||||
|
||||
|
||||
-----------------------------
|
||||
特征敏感
|
||||
@@ -1,43 +0,0 @@
|
||||
## 主要方面
|
||||
* 毕业设计
|
||||
* 实习就业
|
||||
* 生活娱乐
|
||||
|
||||
## 毕业设计
|
||||
1. **技术调研**，三个方向的相关论文阅读技术范式确定。
|
||||
2. **基础知识**，实现机器学习+深度学习的基本算法。并看李宏毅的教程和西瓜书。
|
||||
3. **数据集和预处理**工作。相关数据集构建、反编译工具使用，完成恶意软件的代码分析工作。
|
||||
4. **特征提取**
|
||||
5. **神经网络模型**的构建与本地训练。效果评估，验证机器学习算法的有效性
|
||||
6. **联邦学习框架**的实现。效果评估，验证联邦学习框架的准确率不会降低
|
||||
7. **威胁模型**的应用。验证威胁抵抗效果
|
||||
8. **半监督学习**的实现。验证半监督方法的有效性。
|
||||
9. **集中在线增量学习**的实现，验证算法的有效性。
|
||||
10. **联邦在线半监督**学习的实现。
|
||||
11. 检测效果最终的效果评估。
|
||||
12. 威胁信息生成
|
||||
13. 生成效果评估
|
||||
|
||||
> 需要设计一些巧妙的实验完成验证工作。
|
||||
|
||||
> 软件设计与论文中的图不太一样。软件设计中的UML语言，主要包括构造块、规则和公共机制三部分组成。构造块包括事物和关系，以及事物和关系组合成的图。这些图用来描述从需求到测试过程中的软件、系统不同层面的表示。同一类型的图可以归类为某个视图下的图。
|
||||
> 在论文中，图多用来表示原理、系统架构、算法流程等。很少用到软件设计中的图。需要了解一下，在论文中的这些图，怎么画。
|
||||
|
||||
## 实习就业
|
||||
|
||||
1. LeetCode
|
||||
2. kaggle
|
||||
3. 参加实习与系统开发相关的工作
|
||||
|
||||
## 生活娱乐
|
||||
|
||||
1. 看书
|
||||
2. 旅行
|
||||
3. 电影番剧
|
||||
4. 游戏
|
||||
1. 双人种地类：泰拉瑞亚、星露谷、饥荒
|
||||
2. 双人闯关类：传送门、茶杯头、胡闹厨房 、战斗砖块剧场、ibb&obb、人类一败涂地、只只大冒险
|
||||
3. 单人战斗：无主之地3、质量效应、上古卷轴、光环士官长、饥荒
|
||||
4. 单人剧情：命运石之门、奇异人生、波西亚时光
|
||||
|
||||
|
||||
@@ -1,27 +0,0 @@
|
||||
# 数据集的相关工作
|
||||
|
||||
## 相关的分享网站
|
||||
|
||||
* Contagio（仍在更新的数据分享网站）
|
||||
* VirusShare
|
||||
|
||||
* virusTotal（仍在更新的数据分享网站）
|
||||
|
||||
|
||||
## 开源的数据集
|
||||
|
||||
* AndroZoo（仍旧在更新的数据）
|
||||
* Genome（最早的数据集）
|
||||
* Drebin
|
||||
* FalDroid
|
||||
* AMD
|
||||
* DroidBench
|
||||
* RmvDroid
|
||||
|
||||
## 数据预处理
|
||||
* apktool
|
||||
* androguard(很知名的工具)
|
||||
* apkanalyzer（谷歌官方的工具）
|
||||
|
||||
|
||||
-------------------------------
|
||||
@@ -1,46 +0,0 @@
|
||||
# 主机配置-服务器搭建
|
||||
|
||||
## 需要了解的事情
|
||||
1. 了解R930服务器，购置相关设备。（等到明天时间一下）√
|
||||
|
||||
2. 这两天（周二、周三、周四）完成服务器的配置。
|
||||
1. 了解r930的说明文档，明天进行配置。√
|
||||
2. 重新安装服务器的ubuntu系统。×
|
||||
3. 实现服务器的远程访问
|
||||
4. 搭建服务器的docker（日后可以将整个docker迁移到不同的虚拟机上，而不用在每个虚拟机上都配置相关的环境）
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## dellR930可扩展配置说明
|
||||
### CPU
|
||||
|
||||
* 型号：Xeon E7-4800
|
||||
* 数量：4
|
||||
|
||||
### 内存
|
||||
|
||||
* 类型：RIDMM（DDR4）
|
||||
* 数量：96
|
||||
* 最高支持内存：96*16
|
||||
|
||||
### 存储
|
||||
SATA/SAS固态硬盘
|
||||
|
||||
### PCIE显卡
|
||||
|
||||
10个PCIE插槽
|
||||
|
||||
## 分布式服务器构建
|
||||
|
||||
1. 技术选型：docker和vm虚拟机
|
||||
2. 考虑到重装服务器的困难，（需要对服务器十分了解，相关教程很少，需要下载驱动等）最后决定，不必重装服务器。因为本来就是为了搭建分布式的训练环境，可以使用docker或者虚拟机实现训练环境。对centos进行配置，实现远程访问，设置成静态ip地址。
|
||||
3. docker方便快捷，但不知道是否能够实现网络隔离，且技术比较新颖。vm虚拟机，能够实现系统层面的隔离和虚拟化，可以快速实现多台虚拟机的构建。无论最后选择哪种方式搭建分布式环境，docker似乎都是不可缺失的，因为在从一台虚拟机向另一台虚拟的移植环境的时候，docker无疑是最快的选择。所以即使采用虚拟机的手段，实现分布式训练，也需要docker快速搭建相同的运行环境。
|
||||
4. 技术路线：
|
||||
1. 在实验室的ubuntu上使用docker快速开发，实现训练过程。
|
||||
2. 在服务器上通过docker快速搭建分布式的训练环境。运行多个镜像。
|
||||
3. 各个镜像之间通过网络通信，然后实现虚拟的分布式训练。
|
||||
4. 如果docker无法虚拟网络通信的过程，则考虑使用虚拟机或者真正的分布式主机实现docker训练。
|
||||
|
||||
@@ -1,24 +0,0 @@
|
||||
# 学习安排
|
||||
## 具体的学习计划
|
||||
|
||||
* 每天早上：一周的课程python实现
|
||||
* 每天下午：一周的课程python实现
|
||||
* 每天晚上：阅读论文并总结。
|
||||
|
||||
|
||||
|
||||
## 方法
|
||||
1. 涉及到基础知识进行补充，例如线性代数
|
||||
2. 涉及到的编程知识进行补充，例如Numpy、scikitlearn、scipy等。
|
||||
|
||||
|
||||
也就是说，现在要同时学习三个东西。机器学习，机器学习依赖的数学基础，机器学习实现的编程基础。降低速度，尽量在一个月内，实现初步认知。
|
||||
## 补充
|
||||
应该对matplotlib和scipy的教程进行补充。教程部分只完成简单的说明即可。所有的例子，手动运行敲一遍。教程该出简单的实例，然后手动实现实例。
|
||||
|
||||
具体的内容，等到实践过程中进行学习。
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -1,17 +0,0 @@
|
||||
# 组会的PPT结构
|
||||
> 直接搜集资料开始做ppt吧
|
||||
|
||||
## 情报利用的现状
|
||||
|
||||
## 联邦学习的现状
|
||||
|
||||
## 联邦学习的过程
|
||||
|
||||
## 机器学习在情报利用领域可能的应用路径以及拟打算应用的机器学习算法
|
||||
|
||||
## 面临的难题
|
||||
|
||||
## 解决问题的具体规划
|
||||
|
||||
## 最近做的界面的事情
|
||||
|
||||
@@ -1,15 +0,0 @@
|
||||
> 工具说明
|
||||
|
||||
# 看论文工具与方法
|
||||
|
||||
> 不要打断自己正在做的事情。可以对突发的想法进行存档。
|
||||
|
||||
|
||||
# 看pdf做笔记的工具
|
||||
|
||||
> 主要在学习课程中，对pdf进行修改和阅读。
|
||||
>
|
||||
> 在做笔记方面；
|
||||
> 这种独立的笔记，最终很容易遗忘。使用原来的PPT和PDF做笔记的方法，更容易记忆。我觉得以后无论学什么，都应该通过两种方式进行学习。
|
||||
> * 在听课过程中，使用pdf本身，做笔记。（以后收录上课的pdf，必要的时候对pdf进行复习)
|
||||
> * 在课后对上课内容进行整理的时候，使用md+xmind的方式，整理知识点。
|
||||
@@ -1,26 +0,0 @@
|
||||
# 情报威胁与联邦学习
|
||||
## 研究方向
|
||||
|
||||
* 威胁情报----定义系统的应用场景，包括输入输出。（情报生成和情报利用两条思路）
|
||||
* 联邦学习----定义系统的算法，包括各种处理细节。
|
||||
|
||||
-------------------------
|
||||
## 总体规划
|
||||
|
||||
* 第一阶段：通过情报威胁相关论文和资料，定义应用场景（由蒋师兄完成）
|
||||
* 第二阶段：学习统计学、机器学习和联邦学习的基础知识；阅读论文和资料了解前沿的发展。
|
||||
* 第三阶段：复现联邦学习论文，搭建联邦学习的框架，实现机器学习过程。
|
||||
* 第四阶段：对联邦学习框架的细节进行研究，改善应用场景下的联邦学习过程。例如：提升安全性；增强分布式计算能力等。
|
||||
|
||||
----------------------------
|
||||
## 技术范式
|
||||
|
||||
|
||||
WEB服务端//Django
|
||||
|
||||
联邦学习系统//python、分布式机器学习模型
|
||||
|
||||
威胁情报数据库//mysql数据库nosql数据库
|
||||
|
||||
|
||||
|
||||
@@ -1,101 +0,0 @@
|
||||
# 供应链金融
|
||||
## 时间安排
|
||||
|
||||
上午：完成供应链金融的调查报告
|
||||
|
||||
下午：阅读完成 已导入：威胁情报相关的内容
|
||||
|
||||
晚上：阅读完成 已导入：联邦学习相关内容
|
||||
|
||||
## 供应链金融调查报告
|
||||
|
||||
### 场景描述
|
||||
|
||||
银行围绕核心企业，管理上下游中小企业的资金流和物流，并把单个企业的不可控风险转变为供应链企业整体的可控风险，通过立体获取各类信息，将风险控制在最低的金融服务。
|
||||
|
||||
供应链金融（Supply Chain Finance），SCF，是商业银行信贷业务的一个专业领域（银行层面），也是企业尤其是中小企业的一种融资渠道（企业层面）。
|
||||
|
||||
* 产业链运营能力：供应链金融以产业供应链运营管理为基础，产业供应链运营管理水平高低、现有产业供应链数字化程度高低、未来数字化的难易程度和成本的高低都会对该产业的供应链金融产生重要影响，是供应链金融发展的基础环境。
|
||||
* 广泛的金融服务：供应链金融的目的旨在优化整个产业的现金流，让利益各方以较低的成本实现更高效的生产运营，因此，供应链金融不仅仅是目前我们在实务中最常见的融资借贷服务，还应该包括更广义的金融服务和服务组合。
|
||||
* 对产业链上的单位诉求进行分析。金融活动的开展是针对产业供应链的具体业务进行的，不同产业不同环节的具体业务以及不同类型的参与主体都会对金融服务产生不同的痛点和价值诉求。
|
||||
|
||||
优势：提升产业链整体的竞争力。整个产业链场景的数字化，能够应用人工智能等新的科技手段。
|
||||
|
||||
### 可行性
|
||||
|
||||
* 从科研的角度来说：研究集中在金融领域。整体上，集中在金融模式的研究比较多。细节上可能会用到网络安全领域的基础知识，但是整个大型软件服务的开发，与科研项目结合不紧密。主要研究集中在金融模式的研究，很少有计算机与网络领域的研究。大部分论文都是金融模型。
|
||||
* 从工作量的角度来说：需要专业的开发公司，我们更擅长小型科研验证软件的开发，不具备开发大型企业级软件的能力，包括市场调研、企业对接。
|
||||
|
||||
|
||||
* 企业级应用开发，javaEE javaSpring。主要是业务逻辑的开发。但需要涉及到企业的上中下游，需要开发一套核心系统和面向多个应用方的子系统。如果以实际应用为目标，可能需要10~15人的开发团队，半年以上的开发。企业级开发逻辑复杂，需要考虑实际应用中的各种问题，需要金融领域的人员给出详细的业务流程，需要专业的系统设计和反复的技术验证。工作量庞大，需要专门的开发团队和公司，需要进行市场调研，与主要的服务公司进行接口对接。
|
||||
|
||||
* 供应链过长：对供应链上下游多个单位的需求分析与交流，可能涉及大量的工作。定义每一个环节的软件应用场景和软件需求。原材料生产商、供应商、核心企业及其分公司、经销商、终端用户。涉及到采购、研发、制造、仓储、营销等各个环节。
|
||||
|
||||
* 供应链整合能力：由于供应链金融平台需要为所有产业链成员提供信息和集成服务，因此需要了解产业链成员的业务结构、业务特征、业务流程和业务风险，包括但不限于整个供应链的技术研发、物资采购、产品生产、分销物流、各类服务的分布状况、相互之间的关联和联动特点，从而进一步掌握具体业务环节的资金流动特性，各利益主体的诉求和痛点。这是帮助各类产业链成员相关业务有效数字化的前提。
|
||||
|
||||
* 时间成本和金钱成本过高。首先是否将关键业务节点信息真实有效的反应到了平台数据层面；其次实现这一数字化的成本，包括时间成本和金钱成本是否可以控制在经济可行的范围内。必须依托与专业公司，这不仅仅是软件的开发，更是整个行业的整合，可能涉及到市场经营部门、开发部门等多个部门的联动。
|
||||
* 单点提升可行性。我们可以在现有的供应链金融平台上，提出自己的改进措施，提升网络安全防御能力，或者对数字化内容进行智能化分析。
|
||||
* 解决方案设计能力。首先与平台的场景解构能力相关，深入理解产业供应链业务、流程和资金流动特点；再者，这需要平台本身或者能够整合的资源方，具备丰富的金融服务产品体系，才能为企业客户提供多样化选择的可能性。
|
||||
|
||||
|
||||
### 一个架构
|
||||
|
||||
|
||||
|
||||
### 可行性报告内容
|
||||
* 目录 1
|
||||
* 第1章 项目总论 6
|
||||
* §1.1 项目背景 6
|
||||
* §1.2 可行性研究结论 7
|
||||
* §1.3 主要技术经济指标表 9
|
||||
* §1.4 存在问题及建议 9
|
||||
* 第2章 项目背景和发展概况 10
|
||||
* §2.1 项目提出的背景 10
|
||||
* §2.2 项目发展概况 10
|
||||
* §2.3 投资的必要性 11
|
||||
* 第3章 市场分析与建设规模 12
|
||||
* §3.1 市场调查 12
|
||||
* §3.2 市场预测 13
|
||||
* §3.3 市场推销战略 14
|
||||
* §3.4 产品方案和建设规模 15
|
||||
* §3.5 产品销售收入预测 16
|
||||
* 第4章 建设条件与厂址选择 17
|
||||
* §4.1 资源和原材料 17
|
||||
* §4.2 建设地区的选择 18
|
||||
* §4.3 厂址选择 20
|
||||
* 第5章 工厂技术方案 22
|
||||
* §5.1 项目组成 22
|
||||
* §5.2 生产技术方案 22
|
||||
* §5.3 总平面布置和运输 24
|
||||
* §5.4 土建工程 25
|
||||
* §5.5 其他工程 26
|
||||
* 第6章 环境保护与劳动安全 27
|
||||
* §6.1 建设地区的环境现状 27
|
||||
* §6.2 项目主要污染源和污染物 28
|
||||
* §6.3 项目拟采用的环境保护标准 28
|
||||
* §6.4 治理环境的方案 29
|
||||
* §6.5 环境监测制度的建议 29
|
||||
* §6.6 环境保护投资估算 29
|
||||
* §6.7 环境影响评论结论 29
|
||||
* §6.8 劳动保护与安全卫生 29
|
||||
* 第7章 企业组织和劳动定员 31
|
||||
* §7.1 企业组织 31
|
||||
* §7.2 劳动定员和人员培训 31
|
||||
* 第8章 项目实施进度安排 33
|
||||
* §8.1 项目实施的各阶段 33
|
||||
* §8.2 项目实施进度表 35
|
||||
* §8.3 项目实施费用 36
|
||||
* 第9章 投资估算与资金筹措 37
|
||||
* §9.1 项目总投资估算 37
|
||||
* §9.2 资金筹措 39
|
||||
* §9.3 投资使用计划 39
|
||||
* 第10章 财务与敏感性分析 41
|
||||
* §10.1 生产成本和销售收入估算 41
|
||||
* §10.2 财务评价 42
|
||||
* §10.3 国民经济评价 42
|
||||
* §10.4 不确定性分析 42
|
||||
* §10.5 社会效益和社会影响分析 43
|
||||
* 第11章 可行性研究结论与建议 44
|
||||
* §11.1 结论与建议 44
|
||||
* 第12章 财务报表 45
|
||||
* 第13章 附件 47
|
||||
@@ -1,138 +0,0 @@
|
||||
# 机器学习
|
||||
|
||||
## 当前的主要任务：
|
||||
|
||||
现在处在研究的第一和第二阶段。关于第一阶段联邦学习的应用场景，主要由蒋师兄完成。第二阶段，学习联邦学习关联的基础知识，为第三阶段机器学习算法的实现和框架的搭建做好准备。
|
||||
|
||||
看完相关的文章和博客。然后开始学习，用两周时间学习完成基础知识。在学习基础知识的时候，使用 tensorflow 框架进行算法的运行。
|
||||
|
||||
---
|
||||
|
||||
## 长久的时间计划：
|
||||
|
||||
- 必须在十一月份之前完成学习工作。那就到 10 月 30 号把。还有五本需要看的书。10 月 30 号之前，完全搞懂该领域的内容。
|
||||
- 十一月份，进行调研，寻找大量相关的研究工作。
|
||||
- 十二月份，对相关领域的算法进行实现。对算法进行改进。
|
||||
|
||||
> 感觉时间不够了啊，兄弟。你这需要做的事情有点多。国庆节，尽量恶补完成大部分机器学习的基础知识和主要的算法，然后国庆节后开始看论文。
|
||||
|
||||
---
|
||||
|
||||
## 学习路线
|
||||
|
||||
### Python 系列（一周）
|
||||
|
||||
> 熟悉 python 进行机器学习的基础库，包括每个库都干了什么。
|
||||
|
||||
- [x] python3√
|
||||
- [x] numpy√
|
||||
- [x] scipy√
|
||||
- [x] matplotlib√
|
||||
- [x] pandas√
|
||||
> 基本完成。主要是知道了这些东西都是干什么用的。
|
||||
|
||||
### 机器学习+深度学习系列（视频教程）（三周）
|
||||
|
||||
> 需要了解机器学习的各种工具，需要的进行补充。使用 python3 进行编程实践。这一部分是最关键的，需要按照知乎的方法进行调整学习。入门课程->模型算法->编程实践
|
||||
|
||||
1. 《机器学习》吴恩达的课程一看。跟着做做笔记。
|
||||
- [x] 第一轮，笔记对照(看一部分，总结一部分。)
|
||||
- 第二轮，看吴恩达的 PPT 重新整理所有的笔记。
|
||||
- 第三轮，寻找吴恩达课程的课后题，使用 python 完成课后题
|
||||
2. 吴恩达的神经网络五套课程看完。各种神经网络。
|
||||
- [x] 神经网络与深度学习
|
||||
- [x] 改善神经网络
|
||||
- [x] 结构化项目学习
|
||||
- [x] 卷积神经网络
|
||||
- [x] 序列模型
|
||||
- 第一轮，笔记对（借用其他人的笔记进行修改，同时理解）
|
||||
- 第二轮，看吴恩达的 PPT 重新整理所有的笔记
|
||||
- 第三轮，课后题，TensorFlow 完成
|
||||
3. ~~《统计学习方法》~~ 一看。
|
||||
- [ ] 3Blue1Brown 的视频看一看。跟着做做笔记。数学公式太多，太难了，应该学会放弃。看西瓜书好了。
|
||||
4. 《机器学习西瓜书》一看。
|
||||
- [ ] 跟着做做笔记。
|
||||
5. 《机器学习实战》
|
||||
- [ ] 量子位提供的书，适合编程。
|
||||
6. 《python 机器学习》
|
||||
- [ ] 几个实战.
|
||||
7. 《白板推导》
|
||||
- [ ] 视频看一遍。tensorflow 教程一看，实现一遍之前的算法。
|
||||
8. （可选） ~~《机器学习基石》上&下~~
|
||||
- [ ] 李宏毅的机器学习也行（在进行一段时间之后，已经完成了多个项目之后，可以回过头来看李的视频，进行更深层次的理解）
|
||||
- [ ] 完成第二轮，笔记对照
|
||||
- [ ] 代码实现课后的内容
|
||||
|
||||
> (1,2)->(3,4)->(5,6)->(7,8)
|
||||
|
||||
> 安排
|
||||
>
|
||||
> 1. 首先跟着量子位的课程完成上述学习。
|
||||
> 2. 然后跟着 apacheCN 的资料完成第二阶段的阅读。
|
||||
> 3. 然后就是尝试专业领域的应用实战。
|
||||
> 补充：林轩田《机器学习基石》《机器学习技法》。李宏毅的《机器学习视频教程》。
|
||||
> 工具
|
||||
> _ sklearn
|
||||
> _ tensorflow
|
||||
|
||||
> 变更说明
|
||||
>
|
||||
> - 经过仔细思考，感觉李宏毅的机器学习+深度学习与吴恩达的机器学习+深度学习，重叠的部分太多，入门阶段进行混合学习代价较大。所以，入门阶段都是以吴恩达的课程为主，编程也是以吴恩达的课程为主。总共包括五个模块，可以适当地学习三到四个模块，然后进行下一阶段。
|
||||
> - 等所有部分完成了，以李宏毅的课程作为基础知识的回顾和强化。
|
||||
|
||||
> 学习路径说明
|
||||
>
|
||||
> - 视频教程-基础知识构建，以知识的角度，逐渐构建机器学习体系，跟随课程理解。
|
||||
> - 读书整理-机器学习算法，从算法的角度，独立理解算法的原理，深刻理解每个算法的原理。
|
||||
> - 算法实践，从工程的角度，考虑如何设计算法，实现算法，优化算法和进行算法可视化
|
||||
|
||||
### 联邦学习实践系列（三周）
|
||||
|
||||
> 尝试搭建小型的联邦学习框架。寻找网络教程，完成这一块，还有很多书。
|
||||
|
||||
- [ ] sklearn
|
||||
- [ ] tensorflow
|
||||
- [ ] pysft
|
||||
- [ ] fate
|
||||
|
||||
### 问题定义（三周）
|
||||
|
||||
- 阅读相关论文，定义环境，找到论文的方向。
|
||||
- 分析前沿的研究，了解该领域的主要方案。
|
||||
- 提出自己解决问题的方案，对模型和系统进行初步规划。
|
||||
|
||||
### 相关资料说明
|
||||
|
||||
- 吴恩达的机器学习
|
||||
- 吴恩达的深度学习五套课程
|
||||
- 李宏毅《机器学习+深度学习》课程
|
||||
- ~~林轩田《机器学习基石》课程~~
|
||||
- 李航《统计学习方法》
|
||||
- 周志华《西瓜书》
|
||||
- 《机器学习实战》
|
||||
- 《Python 机器学习》
|
||||
|
||||
### 选择
|
||||
|
||||
框架选择：
|
||||
|
||||
- tensorflow 和 fate
|
||||
研究方向：
|
||||
- 数据挖掘
|
||||
- 文本处理（自然语言处理）
|
||||
- 行为建模和行为分析。（这可能是工作量最大的地方。）
|
||||
- 恶意软件相关特征提取（恶意软件相关特征分析和应用，机器学习算法应用的地方，联合训练模型的构建）
|
||||
|
||||
### 参考
|
||||
|
||||
- [知乎量子位回答](https://zhuanlan.zhihu.com/p/37349519)
|
||||
- [知乎 ApacheCN 回答](https://www.zhihu.com/question/20691338/answer/248678328)
|
||||
> 当你按照自己的流程走完了上述的内容之后，应该去看量子位和 ApacheCn 的教程。自己的学习只能算是入门，当前的关键，应该是开始学习，而不是在这里瞎搞。
|
||||
|
||||
### 补充学习
|
||||
|
||||
> 有时间学习一下数学内容（找相关的数学客车个）
|
||||
|
||||
- 微积分
|
||||
- 线性代数
|
||||
- 概率论和数理统计
|
||||
@@ -1,177 +0,0 @@
|
||||
# 桌面应用程序开发
|
||||
|
||||
-----------------------------------------
|
||||
第一阶段技术栈选择
|
||||
|
||||
## 技术范式
|
||||
|
||||
> 1. 选择合适的技术范式。√====>electron
|
||||
> 2. 对技术细节进行学习了解√====>javascript,nodejs,electron
|
||||
> 3. 寻找开源的模板代码搭建框架
|
||||
> 4. 根据任务需求进行快速开发
|
||||
|
||||
### C++ QT开发
|
||||
|
||||
### Python PyQT开发
|
||||
卡掉，因为是C项目，用python的qt反而多此一举。
|
||||
### JAVA SWING开发
|
||||
理由同上。可以用C++，与原生的代码结合较好。
|
||||
### nodeJS Electron桌面开发
|
||||
|
||||
easy-window小程序。
|
||||
> 显然我觉得HTML桌面应用程序开发是最简单的，能够实现极其好看的界面。
|
||||
|
||||
## 2 开发步骤
|
||||
### 熟悉工程代码√
|
||||
* 源代码使用代码库：qt，openssl √
|
||||
* 使用qtCreator对代码进行编译调试
|
||||
* 源代码暴露的接口√
|
||||
* cmake编译工具+gcc√
|
||||
### 使用nodejs封装C/C++接口√
|
||||
* 使用napi封装借口√
|
||||
* node-gyp编译测试接口√
|
||||
* cmake-js编译测试√
|
||||
|
||||
### 使用electron呈现界面
|
||||
* 数据渲染模板应用√（template_js,arttemplate,jsrender,juicer选择了第一个数据渲染方式）
|
||||
* 前端页面布局设计√ （选定了库，上传到了gitee，非常好用以后可以借鉴）
|
||||
* 对页面布局进行调整和优化√（主要包括添加图标，修改颜色，添加标题）
|
||||
* electron开发和调试（菜单栏和应用进程）√（使用vscode和webtool工具对electron应用进行了调试）
|
||||
|
||||
### 根据需求规范工程
|
||||
|
||||
* 将工程上传到gitee√
|
||||
* 根据新的需求，修改函数借口。增加返回的message√
|
||||
* 对sm2函数的明明进行规范，test->encrypt√
|
||||
|
||||
|
||||
### 工程部署，使用nodejs封装工具发布。
|
||||
|
||||
* 使用electron-package对工程进行打包√
|
||||
* 使用electron-build或者electron-asar对工程进行发布。创建安装程序。√
|
||||
|
||||
|
||||
## 3 解决的bug问题
|
||||
|
||||
### append之后页面刷新元素消失的问题
|
||||
|
||||
* 因为在button周围由form标签，导致提交后页面刷新，之前的数据消失。
|
||||
|
||||
* [参考文献](https://blog.csdn.net/muyi_amen/article/details/79086281?utm_source=blogxgwz4&utm_medium=distribute.pc_relevant_bbs_down.none-task-blog-baidujs-1.nonecase&depth_1-utm_source=distribute.pc_relevant_bbs_down.none-task-blog-baidujs-1.nonecase)
|
||||
|
||||
### template_js无法加载模板渲染数据的问题
|
||||
|
||||
* 相似的库太多了，导致下载成了template.js和template-js
|
||||
|
||||
### Message传递参数的问题
|
||||
|
||||
* 因为长度并不能自适应，同一个接口函数需要调用两次，第一次获取缓冲区长度，第二次将值复制到缓冲区。
|
||||
* github的issue真的是个解决问题的好地方。segmentfault和stackoverflow也非常好用。
|
||||
|
||||
|
||||
-----------------------------------------------------
|
||||
第二阶段 接口封装
|
||||
|
||||
## 1 接口封装
|
||||
```c++
|
||||
|
||||
//函数声明
|
||||
//签密函数
|
||||
void signcryption(string plaintext, bool *flag_signcrytion, string *ciphertext,
|
||||
double *time_signcrytion);
|
||||
//解签密函数
|
||||
void unsigncryption(string ciphertext, bool *flag_unsigncrytion, string *plaintext,
|
||||
double *time_unsigncrytion, bool *flag_replay_attack, bool *flag_tamper_attack, string *timestamp);
|
||||
//密文截获函数
|
||||
void intercept_cipher(string ciphertext, bool *flag_intercept, string *intercepted_ciphertext);
|
||||
//密文篡改攻击函数
|
||||
void tamper_attack(string intercepted_ciphertext, bool *flag_do_tamper, string *ciphertext_new);
|
||||
//消息重放攻击函数
|
||||
void replay_attack(string intercepted_ciphertext, bool *flag_do_replay, string *ciphertext);
|
||||
```
|
||||
|
||||
## 2 接口测试
|
||||
* 使用nodejs封装了C++的接口，并使用addon_test对接口进行了测试。
|
||||
|
||||
|
||||
------------------------------------------------------
|
||||
第三阶段 界面优化和文档
|
||||
|
||||
## 1 主要内容
|
||||
|
||||
1. 添加题目√
|
||||
2. 修改成表格显示数据√
|
||||
3. 修改按钮的相对文职√
|
||||
4. 字体的大小和对其√
|
||||
5. 字体、字号√
|
||||
6. 表格的分布与自动换行√
|
||||
7. cmake编译调试√
|
||||
8. 公钥私钥的生成页面√
|
||||
9. 复习bootstrap√
|
||||
10. 修改配色方案√
|
||||
11. 修改背景√
|
||||
12. 色块转换与动态效果，添加动画√
|
||||
13. 图形标注，loading和其他图标√
|
||||
14. 功能实现，逻辑测试√
|
||||
15. 设置透明度√
|
||||
16. 设置美化界面显示的内容（表格和文字）√
|
||||
17. 模态框、警示框，用来显示异常信息√
|
||||
18. 使用collaspe动态显示图标内容×
|
||||
19. 尝试使用jQuery简化js代码√
|
||||
|
||||
## 2 bug调试
|
||||
|
||||
段错误
|
||||
### 可能的原因
|
||||
|
||||
* 未初始化的指针和空指针
|
||||
* 堆栈内存溢出
|
||||
|
||||
### 解决办法
|
||||
* 联调
|
||||
* 堆栈扩充
|
||||
* 其他办法（代码空间释放）
|
||||
|
||||
### 错误分析
|
||||
|
||||
* 结论1：
|
||||
* unsigned调用比出错
|
||||
* 随着调用内容的减少，出错后裔
|
||||
* 由于堆栈溢出内容减少，出错后裔
|
||||
* 结论2：
|
||||
* sign与unsign 具有相似性
|
||||
* sign无论调用多少次都不会出问题
|
||||
* unsgin只要调用1次就一定会报错
|
||||
* 问题一定处在代码内，而不是由于执行次数过多导致内存溢出。unsigned本身存在不贵的可能性
|
||||
* 在unsgin中，存在，在某种特殊条件下，会触发的段错误
|
||||
* 方法：
|
||||
* nodejs的napi接口中出现问题
|
||||
* cmakejs编译选项调整出现问题
|
||||
* unsign函数本身出现问题
|
||||
|
||||
### 最终结果
|
||||
* 使用为自己在nodejs调用接口中，使用了较小的数组，导致数组长度溢出，引发了段错误。
|
||||
* 段错误很难定位，因为它报错的地方和犯错的地方，往往不在同一个地方。
|
||||
* 记住段错误，一定是引用了错误地址的数据造成的
|
||||
* 如在静态数据区写数据
|
||||
* 在不属于自己的内存段写数据。随机指针写数据，空指针写数据，溢出的数组写数据。
|
||||
|
||||
|
||||
-------------------------------------------------------
|
||||
第四阶段 无人机元素和花里胡哨
|
||||
|
||||
## 1 要求
|
||||
|
||||
* 添加无人机元素。背景就改成动态的模拟空间的无人机飞行的网络图
|
||||
* 各个card改成半透明黑色背景，数据使用白色内容进行显示。
|
||||
* 可以动态修改card，collaspe的应用到位。
|
||||
* 添加一个card表示执行过程中的状态转换图。使用js代码修改使其能够动态地添加到状态转换图当中。执行过的步骤，执行中的步骤，未执行的步骤，使用不同的状态标注，像是打卡系统当前的执行流程，或者地铁站的线路点亮过程。
|
||||
* 添加一个card表示无人机当前的飞行状态。胡乱显示就好。主要包括无人机飞行的各个参数，无人机飞行的速度仪表盘，无人机的横向视角和纵向视角。参考下载的地图。
|
||||
|
||||
## 2 画图
|
||||
|
||||
* 可以画一个无人机通信过程演示图
|
||||
* 主要使用svg+jQuery动画实现。技术范式
|
||||
* 实现步骤
|
||||
1. 静态绘制图形（地图背景，控制面板，控制台，无人机A，无人机B，攻击者，很多箭头）
|
||||
2. 添加动态效果（包传递过程）
|
||||
@@ -1,24 +0,0 @@
|
||||
> 把名字改成了“还是要生活的”，小姨还是发现了。或许真的还有人在挂念自己。 终于又要开始了，虽然是十月份计划，但是开始与国庆节后的第一天。我想平衡好工作和生活的关系，无论是在学校的日子，还是以后工作后的，都要平衡。我想他们会永远的称为我的一部分，属于生活的那一部分。
|
||||
> 可悲的九月份一致在找工作，但是却没有全力以赴，在于张的相处中，重新让我认识到了，属于生活的那一部分，说实话，发自内心的感激。那天聊到，期望早日遇到一个能管住你的人。并不是那种违背意愿的约束，而是那种当你想去旅游，他会跟你一块规划一块欣赏风景的人；当你想去减肥，他会督促你一块跑步的人；当你想要去那家餐厅吃饭，他会腾出时间来看看那家餐厅的介绍和好吃的菜品的人。“管”并非违背意愿，而是那种愿意发自内心的关心，“管”是为了让你更好的做回自己。我也希望有一天，遇到一个愿意为她改变，同时又能成为真正的自己。
|
||||
> 感情总是脆弱的难以理解。我无法知晓他们开心、悲伤的原因，也不能从他们的一举一动中洞察他们心态的变化，更无法通过循循善诱的方法跟他们进行一次深入心底的长谈。总是目光呆滞，像不知所措的、反应慢半拍的傻子，说着“喔喔喔”之类的话。有种神奇的力量，一直在阻止我知道更多，学习更多，承担更多的责任。我总是把自己比作大马哈鱼，当这样的环境中缺少某个角色时，我就会主动承担，其实并不是因为我多么热爱所谓的责任和集体，而是因为我想逃避，从另一种角度来说，当这个环境中，存在某些角色时，我就可以变成一个透明的隐形人。
|
||||
> 关于玩耍，我觉得应该收一收，矫枉要过正，国庆节七天已经严重超出了自己的预期，玩的也太爽了。有那么多人陪着走路，散步，也太开心了。生日也不像以往那样看起来那么孤独。虽然本来打算过完悲伤的一天，我想即使是她应该也希望，我能开心的活着吧。我觉得，这可能是她唯一的心愿了。七天来，遇到了很多人，多年未见的，一直见面的，天南海北的朋友。我觉得应该想去玩，就去玩。减少精神内耗的时间，而不是一直在思考如何去做，忘记了去做。有些事可以不用思考清楚就开始，生活与学习一样，也许要灵感，不仅仅是完美无缺的计划。至少以后，可以不用那么在意，提前做好的准备。在路上，能多思考一些就好了。
|
||||
> 该学习了吧。我不后悔已经流逝过的时间，我只希望，自己能够在接下来的时间中，全力以赴。我觉得，我可以开始一波大脑清除计划了，让自己忘掉那些让自己纠结的不该去想的事情，终于可以开始了吗。
|
||||
|
||||
> 关于多人活动这种事，我发现，我永远无法成为那个纽带。连接两部分人，平衡好关系和时间，平衡好内容，太难了。大概能做到的只有阳叔、李仁杰、张玄吧。李浩过于牛逼，过人的智慧和幽默，恰到好处的表演，在粗俗与文明之间自由切换，表面傻逼实则有着深思远虑。hhhhhhhh。balance也太难了。
|
||||
> 生活中的事情，太多，总是思考不完。我知道，自己所剩的时间不多了，就算拼命可能在剩下的时间中也很难完成目标。从什么时候开始，觉得自己想变得很弱，找个人依靠。从什么时候开始，逐渐想为别人活着，为了自己，活下去的理由越来越不充分。反复横跳，我以前没有选择，现在又想当个好人了。
|
||||
> 也许该换个方式和别人交流了。降低姿态的说话方式，太让人讨厌了，让人觉得恶心。有趣，才是关键，而不是假笑、谄媚、奉承。不以物喜、不以己悲。平淡地讨论生活。自己的方式太容易受别人影响了，我发现了，跟我最近的那个人是什么样子，我就会成为他的样子，无论是现在，还是从前，我只有一个人的时候，才能做回正常的自我。所以，去接近自己喜欢的样子吧。暂时拒绝游戏，多出去走走；拒绝物化女性谈论女生；拒绝妄自菲薄，捧杀任何人。（？？？为啥？？？我感觉这是我生活中最大的快乐来源，你为啥，老想着，改变自己，觉得自己的方式不好呢？所以哪种方式更好呢？？？？？好恶心啊，你到底该怎么做。不破不立？瞎扯淡。我觉得想要谈论什么呢？我觉得什么有趣呢？离谱，啥都不知道，就知道否定自己现在的方式。所以能用什么代替呢？生活；过去、未来、当下；你的爱好们，虽然你一直在抨击我们的分享会。但是，你还是真的喜欢这个。）
|
||||
|
||||
> 自觉点，体面的离开。关于十月份的思考就到此结束吧。我想我该开始了。从零开始。已经很久很久了。忘掉面试笔试的事情吧。尽力而为。踏马的，劳资焦虑打个篮球回来，还踏马能遇上这种事。真踏麻的恶心啊，怎么能有人这么恶心呢？其实也没啥，就这样而已。我觉得背后说说小秘密也无所谓，当我把它告诉别人的时候，就已经做好所有人的都知道的准备。但是踏马的另外两个人背后造谣，可真就离谱了。踏马的多大仇呢？你们两个人玩的开心就好了，被鞭我尸体好吧。我踏马的是真的烦。
|
||||
> 算了，无所谓，我不太喜欢这些与人相处的关系。我只是想做自己。开始认认真真学习。给老爹打个电话，对于自己不擅长的事情，就不要去做了。干嘛要社交呢？真踏马的有用吗？我需要朋友吗？没用。学习是一个人的事情。真踏马的烦。劳资这辈子都不会掺和超过两个人的场合。能再恶心一点吗。
|
||||
|
||||
> 经过昨天的玩耍，我明白了一件事，所有人中，只有自己是小肚鸡肠的那个。又一次尝试失败，那一天我突然明白了怀振的痛，在厕所哭泣的原因，hhhhhhh，踏马的搞笑了。既然自己成不了那个纽带，那就好好观察别人怎么做那个纽带吧。
|
||||
> 无论怎么样，我要成为那个，每天都能保持幽默的人。我发现，我跟一些人在一块的时候会选择闭麦，但是和另外一些人在一块的时候又能无话不谈。虽然看上笨拙，什么不懂，但是很积极的去，了解。
|
||||
|
||||
> 又又思考了很久的生活。发现我只能跟自己玩耍了。生活还是那样。开始工作吧。关于毕业的思考到此为止。我踏马的就是要当卷王。我是傻逼。我有很多想要做的事情，虽然菜，但我就是想去尝试。另外，我觉得，我现在还年轻，还精力旺盛。青岛的选调生错过了?中央单位的选调生也错过了？你可能吗？你有可能进吗？不可能，你当选调生，这一辈子屁大点的房子都买不起，我踏马确实想通过自己的努力和实例，实现买房子的事情。就是这样。用自己的实例，挣够了钱去买个自己喜欢的房子。北京的公务员确实不行，青岛的也不行，太稳定，我肯定不会选择。
|
||||
> 另外国企的话，到现在还是一个都没拿到，真的无聊。私企的话，已经拿到了几个，但是感觉谈不到理想的工资。还是靠自己的努力，踏踏实实的挣钱，最爽。学一堆有意思的东西，凭实力上位，这才是生活好吧。如果人寿、移动、电信、电网；农行、中行、工行、招行；IBM、Intel等都没过也就算了。还有那一堆券商机构投资公司，还要尝试一下吗？
|
||||
|
||||
> 踏马的，已经调整了两天了，感觉必须开始做毕设了。先看一下自己的毕设进度。要明白一些事情：
|
||||
> 1. 能不能毕业是自己的事情。
|
||||
> 2. 不管能不能毕业，都要制定一份两个月内完成毕业的计划。
|
||||
> 3. 可以冲，可以稳。稳的话能拼尽全力吗？冲的话能够稳住吗？不会稳成了你划水的接口，冲的时候却力不从心。你没有准备好，即使加上周围所有的战力，你也不行。不，你现在没有选择了。我又百分之五十的把我，你会被动延毕。对自己有点数好吧。
|
||||
> 4. 说话对我来说是多余的没用的。我需要冷静下来做自己该做的事情。
|
||||
@@ -1,5 +0,0 @@
|
||||
## 自信
|
||||
|
||||
> 可选的论点
|
||||
> * 三个自信：道路自信、理论自信、制度自信、文化自信（可惜我不是党员，不了解共产党相关的东西）
|
||||
> * 自信过度：数码宝贝？感觉也不是很合适。我不玩游戏
|
||||
@@ -1,23 +0,0 @@
|
||||
## 计划
|
||||
|
||||
## 收获
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## 通知
|
||||
|
||||
### 【毕业答辩相关通知】
|
||||
1、“2019级硕士研究生毕业答辩情况统计”问卷星请所有同学务必在10月17日前完成填写，做为初审收论文以及后续答辩分组等安排的依据。（注意每位同学只填写一次，不要重复填写，填写有问题及时联系谢老师）
|
||||
https://www.wjx.cn/vj/rRQxbVS.aspx
|
||||
2、初审：10月27日上午以班为单位将纸版论文每人一份收齐后交到G844进行初审，预计11月12日返回结果
|
||||
3、答辩大致时间安排如下，请同学们积极和导师联系，提前做好答辩相关准备工作：
|
||||
预计11月底组织论文查重（终稿电子版，重复率在10%以内方可进行后续答辩流程），送审工作
|
||||
12月初到12月中组织最终答辩
|
||||
有任何问题及时联系谢雨阳老师：82317630，G844
|
||||
|
||||
|
||||
@@ -1,3 +0,0 @@
|
||||
## PPT
|
||||
|
||||
> 离谱，从国庆节后到现在，居然玩耍了这么久。以后的生活会是怎么样的呢？想想后续该做什么事情。世事艰难。
|
||||
@@ -1,17 +0,0 @@
|
||||
> 论述
|
||||
> * 通过纪传体的方式，签订条约的双方代表的人物事迹。
|
||||
> * 为什么？特别想要提现人物与国家的命运纠缠在一起。人物与国家的辩证关系，国运带来的任务生涯的跌宕起伏。有的时候我们痛恨那个在条约上签字的小人，那个懦夫，那个丧权辱国的走狗。背后可能是一个孱弱不堪的政府。没有扶大厦于将倾的仁人志士，只有借国运一展宏图的幸运儿。何谓成就霸业？何谓飞黄腾达？只不过是在列车前进过程中，跑到了车头的位置，如果列车开始倒退，他们就是遗臭万年的莽夫。
|
||||
|
||||
|
||||
|
||||
|
||||
耳熟能详的条约
|
||||
|
||||
|
||||
清朝末年的不平等条约
|
||||
|
||||
鸦片战争的 南京条约
|
||||
沙俄与中国的 瑷珲条约
|
||||
八国联军侵华 辛丑条约
|
||||
中日甲午战争的 马关条约
|
||||
|
||||
@@ -1,18 +0,0 @@
|
||||
## 计划
|
||||
|
||||
- [ ] 读完中期报告
|
||||
- [ ] 读完之前每个月的计划
|
||||
- [ ] 读完工程中所有的计划和安排
|
||||
- [ ] 重新运行所有的实验。在google colab中试一试。
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
首先熟悉之前的工作。剩下的工作的话，没有猜错的话应该包括
|
||||
1. 恶意软件的处理
|
||||
2. 隐私保护的添加
|
||||
3. 服务注册与发现
|
||||
4. 图形界面操控
|
||||
@@ -1,17 +0,0 @@
|
||||
## 任务
|
||||
|
||||
论文阅读（十篇）
|
||||
* [x] 基于深度学习的Android恶意软件检测：成果与挑战
|
||||
* [x] 基于知识图谱的Android恶意家族多分类工具的设计和实现
|
||||
* [x] 基于自适应学习技术的小样本分类、表征和检测
|
||||
* [x] 基于PAC-Bayes的元学习算法研究
|
||||
* [x] 具有隐私保护的云端移动恶意软件检测系统
|
||||
* [x] Meta-Learning by Adjusting Priors Based on Extended PAC-Bayes Theory
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
> 哪有那么多愁善感。简单的问题就用简单的方法解决好了。
|
||||
> 另外，我发现我终于可以认认真真，开始面对生活了。我想刚开始的热情已经退却了。我可以开始平平淡淡的生活了。绝不妥协，这一次，我就是要不用焦虑驱动自己学习。而是靠着理智和认真。我要现在就开始，在回家之前把所有的东西做完。有足够的能力和时间。开始吧。
|
||||
> 关于学习，关于做实验，关于这一个月的计划，明白就好。没有必要做的非常好。但是无论是模型还是特征提取都要有自己的特点。
|
||||
> woc，每天浪费这些时间，干嘛呢。真无聊啊。你觉得这样做的真的有意义吗。自己确实不应该在这样的事情上浪费时间了。好多事情，好想做事。
|
||||
@@ -1,218 +0,0 @@
|
||||
# 基于联邦学习的恶意软件检测系统研究
|
||||
|
||||
## 第一章：绪论
|
||||
|
||||
### 1.1 研究背景和意义
|
||||
|
||||
1. 安卓系统应用。
|
||||
2. 恶意软件泛滥。
|
||||
3. 恶意软件检测。基于机器学习的恶意软件检测方案（巴拉巴拉介绍一对机器学习、深度学习在恶意软件检测领域的应用。）尽管机器学习服务取得了成功，但它们的有效性在很大程度上依赖于大量的数据。
|
||||
4. 隐私保护问题。
|
||||
5. 数据的需求和隐私保护的矛盾（当前恶意软件检测中存在的主要矛盾和问题）。数据成为限制机器学习算法的主要瓶颈。那么广大数据在哪里呢？肯定分散在用户设备上。所以我们提出了基于边缘学习联合学习的分布式机器学习方案。直接在拥有用户的本地设备上进行学习，获得机器学习模型，解决了数据量的问题和利用边缘设备的计算能力。同时传统的机器学习中，在数据搜集过程中侵犯隐私的问题。
|
||||
6. 最后提出基于联邦学习的恶意软件检测。结合恶意软件来说。数据的需求：数据隐私保护的需求、数据无标签问题的解决、数据非独立同分布训练模型、数据动态变化问题的解决。恶意软件数据隐私保护进一步提升（研究内容）。恶意软件数据非独立同分布的问题（研究内容）。
|
||||
|
||||
7. 针对以上背景，研究基于机器学习的恶意软件检测模型构建方案有十分重要的意义。这种意义主要体现在以下几个方面：
|
||||
1. 扩展了机器学习模型获取数据的范围。利用了边缘设备的计算能力。
|
||||
2. 解决了集中式学习搜集数据困难、搜集数据过程中会侵犯用户隐私的问题。
|
||||
3. 增强恶意软件检测的能力。增强隐私保护能力。
|
||||
|
||||
> 说实话，我主要是解决联邦学习中的问题，而非解决恶意软件检测的问题。为了解决数据中存在的问题，而非恶意软件相关的问题。如何让解决的问题与恶意软件检测进行强相关？而非与联邦学习强相关。
|
||||
>
|
||||
> 原始数据+特征提取->训练数据+训练算法->训练模型->恶意软件检测。
|
||||
>
|
||||
> 通过概述训练算法，解决训练数据中的需求和存在的问题，从而改善训练模型的准确率。而非直接更改模型，增强恶意软件检测的结果。需要把这个东西说明。
|
||||
>
|
||||
> 以下是本文章的研究逻辑：
|
||||
>
|
||||
> 传统机器学习方法存在问题（研究背景）---->非独立同分布、隐私保护（研究的意义）---->研究联邦学习（研究方向）----->联邦学习中存在的一系列问题----->非独立同分布、隐私保护（研究目标）------>非独立同分布、隐私保护方法（研究内容）
|
||||
|
||||
### 1.2 国内外研究现状
|
||||
#### 恶意软件的研究现状
|
||||
|
||||
1. 数据集方案（当前流行的主流数据集、恶意软件数据集）
|
||||
2. 特征提取方案（）
|
||||
3. 模型构建方案（）
|
||||
4. 缺乏保护隐私的方案
|
||||
|
||||
#### 联邦学习的研究现状
|
||||
|
||||
* 联邦学习与非独立同分布问题
|
||||
* 联邦学习与隐私保护问题
|
||||
* 联邦学习系统构建
|
||||
|
||||
|
||||
1. 恶意软件检测的机器学习和联邦学习方案。
|
||||
2. 当前解决恶意软件数据隐私保护问题的方案——传统的数据隐私保护方法的研究（差分隐私、数据加密）
|
||||
3. 当前解决恶意软件数据无标签问题的方案——恶意软件检测与半监督学习的方案（sephew、基准分类器）
|
||||
4. 当前解决恶意软件数据非独立同分布问题的方案——现有的非独立同分布数据方案（prox？）
|
||||
5. 联邦学习的隐私保护、半监督学习、非独立同分布等开放问题的解决方案。
|
||||
|
||||
#### 对比基线
|
||||
1. 恶意软件检测的机器学习和深度学习研究方案（第一层：针对恶意软件检测**领域**对比）
|
||||
1. 恶意软件检测中数据扩展+隐私保护的研究方案（第二层：针对数据扩展和隐私保护等**需求**的对比）
|
||||
2. 联邦学习的隐私保护、非独立同分布等开放问题的研究方案（第三层：针对隐私泄露问题、非独立同分布**问题**的对比）
|
||||
|
||||
### 1.3 研究内容和研究目标
|
||||
|
||||
1. 联邦隐私保护学习方案——差分隐私、同态加密
|
||||
2. 联邦非独立同分布学习方案——联邦元学习
|
||||
3. 面向恶意软件检测的，基于联邦元学习和增强隐私保护能力的联邦学习框架
|
||||
|
||||
论文贡献（到时候再展开或者压缩内容。）
|
||||
1. 实现了差分隐私，并通过实验验证了差分隐私对参数隐私的保护
|
||||
2. 使用了联邦元学习解决了非独立同分布问题
|
||||
3. 完成了相关的实验验证。证明了算法的有效性。通过对比，验证了系统的可用性和可扩展性。
|
||||
4. 构建了联邦学习框架和恶意软件检测系统。
|
||||
1. 能够使用差分隐私保护用户的隐私，
|
||||
2. 能够针对非独立同分布场景，训练机器学习模型。
|
||||
3. 一个恶意软件特征提取和分析工具.恶意软件检测系统包括特征提取模块和模型检测模块。
|
||||
4. 提供了一个训练框架，以及一个可用的模型。
|
||||
|
||||
### 1.4 论文结构
|
||||
|
||||
## 第二章：理论基础和关键技术研究
|
||||
|
||||
### 2.1 联邦学习原理与联邦平均算法
|
||||
> 联邦学习的基础原理。联邦学习的实现方案。联邦学习的分类和数学表示。联邦学习中的开放问题。
|
||||
### 2.2 差分隐私的原理
|
||||
|
||||
|
||||
> 差分隐私、同态加密方法。实现了多方安全计算。
|
||||
### 2.3 非独立同分布原理
|
||||
> 非独立同分布的原理、表示方法（衡量标准）、产生的影响（论证非独立同分布是联邦学习解决问题中的关键问题。）
|
||||
> 对非独立同分布的数学的描述。
|
||||
### 2.4 元学习原理
|
||||
|
||||
|
||||
### 2.5 数据处理
|
||||
|
||||
#### 2.5.1 恶意软件特征去提取
|
||||
|
||||
> 恶意软件主要分类、恶意软件主要分类的依据和数学表示（接口、行为？）、恶意软件主要的检测方法利用到的原理。
|
||||
> 哪些内容能够表现恶意软件
|
||||
|
||||
> 特征提取技术，特征降维方法。动静态特征的提取方法。
|
||||
|
||||
* 静态特征的提取
|
||||
* 动态特征的提取
|
||||
* 特征降维方法
|
||||
|
||||
#### 2.5.2 恶意软件特征选取
|
||||
|
||||
|
||||
#### 2.5.3 非独立同分布数据集的设置
|
||||
|
||||
### 2.6 神经网络模型
|
||||
|
||||
|
||||
|
||||
|
||||
## 第三章：基于贡献度和元学习的联邦学习算法
|
||||
|
||||
### 3.1 非独立同分布问题的建模
|
||||
|
||||
|
||||
### 3.2 基于贡献度的聚合方法
|
||||
|
||||
* 能够衡量用户的贡献度的方法
|
||||
|
||||
|
||||
### 3.3 基于贡献度和元学习的联邦学习算法
|
||||
|
||||
|
||||
## 第四章：基于差分隐私的联邦学习算法
|
||||
|
||||
### 4.1 威胁模型（数学公式推导）
|
||||
### 4.2 基于差分隐私的联邦学习算法（算法，加入到整体的联邦学习框架中）
|
||||
### 4.3 隐私保护的验证方法（从理论上证明，隐私保护的准确性）
|
||||
|
||||
|
||||
|
||||
## 第五章：恶意软件检测算法的实验与结果
|
||||
|
||||
|
||||
### 5.1 实验环境
|
||||
### 5.2 实验设置
|
||||
### 5.3 实验结果
|
||||
### 5.4 实验结论
|
||||
|
||||
|
||||
|
||||
## 第六章：恶意软件检测系统构建
|
||||
|
||||
### 6.1 系统总体设计
|
||||
|
||||
|
||||
### 6.2 系统详细设计
|
||||
> 存在多个功能模块。按子系统讲解。需要起个合理的名字。
|
||||
> 服务端子系统
|
||||
> * 服务注册和发现模块
|
||||
> * 客户端选择模块
|
||||
> * 控制服务模块
|
||||
> * 聚合服务模块（提供多种聚合服务）
|
||||
> * 训练服务模块（提供多种训练类型的聚合，不同端）
|
||||
>
|
||||
> 控制端子系统
|
||||
> * 训练控制模块
|
||||
> *
|
||||
>
|
||||
> 客户端子系统
|
||||
> * 服务访问模块
|
||||
> * 模型训练模块
|
||||
|
||||
|
||||
1. 特征提取模块
|
||||
2. 训练控制模块
|
||||
3. 网络通信模块
|
||||
4. 训练展示模块
|
||||
5. 实验结果对比模块
|
||||
|
||||
### 6.3 系统测试
|
||||
> 列出测试过程中的关键指标。
|
||||
1. 各个模块的功能测试
|
||||
2. 系统整体的集成测试
|
||||
3. 最终的界面展示
|
||||
## 第七章：结论
|
||||
> 3个研究内容。
|
||||
### 基于贡献度和元学习的联邦学习算法
|
||||
|
||||
### 基于差分隐私的联邦学习算法
|
||||
|
||||
### 基于微服务的恶意软件检测系统
|
||||
|
||||
|
||||
----------------------------
|
||||
|
||||
|
||||
## 补充：存在的问题
|
||||
（1）算法的稳定性存在问题，部分算法收敛过程中出现较大范围的不合理的抖动。
|
||||
（2）算法的最终准确率问题，部分算法无法收敛，由实验设置导致部分算法出现偏差，需要调参，进行更好的对比。
|
||||
（3）基于差分隐私的联邦学习方法进行实验。
|
||||
## 补充：尚未完成的工作
|
||||
（1）新的恶意软件数据集的数据处理工作。
|
||||
（2）针对非独立同分布问题的算法调试工作。需要调试参数，对比算法，画出实验结果对比的图形，
|
||||
（3）基于差分隐私的联邦学习算法实现，并进行实验验证工作。
|
||||
（4）基于微服务技术的恶意软件检测系统中，实现服务的注册和发现。将前端控制和展示服务实现。
|
||||
## 补充：解决问题的思路和措施
|
||||
（1）查找相关的资料，对论文中提到的方法进行实现。
|
||||
（2）针对系统构建中出现的问题，进行详细设计和技术选型，编程实现，并分析效果。
|
||||
（3）对比别人的实验过程，借鉴实验的方法和参数的设置。
|
||||
|
||||
-----------------------------------
|
||||
|
||||
|
||||
## 补充
|
||||
|
||||
### 相关要求
|
||||
1. 按照毕业论文的水准来写研究背景、研究目标、研究内容。把引用的文献写清楚。
|
||||
2. 已经完成的工作尽量详细点。按照毕业论文理论和实验部分的要求来写。
|
||||
3. 每一个技术或者内容的名字现在应该固定下来。不应该这么随意了。
|
||||
4. 对框架和系统部分进行区分。（是算法框架，是一种模式。系统是对这种模式的实现。）
|
||||
5. 命名规范确定一下（基于联邦学习的恶意软件检测系统？面向恶意软件检测的联邦学习系统）搞明白啊，术语不统一自己也很凌乱。
|
||||
|
||||
### 术语规范
|
||||
1. 基于联邦学习的恶意软件检测方法、基于联邦学习的恶意软件检测系统
|
||||
2. （差分隐私+元学习+用户贡献度）联邦学习框架恶意软件检测方法/系统
|
||||
3. 基于差分隐私的联邦学习框架
|
||||
4. 基于用户贡献度和元学习的联邦学习框架
|
||||
5. 基于用户贡献度和联邦元学习的恶意软件检测方法
|
||||
@@ -1,15 +0,0 @@
|
||||
## 任务
|
||||
|
||||
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
1. 意志：觉得我现在做的是有意的，热情，惯性。
|
||||
2. 思维：注意力，远离干扰，离手机远点。
|
||||
3. 情感：开心、平淡。调节不良情绪，兴趣爱好，冥想日记，聊天。
|
||||
4. 体能：睡眠、运动、饮食。
|
||||
|
||||
由底层到高层的金字塔，逐渐加强。由高层到底层进行控制。
|
||||
|
||||
张雪峰罗翔大漠叔叔谭警官阿特
|
||||
@@ -1,37 +0,0 @@
|
||||
## 十一月份计划
|
||||
|
||||
> 参考
|
||||
> 四月份计划、五月份计划、七月份计划。
|
||||
> 开始执行具体的计划。
|
||||
|
||||
|
||||
### 数据处理12.8-12.12
|
||||
|
||||
* [x] 恶意软件论文阅读 9-12月的论文阅读。
|
||||
* [x] 数据集收集
|
||||
* [ ] 数据集特征提取和打标签
|
||||
|
||||
### 模型构建12.13-12.19
|
||||
* [ ] 模型建立。包括基本神经网络模型、卷积神经网络、图神经网络等。
|
||||
* [ ] 集中式机器学习。得到不错的模型里训练效果，并且对比各种顺境网络
|
||||
|
||||
|
||||
### 算法1：联邦学习实验12.20-12.31
|
||||
* [ ] 非独立同分布实验效果调整
|
||||
* [ ] 对个人的方法进行持续的改进
|
||||
|
||||
### 算法2：隐私保护实验01.01-01.09
|
||||
|
||||
* [ ] 隐私保护实验验证
|
||||
* [ ] 对该方法进行持续改进
|
||||
|
||||
### 系统构建01.09-01.26
|
||||
|
||||
> 关于系统构建的说明
|
||||
|
||||
* [ ] 服务注册与发现
|
||||
* [ ] 远程协同训练系统的实现
|
||||
* [ ] 前端界面实现
|
||||
|
||||
|
||||
### 论文专利12.12-1.1
|
||||
@@ -1,73 +0,0 @@
|
||||
## 个人分析
|
||||
> 有个人教会自己生活就好了，你还指望，她能帮你打理好工作，你有病吧。当个人吧，做点人事。
|
||||
> 总有一天，你会发现彼此都是普通人。
|
||||
### 需求
|
||||
|
||||
* 工资（40%）
|
||||
* 总包40w以上，基础工资越高越好。
|
||||
* 年终奖+绩效奖金
|
||||
* 福利（10%）
|
||||
* 户口（中等，可以走双一流学科，大部分企业应该都能够提供户口）
|
||||
* 股票、签字费。可有可无
|
||||
* 五险一金（待遇基本一致）
|
||||
* 平台（40%）
|
||||
* 技术栈（java？C++？Go？）
|
||||
* 业务内容
|
||||
* 发展前景
|
||||
* 环境（20%）
|
||||
* 晋升空间
|
||||
* 工作环境（工位、饮食）
|
||||
* 人文环境（加班、）
|
||||
|
||||
## 需要考虑的公司
|
||||
|
||||
### IBM
|
||||
* 岗位：
|
||||
* 待遇：
|
||||
* 优劣：
|
||||
* 进度：拒绝
|
||||
|
||||
|
||||
### 美团
|
||||
|
||||
* 岗位：
|
||||
* 待遇：
|
||||
* 优劣：
|
||||
* 进度：
|
||||
|
||||
### 蚂蚁金服
|
||||
|
||||
* 岗位：
|
||||
* 待遇：
|
||||
* 优劣：
|
||||
* 进度：
|
||||
|
||||
### 字节跳动
|
||||
|
||||
* 岗位：
|
||||
* 待遇：
|
||||
* 优劣：
|
||||
* 进度：
|
||||
|
||||
|
||||
### 华为
|
||||
|
||||
|
||||
|
||||
* 岗位：
|
||||
* 待遇：
|
||||
* 优劣：
|
||||
* 进度：
|
||||
|
||||
|
||||
### 小米
|
||||
|
||||
* 岗位：
|
||||
* 云计算-软件开发
|
||||
* 待遇：
|
||||
* 优劣：
|
||||
* 进度：
|
||||
|
||||
* 完全明白我们的业务内容，估计也不会跑出这个范围。太偏业务了。想去做点底层技术，能够加深对技术理解的工作。
|
||||
* 大概能找到真正适合自己的地方。尝试一下吧。回来把这张表格填完。
|
||||
* 不要妄自菲薄，也不要过度用词。
|
||||
@@ -1,6 +0,0 @@
|
||||
## 任务
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
>
|
||||
@@ -1,4 +0,0 @@
|
||||
## 任务
|
||||
> 要回自己的位置完成这一系列的任务了。
|
||||
|
||||
* [x] drebin相关数据集整理完成。代码跑通。
|
||||
@@ -1,10 +0,0 @@
|
||||
## 任务
|
||||
|
||||
|
||||
* [x] 电影整理和下载（规划最近想看的电影）
|
||||
* [x] 手机照片和表情包的整理
|
||||
* [x] 双旦计划制定完成
|
||||
* [x] androguard教程今天看完
|
||||
* [x] 看完两个androguard的工程（现有的那个太老了）
|
||||
|
||||
## 收获
|
||||
@@ -1,10 +0,0 @@
|
||||
## 任务
|
||||
|
||||
工程阅读计划开始。
|
||||
* [ ] drebin-master
|
||||
* [ ] HGdroid-Method
|
||||
* [ ]
|
||||
|
||||
## 收获
|
||||
|
||||
好激动啊，可以好好干活了。我觉得心情很好，也很期待有她的生活。
|
||||
@@ -1,12 +0,0 @@
|
||||
## 任务
|
||||
* [x] 论文阅读Drebin
|
||||
* [X] 论文阅读Androzoo
|
||||
* [x] 论文阅读CIC
|
||||
* [ ] 论文阅读图神经网络
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
* 别人喂到嘴里的都不吃就是傻逼。开始吧。将谈恋爱和工作分开，处理好所有的事情。
|
||||
* 别把一手好牌打的稀烂
|
||||
* 现在需要做的是，大量阅读 恶意软件 检测和分类 的相关论文，然后复现他们的方法。在复现的基础上进行进一步的改进。我觉得图神经网络确实是一个不错的点。接下来就是大量搜集论文看论文，并像之前那样开始复现好了。
|
||||
@@ -1,81 +0,0 @@
|
||||
# 滑雪教程&跨年攻略
|
||||
|
||||
|
||||
## 物品装备
|
||||
|
||||
* 早餐、午餐（如果不晕车的话最好在车上吃完，中午午休可以吃准备好的午餐）
|
||||
* 学具、雪服（可以考虑，担心不合身，自己穿好运动装）、滑雪镜25、手套5、头盔20
|
||||
* 晚餐，烤肉or其他
|
||||
|
||||
|
||||
|
||||
## 路线行程
|
||||
提前一天准备好物品。
|
||||
6:20 起床收拾东西，6.50准时出发。
|
||||
8:00 亮马桥地铁站C口出行
|
||||
9:30 到达，并用半个小时入场
|
||||
16:40 乘巴士前往北京（路上点好外卖）
|
||||
18:15 返回，并找地方吃饭休息
|
||||
19:00 诶，就是玩
|
||||
-----------------------------------------
|
||||
|
||||
## 跨年方案
|
||||
|
||||
回来的路上考虑。外卖可以考虑单点的酒吧酒水。
|
||||
|
||||
* 吃的话交给小玉想好了。
|
||||
* 可以炸鸡、烤肉
|
||||
* 可以搞个小蛋糕？就买小玉喜欢吃的那个吧
|
||||
* 小饮怡情
|
||||
* 威士忌（金宾波本、百龄坛，鉴别一下平价的美国威士忌和苏格兰威士忌的区别）+饮料（大桶可乐、雪碧、美年达、旺仔牛奶、绿茶红茶、红牛、咖啡、椰汁）+冰块
|
||||
* 威士忌+热蜂蜜水（难搞）+柠檬水
|
||||
* 两个小杯，一个大杯。鸡尾酒应该是没办法调制了，需要的材料有点多，超市又买不到。
|
||||
* 玩的话
|
||||
* 哔哩哔哩电影+跨年晚会
|
||||
|
||||
|
||||
|
||||
## 滑雪教程
|
||||
|
||||
### 认识
|
||||
1. 认识器材：雪板，滑雪杖。前后固定器。雪板的原理。
|
||||
2. 适应器材：
|
||||
1. 穿雪板，站在固定器旁边，先穿外侧脚。
|
||||
2. 尝试原地重心前倾，小腿和全身重心都要斜向前。屁股可以抬高点。小腿前倾给雪板前方加压。这可能与平底站立最不同的地方。平地的时候重心压在脚上，而这个时候要压在雪板上。
|
||||
3. 双手环抱。不能扭动脚腕。
|
||||
4. 脱落判定。
|
||||
3. 平移上坡：八字脚移动。上坡，平行登坡和八字登坡。用侧边卡住雪地。
|
||||
4. 原地刹车：原地刹车练习。尽量保持上半身不动。
|
||||
5. 摔倒：
|
||||
1. 重心要低，非常低，逐渐降低，摔倒的冲击力会变小。
|
||||
2. 必须侧面摔倒，不能扭转膝盖，不能前后摔，向坡上摔倒。
|
||||
3. 主动摔倒。
|
||||
4. 站立，可以先脱离雪板。
|
||||
6. 缆车。双板平行，雪仗拿好。
|
||||
|
||||
### 梨式教程
|
||||
1. 刹车加速：膝盖内扣，重心不要太前太后，略向前倾，主要是初学**重心的前后分配**。用侧边卡雪。平行加速。八字平行转换练习。
|
||||
2. 犁式转弯：重心转换，重心加在外侧脚。用重心和下半身控制，入弯的时候重心下降，给雪板加压，出弯的时候重心稍微升高，释放压力。
|
||||
|
||||
### 平行教程
|
||||
1. 静止平行：平行立刃可以非常高，不会伤膝盖，朝同一个方向立刃，刹车效果更强。感受静止的平行立刃，主要是学会用双板的外侧刃滑雪。梨式到平行的转换，山下脚永远力量强，收山上脚。主要练习**重心的左右分配**
|
||||
2. 横滑降。使用横滑向山下运动。可以在教小玉的时候使用横滑降。
|
||||
3. 斜滑降：有一个斜的方向。下陡坡。
|
||||
4. 一千只脚：单脚横滑。都用山上侧的刃。斜桦或者横滑。
|
||||
5. 鹤弯：单脚下滑联系，让外侧退承重，抬起内测退。
|
||||
6. 海浪湾：双脚平行，加速减速，像波浪一样。小角度转弯，尝试平行的加减速。平行向下加速，平行垂直滚落线减速。
|
||||
7. J弯：更大角度的海浪湾。向下加速更快，垂直滚落线减速的时候，更大角度，朝上。
|
||||
8. 平行刹车：更大角度的J弯。迅速转换成刹车状态，J的收尾动作变成停止，称为更小的弯。
|
||||
9. 冰球刹车，利用平行刹车减速，不需要完全刹停有一点速度，可以继续启动。涉及到双板加压，释放压力的过程。
|
||||
10. C弯/S弯：双板平行。平行式的最终版联系。尝试让双腿记住平行式的外侧刃和内测刃感觉。
|
||||
11. 上下分离：横拿雪仗。让上半身保持静止，控制中心的稳定性。下半身的腿部动作，实现方向的转换。
|
||||
12. 压力释放cross over：主要练习的是平行双板下**重心的上下分配**。加压的时候，降低重心，引身向下。释放压力的时候，升高重心，向上引申。可以通过冰球刹车练习，甚至可以让双板离地。
|
||||
13. cross under：完全通过腿的动作，伸腿、曲腿实现加压和释放。
|
||||
14. 点杖：手部力量。这个，根本不用学好吧，
|
||||
|
||||
|
||||
|
||||
### 花式教程
|
||||
|
||||
1. 无敌小回转
|
||||
2. 落叶飘
|
||||
@@ -1,28 +0,0 @@
|
||||
# 十二月份计划
|
||||
|
||||
> 由于十月十一月休息了两个月。已经完全没有时间在进行放松了。所有的东西都已经稳定下来了。工作、感情。我觉得可以心无旁骛的认真工作了。考虑过自己是个什么样的人，喜欢用什么样的方式学习。想要开始拼命，好怀念那种心无旁骛拼命学习的感觉。
|
||||
> 需要投入大量的时间。每天保证至少有完整的是个番茄钟。每个番茄钟合理分配。
|
||||
> 工作十分艰难。小玉的数据集、数据集生成和特征处理、算法都基本完成了，而且有一些相似的实验可以参考。但是自己从头到尾，从数据处理到算法实现再到系统设计与实现，都只是一个初步的想法，距离完成还有很长的距离要走。所以必然要付出更多的时间。你应该紧张焦虑一些，不要把紧张焦虑传递给别人，而是push自己更好的前进。别再执迷不悟了，你已经没有任何时间用来玩耍了，可以用更多的时间来讨论学术问题，来一起学习。我觉得why学弟做的非常好，也许恋爱并不是花里胡哨的玩耍，还有一块学习、一块前进，将感情与工作结合起来。
|
||||
> 自己的问题自己解决。经过几次看病，我发现，自己已经没办法像个孩子一样博取同情和关爱了。以前总会有人悉心的给自己讲解一些东西，可以装傻卖萌装可怜，然后就有人来关心自己，帮自己解决问题，但是现在是个成年人了，也不像可爱的女孩子一样，具有天然的优势，必须得通过自己的说话的技巧、拳头的硬度来解决问题了。
|
||||
> 果然有一个个矛盾和无数的问题等着自己，只要我们还挨着彼此，就回跨越所有的障碍。
|
||||
> 十二月的计划，应该按照路程前进，别满脑子都是别的东西了。你的暗示只会把自己搞崩溃。
|
||||
>
|
||||
|
||||
|
||||
|
||||
> 不想到最后一脸怂样地面对被人，不想总是一脸无辜的去请求别人的帮助。像个菜鸡弱者。一点都不争气。很烦这种状态。现在就很紧张。每天必须完成固定多的任务，才能回宿舍。可以送她到一半然后自己再工作一会。好害怕因为学习影响跟她的感情。接下来要按自己的节奏试试，用自己一直不想用的老办法。
|
||||
> 这个月还剩下二十天。看看自己的十一月份计划。把系统除外的东西做完把。尽量多地完成自己的算法，融合好自己的系统。把理论部分研究清楚。一月份把系统做的差不多，才能安心回家过年。兄弟，没时间了。为了毕业，为了自己也为了她。只有处理好自己的事情，才能让两个人的关系更加稳定，如果你每天都在单方向地传递自己的焦虑，肯定最后要失去一切。好好干活，可以不用每天想着怎么玩，可以交流一下怎么工作。想想之前跟w讨论工作的事情。
|
||||
> 一月份做完系统还要写完论文。只有这样才能安心回家过大年啊。
|
||||
|
||||
|
||||
> 关于今日分的感情思考。再想一会就去吃饭了经常在思考。怎样才能让感情变得自然一点，变成双向奔赴的一些东西。不懂时间根本不够好吧。我觉得感情上的事情就到此为止了把，没有必要思考了。我现在要想的是我的工作。简单点，发现生活的眼睛，别想着刻意的安排了。
|
||||
|
||||
> 关于今日份的感情思考。tmd感觉感情这种东西，能让自己虚脱。你干嘛之前那样，我开始后悔。只能是这样，她喜欢什么就喜欢什么把，我应该有自己的生活和爱好。我应该有自己的空间。做自己该做的事情。认识自己的朋友，跟他们出去玩玩，发朋友圈。而不是屏蔽所有的社交关系。
|
||||
|
||||
> 凭什么有那么多奇怪的要求，爱到深处自然浓，干嘛让所有的过程这么不自然，想要规划好，应该做的事情，她应该的表现，我应该的表现。这些多无聊啊，感情就是感性的过程，不需要思考那么多，跟着感觉走就好了。
|
||||
|
||||
> woc，ykl别傻逼了。搁这浪费时间呢。我觉得我不应该这样，还不如出去思考思考自己该做什么。去转转吧。去绿源走两圈，阳光挺好的。然后去吃饭。
|
||||
|
||||
> 大家都他妈的毕业了，剩下的没多少人了。算了算，最多还剩下一百个没有毕业的，也不算少数了，最近还是好好努力一把，把东西做出来。好激动，我觉得我马上就能把实验做完了。加油吧，殷康龙，过几天整理好。把所有的代码实现。
|
||||
|
||||
> tmd这怎么能学的下去。我现在应该全身心的投入到学习当中，而不是在这里瞎想。
|
||||
@@ -1,4 +0,0 @@
|
||||
> 提纲
|
||||
> 1. 数据集内容
|
||||
> 2. 分析工具
|
||||
> 3. 分析方法
|
||||
@@ -1,32 +0,0 @@
|
||||
## 第一周
|
||||
|
||||
### 主要任务
|
||||
|
||||
1. 恶意软件相关论文阅读
|
||||
1. 数据集
|
||||
2. 数据集的处理方法
|
||||
3. 模型
|
||||
4. 模型的训练方法
|
||||
2. 构建数据集
|
||||
|
||||
## 第二周
|
||||
|
||||
### 主要任务
|
||||
|
||||
1. 数据集处理
|
||||
1. 处理方法
|
||||
2. 自动处理
|
||||
|
||||
## 第三周
|
||||
|
||||
### 主要任务
|
||||
|
||||
1. TensorFlow学习
|
||||
2. 神经网络模型构建
|
||||
3. 进行单机训练
|
||||
|
||||
## 第四周
|
||||
|
||||
### 主要任务
|
||||
|
||||
1. 模型训练调优
|
||||
@@ -1,18 +0,0 @@
|
||||
## 工作安排
|
||||
|
||||
1. **技术调研**，三个方向的相关论文阅读技术范式确定。
|
||||
2. **基础知识**，实现机器学习+深度学习的基本算法。并看李宏毅的教程和西瓜书。
|
||||
3. **数据集和预处理**工作。相关数据集构建、反编译工具使用，完成恶意软件的代码分析工作。
|
||||
4. **特征提取**
|
||||
5. **神经网络模型**的构建与本地训练。效果评估，验证机器学习算法的有效性
|
||||
6. **联邦学习框架**的实现。效果评估，验证联邦学习框架的准确率不会降低
|
||||
7. **威胁模型**的应用。验证威胁抵抗效果
|
||||
8. **半监督学习**的实现。验证半监督方法的有效性。
|
||||
9. **集中在线增量学习**的实现，验证算法的有效性。
|
||||
10. **联邦在线半监督**学习的实现。
|
||||
11. 检测效果最终的效果评估。
|
||||
12. 威胁信息生成
|
||||
13. 生成效果评估
|
||||
|
||||
|
||||
|
||||
@@ -1,113 +0,0 @@
|
||||
## 任务
|
||||
|
||||
### 毕设
|
||||
|
||||
- 读论文
|
||||
- 论文复现（一周时间）
|
||||
|
||||
### 工作
|
||||
> [C++学习路线](https://www.zhihu.com/collection/589776737)
|
||||
>
|
||||
> 由于go与java不能兼容。go在某种程度上更加简洁高效，在新的业务中大有取代java的趋势。所以接下来的准备添加go的内容。
|
||||
- 制作简历（明天）√
|
||||
- [x] 简历说明
|
||||
- 知识复习——语言
|
||||
- C++（primer）（四周）
|
||||
- [x] 基础语法 √
|
||||
- [x] 标准库 STL√
|
||||
- [x] 面向对象 √
|
||||
- [x] 设计模式（有道云笔记，源网址，gitee设计模式库，书）√
|
||||
- [ ] effective 系列
|
||||
- [ ] 系列视频（知乎上收藏的内容）
|
||||
- [ ] 狂神linux系列
|
||||
- [ ] C++ coding系列
|
||||
- [ ] 看大佬写C++。(chermo)
|
||||
- [x] 面试问题专项解决
|
||||
- ~~Java（四周）~~
|
||||
- [ ] ~~语法~~
|
||||
- [ ] ~~标准库-网络编程~~
|
||||
- [ ] ~~标准库-并行编程（多线程）~~
|
||||
- [ ] ~~标准库-IO编程~~
|
||||
- [ ] ~~javaEE 和 java web~~
|
||||
- 数据结构（一周）
|
||||
- [ ] 《大话数据结构》
|
||||
- [ ] 《数据结构与算法分析》
|
||||
- [ ] 《算法图解》
|
||||
- [x] 数据结构笔记（线性、堆栈、树、图）
|
||||
- 算法（一周）
|
||||
- [x] 学习、复习枚举法
|
||||
- [x] 学习、复习分治法（把相关思想下的问题和算法补充完整）
|
||||
- [x] 学习、复习动态规划
|
||||
- [x] 学习、复习贪心
|
||||
- [x] 学习、复习回溯剪枝
|
||||
- [x] 学习、复习分支限界
|
||||
- 知识复习——基础（一周）
|
||||
- [x] 计算机网络
|
||||
- [x] 应用层
|
||||
- [x] 传输层
|
||||
- [x] 网络层
|
||||
- [x] 链路层
|
||||
- [x] 物理层
|
||||
- [x] 数据库
|
||||
- [x] mysql
|
||||
- [x] 并行处理
|
||||
- [x] 基础知识
|
||||
- [x] 操作系统
|
||||
- [x] 进程管理
|
||||
- [x] 处理机管理
|
||||
- [x] 设备管理
|
||||
- [x] 文件管理
|
||||
- [x] 系统调用
|
||||
- 知识复习——框架
|
||||
- ~~Spring系列（四周）~~
|
||||
- [ ] ~~spring~~
|
||||
- [ ] ~~spring MVC~~
|
||||
- [ ] ~~spring boot~~
|
||||
- [ ] ~~redis~~
|
||||
- [ ] ~~mybatis~~
|
||||
- 编程实战
|
||||
- linux系统编程（四周）
|
||||
- [ ] 网络编程（socket网络编程）
|
||||
- [ ] 并行编程（多线程、多进程并发编程）
|
||||
- [ ] IO编程（实现多种机制的IO方式select/poll/epoll/signal/async等）
|
||||
- [ ] 系统编程（linux操作系统编程）
|
||||
- C++通用库跨平台编程（两周）
|
||||
- [ ] 网络编程（socket跨平台网络编程）
|
||||
- [ ] 并行编程（多线程、多进程并发编程）
|
||||
- 刷题
|
||||
- 力扣（学习、题库、讨论。侧重于刷算法类型的题目和相关讨论）
|
||||
- 学习：3-5 本书的学习需要阅读的书籍如下
|
||||
- [ ] 数组、链表、队列、树（堆）、图(数据结构专项)
|
||||
- [ ] 初级算法
|
||||
- [ ] 中级算法
|
||||
- [ ] 高级算法
|
||||
- 题库：然后按照热度刷题库
|
||||
- [X] 剑指 offer√
|
||||
- [x] 每日一题
|
||||
- 讨论：没事看讨论，主要是一些面经和基础知识，可以补充
|
||||
- 牛客网（学习、社区、求职基础知识的学习）
|
||||
- 题库（知识用来刷题）
|
||||
- [ ] 经典必刷题目
|
||||
- [ ] C++专项练习
|
||||
- [ ] JAVA 专项练习
|
||||
|
||||
### 问题（待处理）
|
||||
|
||||
- [x] 关于递归的方式。头递归。尾递归。递归前和递归后的处理。递归前的处理，影响或许递归。递归后的处理，恢复之前的影响。那个应该是一个典型的递归搜索路径的问题。
|
||||
- [x] 关于树的处理。前序遍历中序遍历后续遍历。
|
||||
- [x] 关于位运算的特殊总结。
|
||||
|
||||
## 安排
|
||||
|
||||
- 知识复习——数据结构与算法
|
||||
- 明天早上，根据已经下载好的笔记，读博客已经收藏的博客，修改笔记。关键部分写代码。
|
||||
- 刷题——剑指 offer、经典必刷提、C++专项练习。
|
||||
|
||||
|
||||
|
||||
## 收获
|
||||
* 第一周时间完成了C++语法、C++标准库、C++面向对象的总结。
|
||||
* 第二周时间完成了数据结构的复习。用两天时间复习了基础的数据结构。然后开始刷题。上周二、周三。一边刷题。一边总结了数据结构相关的代码。一边对算法基础、递归迭代、深度广度搜索进行了总结。对具体的算法的总结还么有开始。
|
||||
* 第三周继续刷算法题。并对算法进行深入的总结。现在那些较难的算法（动态规划和图算法）还没有完成总结。还包括一些特殊的数据结构，例如单调栈的特性的总结。
|
||||
* 第四周，与第三周的事情交叉进行，主要画一天时间，复习了Python的相关内容。熟悉了Python、numpy、matplotlib。然后用剩下的时间学习了sklearn机器学习和pytorch深度学习。准备了寒假和开学后做的东西，进行组会。感觉剩下的东西有点多。想想这几天做的事情也没有那么多。还需要完成第三周交叉没有完成的算法的总结。
|
||||
* 第五周，主要对基础知识进行总结，包括算法的基础知识和理论知识。截止到4.5号。总共五周的时间。复习的内容包括计算机操作系统、数据库、计算机网络。包括算法的枚举法、分治法、动态规划、贪心、回溯法、分支限界、图算法。手写了Dijkstra、floyd、prim、kruscal等图算法，bellmanford等一系列的算法等以后再学习，手写了六个排序算法。基础理论知识包括数据库、计算机网络和操作系统。其中操作系统部分需要记忆和搞明白的东西比较多，主要包括三个点：进程/线程的同步和通信原理、进程/线程的同步和通信代码实现、设备IO的实现原理、设备IO的代码实现、网络通信的基本原理、网络通信的代码实现（socket编程）
|
||||
@@ -1,9 +0,0 @@
|
||||
## 今天的计划
|
||||
|
||||
- [x] 刷完今天的十道题 √
|
||||
|
||||
## 今天的收获
|
||||
|
||||
* 在正则表达式匹配和整数匹配哪里。把正则表达式的相关内容整理了一遍。主要通过regex/regex_match/regex_search/smatch/sregex_ietrator五个类或方法来实现正则表达式的匹配。同时对C++支持的正则表达式规则有了认真的学习。
|
||||
* 流输入输出的方法。以前对各种get/put方法有很多凌乱。今天彻底确定了流对象的所有能用的操作。最基本的支持格式化的流输入输出运算符。getline函数能够提供到终止字符的输入。read/write是用来写缓冲区或者二进制数据的。get/put使用了读取一个字符的。其他的东西。都不用记忆也不用学。
|
||||
* 把优先队列相关的内容进行总结了一下。对容器相关的操作有了新的认识。优先队列的创建、使用方法。最主要的是。所有容器的通用的方法。那些贴图太难看了。日后用到或者有不明白的地方，再回来整理md形式的表格。另外。以后记忆函数，必须包括函数的参数和返回值。如果没有参数和返回值，根本不知道怎么用。因为C++ intelli提示太垃圾了。根本看不懂。
|
||||
@@ -1,21 +0,0 @@
|
||||
## 今天的计划
|
||||
|
||||
- [x] 刷完十道题
|
||||
|
||||
|
||||
## 今天的收获
|
||||
|
||||
* 总结了算法问题的处理步骤：问题分析、策略选择、算法设计。对问题总共分为七大类（查找线性结构、搜索分支结构、排序、字符串、排列），数据结构总共分为四大类（数组链表、堆栈队列、树、图），算法思想总共分为九大类（蛮力法、分治法、动态规划、贪心、回溯剪枝、分支限界、随机化和近似算法、递归与迭代、深搜与广搜）。明确了算法思想并不是独立的关系，而是相互重叠又相互不同的关系。
|
||||
* 明确了算法的终极目标：次序、选择、重复。使用这三个东西的组合，处理各种有趣的问题。
|
||||
* 对递归思想和迭代思想进行了彻底的理解。
|
||||
* 递推关系式。正向递推关系式和反向递推关系式。数学推导法和归纳法。递归与迭代。
|
||||
* 明确了递归的分类包括单分支递归和多分支递归。
|
||||
* 明确了递归和迭代的相同点和不同点。二者都能处理重复的问题。但是递归能够处理多分支结构。迭代需要借助特殊的数据结构才能处理多分支的数据结构。如堆栈和队列。
|
||||
* 明确了递归和迭代构件的步骤。包括向下的接口（参数），向上的接口（返回值），递归的处理（递推式），递归前和递归后。循环的递推变量（递推式），重复处理，循环的终止条件。
|
||||
* 对递归和迭代、深搜和广搜与其他部分的关系进行了处理。
|
||||
* **蛮力法**（树图特殊数据结构）与**深搜广搜**。用来遍历求值。
|
||||
* **回溯剪枝与深搜**。用来遍历求路径。
|
||||
* **分支限界与广搜**。用来遍历求路径。
|
||||
* **分治法与递归迭代**。多分支递归，单分支递归迭代都行。
|
||||
* **动态规划只能与迭代结合**。因为有很多重复的子问题，所以不能使用递归。
|
||||
* **递归和迭代用来实现深搜广搜**。
|
||||
@@ -1,15 +0,0 @@
|
||||
# 计划
|
||||
- [x] 对刷题的内容进行总结。首先进行这个总结。(一半了)
|
||||
- [x] 实现字符串分割和字符串格式化的方法（C++库string篇）
|
||||
- [x] 学习、复习枚举法
|
||||
- [x] 学习C++容器。对容器的构造函数进行总结。
|
||||
- [x] 学习C++容器。对每个容器的基础操作进行总结。
|
||||
- [x] 学习C++模板算法。对算法的第三个参数进行总结。
|
||||
- [x] 需要重新看一下补码、原码相关的加减法操作。
|
||||
# 收获
|
||||
|
||||
* 学会了sort的第三个参数的应用
|
||||
* （学会了动态规划，进行了总结）
|
||||
* 内存的直接copy要比循环赋值快的多。比如在vector.erase中删除一个元素。剩下的元素会直接通过内存拷贝的方式移动到前边。insert 后会直接内存拷贝移动到后边。
|
||||
* 例如数组初始化的时候。可以通过内存拷贝实现初始化。而非通过循环一个个赋值。vector中提供了统一元素复制的构造函数constructor(n,t)。通过assign(n,t)函数或者其他方式进行初始化，远远比循环初始化快的多得多。顺序容器中提供了范围插入的方法。
|
||||
* 应该对数组的迭代器（指向元素的指针）进行更熟练的使用。
|
||||
@@ -1,14 +0,0 @@
|
||||
## 计划
|
||||
|
||||
> 完成昨天的任务。
|
||||
|
||||
- [x] 学习、复习图算法，动手实现所有的图算法。
|
||||
- [x] ~~看完数据结构与算法的三本书！！！对相关的原理进行复习和总结。~~
|
||||
- [x] 学习机器学习的实现方案。毕设计划真正的开始执行。
|
||||
- [x] 关于字符串分割。字符串格式化方法的总结。转换成流，作为流对象处理。转换为容器。作为容器对象处理，使用泛型算法。
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
* 使用递归不能解决动态规划问题。适应为动态规划的子问题有重复。使用递归的方法。会导致重复计算的问题。
|
||||
* 使用回溯法解决迷宫问题。是因为回溯法和深度优先搜索，在某一时间，只处理一条路径。不需要记住多个搜索方案的搜索状态。如果是广度优先搜索，则需要记录当前所有的路径的另状态。
|
||||
@@ -1,135 +0,0 @@
|
||||
## 任务
|
||||
|
||||
> 复习计划暂时搁置。开始机器学习的计划（第二篇）五月份学弟就要毕业了，也就是在四月份一个月要把一下的东西全部搞出来。
|
||||
|
||||
> 当前工作的主要的三个方向
|
||||
>
|
||||
> 1. 机器学习算法实践。
|
||||
> 2. 联邦学习文章复现。
|
||||
> 3. 恶意软件数据处理。
|
||||
>
|
||||
> - 静态数据处理
|
||||
> - 动态数据处理
|
||||
|
||||
### **机器学习算法实践（四周）**
|
||||
|
||||
> 尝试各种机器学习算法，主要使用主流的算法框架。寻找网络教程，完成这一块，还有很多书。机器学习算法，应该由浅入深。不能像之前那样想先学会所有的原理，自己手动实现这些原理，然后使用别人的框架实现这些过程，在别人的基础上进行改进。当前应该吧顺序颠倒过来。从使用开始，逐渐理解底层的东西，然后做出适当的修改。
|
||||
>
|
||||
> 1. ->使用算法框架或别人的代码解决问题
|
||||
> 2. ->理解该代码的底层逻辑
|
||||
> 3. ->理解机器学习算法的原理
|
||||
> 4. ->改进算法符合自己的预期目标。
|
||||
|
||||
- 机器学习分类
|
||||
|
||||
- [X] 《机器学习实战》（算法原理+numpy 实现）
|
||||
- sklearn
|
||||
|
||||
- [X] 学习基础用法
|
||||
- [X] 分类算法实现
|
||||
- [X] 恶意软件机器学习分类
|
||||
- tensorflow
|
||||
|
||||
- [X] 学习 TensorFlow2.0 基础
|
||||
- [X] TensorFlow 恶意软件神经网络分类
|
||||
- [X] tensorflow federated学习
|
||||
- [X] TensorFlow 联邦学习实现
|
||||
- pytorch
|
||||
|
||||
- [X] pytoch学习
|
||||
- [X] pytorch 恶意软件神经网络分类
|
||||
- [X] pysyft学习
|
||||
- [X] pysyft联邦学习实现
|
||||
- fate
|
||||
|
||||
- [X] ~~学习fate的使用~~
|
||||
- [X] ~~使用fate完成开发~~
|
||||
- 复习(xmind+tutorial+api)
|
||||
|
||||
- python系列复习
|
||||
- [X] python
|
||||
- [X] numpy
|
||||
- [X] matplotlib
|
||||
- [X] pandas
|
||||
|
||||
- [X] sklearn复习
|
||||
- [X] pytorch复习
|
||||
- [X] tensorflow复习
|
||||
- 复习（**视频教程**）
|
||||
|
||||
- [X] pandas
|
||||
- [ ] sklearn
|
||||
- [ ] pytorch
|
||||
- [ ] pysyft
|
||||
- [X] tensorflow
|
||||
|
||||
> 由于只是太多太乱，感觉需要二轮的复习。
|
||||
>
|
||||
> 1. 首先，学习完成所有的内容，大致会用，完成第一次开发。
|
||||
> 2. 然后看论文，进行第二轮复习，完成第二轮开发。第二论复习主要使用xmind进行知识的整理和规划。第二轮开发主要是结合论文中的方法，对论文中方法进行复现。
|
||||
|
||||
### **恶意软件数据处理（四周）**
|
||||
|
||||
> 针对恶意软件使用机器学习算法。尝试单机或者使用联邦学习解决恶意软件中的问题。
|
||||
|
||||
- 恶意软件数据的处理
|
||||
- [X] 静态数据处理
|
||||
- [X] 动态数据处理
|
||||
- 恶意软件分类
|
||||
- [X] sklearn
|
||||
- [X] TensorFlow
|
||||
- [X] pytorch
|
||||
- 恶意软件+联邦学习
|
||||
- [X] tensorflow federated
|
||||
- [X] pysyft
|
||||
|
||||
## 安排
|
||||
|
||||
1. 某天sklearn一个机器学习小算法
|
||||
2. 某天一个联邦学习框架、深度学习框架
|
||||
3. 某天一篇联邦学习的文章。
|
||||
4. 某天数据集处理一小步。
|
||||
|
||||
## 目标
|
||||
|
||||
> 任务是目标的细化。
|
||||
|
||||
### 机器学习原理与实践教程
|
||||
|
||||
- 吴恩达机器学习教程
|
||||
- 吴恩达深度学习教程
|
||||
- 机器学习实战
|
||||
- 深度学习实战
|
||||
|
||||
### 机器学习的技术栈
|
||||
|
||||
> 原理已经差不多。接下来应该是学习技术。进行实践
|
||||
|
||||
- 语言基础
|
||||
- Python
|
||||
- numpy
|
||||
- scipy
|
||||
- pandas
|
||||
- matplotlib
|
||||
- 机器学习基础
|
||||
- sklearn
|
||||
- 深度学习基础
|
||||
- TensorFlow
|
||||
- tensorflow federated
|
||||
- pytorch
|
||||
- pysyft
|
||||
- fate
|
||||
|
||||
## 计划
|
||||
|
||||
在笔记本上的阶段性安排：
|
||||
|
||||
1. 第六周：机器学习技术栈的全部完成
|
||||
2. 第七周：基本数据处理-工程实现完成
|
||||
3. 第八周：彻底接受学弟的论文工作内容。完成基础三篇论文的复现工作。
|
||||
|
||||
## 收获
|
||||
|
||||
* 第六周（4.5-4.11）:本来应该完成的任务都没有完成。基础知识没有学习完，一直在准备面试笔试相关的东西。
|
||||
* 第七周（4.12-4.18）：已经收尾了本来应该完成的任务也一直没有完成。至少把之前的计划完成。四月份计划彻底解决。
|
||||
* 第八周（4.19-4.25）
|
||||
@@ -1,17 +0,0 @@
|
||||
## 一个程序员的自我修养
|
||||
|
||||
有强烈的欲望想去准备好面试相关的事情。想要复习一下那些内容。天气也很好。雨后初晴，春天已经来了，强烈的感觉，羽绒服也该收起来了。想要去跑步。刚才睡觉的时候想了好多事，发现自己对赚钱？成功？实现自己的梦想的欲望，只是被自己隐藏起来了，并没有衰减。精心收藏在自己内心的某个角落。也许特别适合在这样一个天气，重新想起来。
|
||||
从今天开始，恢复正常的生活。
|
||||
还是会不间断的做梦，梦到她，总是总是总是出现在某个场景中，它的微笑，它的言语，它的宽容。果然世界上最宽容的人只能是她。原谅了自己所有的过错，如果只剩下最后一个选择权，她也会义无反顾。失去了生活中的她。她总会以某种形式出现在我的身边，再回到我的身边。大概，梦境成了我们最好的交流方法。
|
||||
这几天看了很多很多番剧。疯狂补番。
|
||||
动物狂想曲，老记成疯狂动物城。op和ed也太好听了吧。在黑夜中探索，看起来走了一条必然通向错误的路，不敢坚持也不想放弃，究竟怎样才能下定决心。已经两季了，黑暗之中的迷茫逐渐逐渐消失，或许，凭借自己的感觉，终究会走出这片阴影。外边的天空好棒啊。为什么这窗帘总是放下来，好想收上去看看外边的风景。剧情的设定令人匪夷所思，总是感觉极度的不适。食肉与食草的矛盾，作为明线贯穿始终，就像现实生活中那些因为对立而存在的事物——资本家与工人。他们因为天生的对立，永远无法站在对方的立场上说话。然而让他们共荣的方式只有一种，弱者凭借绝对的数量优势和道义优势登上统治者的舞台，强者天生的本能只能作为一种苟且的力量被隐藏在地下。唯有这种社会，能够保持两者共生，但却永远无法化解相互之间的矛盾，对立永远存在——弱者对于力量的恐惧，强者对于欲望的压抑。最平稳的共生环境，却是最危险的共生环境，相互忌惮，虚伪的平衡。一方坚守的是道义，却连本性都无法顾及；一方坚守的是规律和本性，却因为道义而禁声。而打破平衡的曙光，加剧对立？还是消除恐惧与道义的谴责？只有一个办法，男主与女主。作为弱者的一方，站到强者，作为强者的一方，称为弱者。鹿与狼的命运，成为彼此。当划分强弱的方法遭到动摇——食肉与食草，这种虚伪的平衡便不复存在。哲学番。
|
||||
另一个番剧是进击的巨人。最终季终于要结束的了，剧情按照剧本稳健的推进，一切都显得那么不可思议却仍在情理之中。最终的结局究竟是怎么样的，毁灭世界？还是简简单单的回归平静？有无数的猜测和演绎，不到最后一刻，大概我永远猜不到，艾伦到底是通过怎样的方法化解几千年的矛盾？从破墙开始，剧情就开始离谱；然后破墙的巨人竟然是人变得；岛上的人竟然都是巨人的后代？墙里边竟然也是巨人？最大的幕后黑手竟是我自己？王政篇彻底将食物链上的捕食者与实务之间的关系，变成了人与人之间弱肉强食的关系。矛盾的一次次转移，越来越复杂，然后越来越简单，最终彻底销毁矛盾存在的凭借，从根本上摧毁矛盾，而非解决的矛盾。动物狂想曲与进击的巨人在解决矛盾的方式上有异曲同工之妙。艾尔迪亚人与巨人的矛盾->与王权的矛盾->与马来的矛盾->与锤巨阴谋的矛盾->与非艾族的矛盾->（）->矛盾消除。食物链的矛盾，国家的阴谋，国家之间的利益，种族之间的仇恨。最后这个矛盾怎样在上升过程中逐渐破灭，实在令人期待。慢慢看吧，我愿称之为艺术。
|
||||
还看过其他的番剧吗？似乎有诶，本想看无职转生，现在都没了。如果前两个可以称之为哲学，那么咒术回战至今为止可能只是单纯地热血番。相对于以前的番剧，明显感觉没有那么流水线。是既JOJO之后，我觉得另类画风中的非常非常经典的一个。MAPPA作画的虎杖的也太帅了啊。还是最后简笔画的“海澜之家”片尾曲，真好听。而且，从他身上，能够感觉到的是那种洒脱和自信。与艾伦和狼人不一样，在他们身上总是有一种很沉重的包袱，那种包袱，随着剧情的越来越重，只是因为他们是主角，所以没有倒下，那种糟糕的压抑感啊，是看下去的理由，也是让自己陷入另类的悲伤的催化剂。只有虎杖，像鸣人一样寄居了力量，但却没有那种“拯救”什么东西的那种庞大的使命感，简单轻松的战斗，自信，不需要咆哮的自信，因为强大而产生的自信，即是死亡的那一段，也只是平淡的死亡。
|
||||
石纪元与工作细胞，因为脑洞。伍六七是因为画风。包括无职转生，等以后看完了再来评价就好了。
|
||||
最近还在看赘婿。话说最近在追的东西是不是有点多了。要不要做个时间表啊。最近的话还是只看咒术回战和紧急的巨人就好了，其他的暂时放放，等自己有时间再追。发现赘婿这种无聊爽文，还是挺让人上头的，多年之前看过一个武侠小说，就会莫名其妙想要看完，代入感很强。如果一个小说能够让读者想象成其中的一个角色，大概就能牢牢抓住一个人的心吧。这个人物应该与广泛地读者具有很强的相似性，并且其本身的经历和故事会非常又去，让读者错认为自己经历了角色的某些故事，产生“如果是我会这样做吧”这样的想法。我觉得之前让我觉得，如果我穿越到过去，学计算机的可能是最没用的这样的思考，说明这个小说就已经很成功了。关键是这爽文也太爽了吧，每次都是完胜，虽然假，但没有什么比这更爽的。任务塑造还行，男德学院这种东西，真好玩，是不是自己去的话也能像男主一样结交一大堆朋友？hhhh，这些奇怪的搞笑的设定确实挺有意思。
|
||||
|
||||
就这样吧，感觉干活，挣钱还是有意思。所以一开始提及的那个梦想成为什么了呢？要是像他们一样，成为一个老师、医生、律师，这样的说法，似乎还是非常明确的，可是自己呢？什么样的职业，在哪个城市，能做什么，又怎样的发展前景？完全不知道，只能说，为了挣钱？太捞了吧。以前想过为航天事业奉献一生，现在，似乎社会不给自己这个机会，而我也不是那块料，也懒得当个钻牛角尖的人了。当时还抱着一点点希望去西工大的，如今来了北航，或多或少，都跟航空航天沾点边。还有一段时间，想要去开飞机，后来也放弃了机会，连兵也没有当成，愣头青，如今反而羡慕起别人来？为什么呢？因为自己混的不如当时选择当兵的好。当人，也是因为拿到了自己想要的自由，却失去了很多很多。如果在军队的话可能balabala，有一堆自己现在没有的缺点，唯一的优势——自由，对自己来说也聊胜于无，自己把自己囚禁在一个小天地里面，也没有多认识几个朋友。
|
||||
果然很难专心地思考自己的事情，成年人的烦恼真多。家人、事业、学业、社会、朋友，交织在一块，乱七八糟，什么事情都不能专心。还有哪些威胁恐吓的话，给家里打个电话，一堆人满口胡言，一句实话也没有。太烦了。
|
||||
一个程序员，能改变世界吗？那些天才的程序员哪个不是数学天才？一个程序员能够有怎样的觉悟，才能做自己想做的事情。仅仅是为了钱吗？一个仅仅为了升职加薪的程序员？想想就很无聊啊。到现在为止，我们之中，最接近梦想的只有一个人，张康明。说实话，我们之中，四个人的性格，他的性格是最适合大学的，我是最不适应现在这种自由环境的。
|
||||
一个程序员该怎样改变世界？去做当个研究员？读博？这可能是唯一的办法？一个程序员的自我修养，或者说修炼。或许应该读读成功学的故事了。甚至连那种虚无缥缈的故事都不知道。像马斯克那样曲线救国。互联网，有趣的产品，有趣的信息，积累原始资本，实现星际移民和星际贸易。虽然跨度有点大。怎样才能成为有趣的人呢，好像去尝试阅读源代码，看看别人的源码阅读笔记。
|
||||
一个程序员的自我修养。先从生活开始，从习惯开始。
|
||||
@@ -1,32 +0,0 @@
|
||||
## 计划
|
||||
|
||||
> C++11的新特性+C++标准库组合起来也太有意思了。可以创造无限可能啊。
|
||||
|
||||
> Python现在的发展也有点离谱。几天不看就不会用了。Python开发的工具也太多了。
|
||||
|
||||
> 学习机器学习AIbook+sklearn相关算法的实现。只学习分类的算法。分类算法（回归用来做线性预测。显然不符合自己的目标）
|
||||
|
||||
|
||||
> 学习深度学习框架pytorch和TensorFlow。
|
||||
1. 每天sklearn一个机器学习小算法
|
||||
- [x] k-近邻算法（学习原理、sklearn实践
|
||||
- [x] 决策树（学习原理、sklearn实践
|
||||
- [x] 复习吴恩达机器学习笔记
|
||||
- [x] 复习吴恩达深度学习笔记
|
||||
- [x] 复习Python-numpy-scipy那一套
|
||||
2. 每天一个联邦学习框架
|
||||
- [x] pytorch学习
|
||||
3. 每天一篇联邦学习的文章。
|
||||
- [x] ~~deepAMD~~
|
||||
4. 每天数据集处理一小步。
|
||||
- [X] 获取2020年的两个超大型数据集，并存到云盘当中
|
||||
- [X] 获取CIC关于恶意软件分析的论文
|
||||
|
||||
https://www.cntofu.com/user/18.html
|
||||
https://www.cntofu.com/book/27/docs/0.%E5%89%8D%E8%A8%80.md
|
||||
https://www.cntofu.com/book/170/docs/2.md
|
||||
https://www.jianshu.com/p/6ada34655862
|
||||
https://www.scikitlearn.com.cn/0.21.3/62/
|
||||
https://scikit-learn.org/stable/
|
||||
## 收获
|
||||
|
||||
@@ -1,10 +0,0 @@
|
||||
1. 每天sklearn一个机器学习小算法
|
||||
- [x] 朴素贝叶斯（学习原理、sklearn实践
|
||||
- [x] 逻辑回归（学习原理、sklearn实践
|
||||
2. 每天一个联邦学习框架
|
||||
- [x] pytorch
|
||||
3. 每天一篇联邦学习的文章。
|
||||
- [x] ~~联邦半监督学习~~
|
||||
|
||||
|
||||
> 明天实现动态数据处理的脚本
|
||||
@@ -1,40 +0,0 @@
|
||||
## 计划
|
||||
|
||||
1. 每天sklearn一个机器学习小算法
|
||||
- [x] 支持向量机（学习原理、sklearn实践
|
||||
- [x] 集成方法（学习原理、sklearn实践
|
||||
2. 每天一个联邦学习框架
|
||||
- [x] pysyft学习
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
1. 对分类的所有方法包括原理和基本的原理实现numpy进行了总结。主要参考机器学习实践。主要包括以下六种分类方法。没有更多了。这里的机器学习算法，既包括模型，也包括模型的训练算法。
|
||||
1. k近邻：基于邻居的机器学习算法：KNN
|
||||
2. 决策树：基于树和信息增益的机器学习算法：DT
|
||||
3. 朴素贝叶斯：基于贝叶斯定力的机器学习算法：NB
|
||||
4. 逻辑回归：基于回归的方式处理分类问题：
|
||||
5. 支持向量机：基于支持向量的机器学习算法：
|
||||
6. 集成方法：基于两种不同的集成方式。bagging和boosting。
|
||||
2. 对sklearn进行了学习。
|
||||
1. 主要学习了sklearn的算法核心。这些算法不是单纯的以分类和回归两个类别来进行分类的。而是以算法的核心思想来进行分类的。比如基于邻居的既可以聚类也可以分类，基于树的可以分类也可以回归。即以算法的思想进行分包。而不是以算法处理的问题类别。包括neighbors/tree/naive_bayes/linear_model/svm/esemble六个机器学习核心。
|
||||
1. neighbors在第二章基于邻居的方法中有说明sklearn.neighbors.KNNClassifier
|
||||
2. tree第四章前两节 sklearn.tree.DeceisionTreeClassifier
|
||||
3. naive_bayes第四章10节sklearn.naive_bayes.GaussianNB/MultinomialNB/BernoulliNB
|
||||
4. linear_model.logisticRegression第三章第7节sgdclassier第9节。sklearn.linear_model.logisticRegression
|
||||
5. svm第四章第5节sklearn.svm.SVC
|
||||
6. esemeble第四章34节只有randomforest。sklearn.esemble.RandomForestClassifier/AdaBoost
|
||||
2. 区分了随机梯度下降算法和以上方法的区别。以上方法都有其模型算法的核心。并非随机梯度下降。在linear_model.SGDClassifier中以logisticsRegression和SVM等算法为核心。进行梯度下降算法。梯度下降算法是一种模型训练算法，而非模型本身。默认是用SVM进行梯度下降，主要解决数据过大的问题。linear_model.SGDRegression主要是用SGD来处理回归问题。
|
||||
3. 关于多分类问题的处理。主要包括两种方式onevsone和onevsall两种模式。sklearn.multiclass.OneVsRestClassifier/OneVsOneClassifier
|
||||
3. 学习了模型预处理和评估的方法。主要包括以下两部分
|
||||
1. sklearn中的Dataset加载和使用。sklear.datasets
|
||||
2. 数据的标准化和归一化（正则标准化和minmax标准化）sklearn.procession.minmax_scale/normalize
|
||||
3. 处理数据缺失值的方法sklearn.impute.kNNimpute...
|
||||
4. 构建词向量的方法。可以一键构建词向量。sklearn.feature_extraction.from_graph/from_text
|
||||
5. 数据降维的方法：PCA、SVD、因子分析法sklearn.decomposition.PCA/SVD
|
||||
6. 数据处理流的方法。sklearn.Pipeline.pipeline
|
||||
7. 模型评估的方法sklearn.metrics.roc/auc/f1_score
|
||||
8. 关于半监督的处理方式。主要包括标签传递算法等。sklearn.semi_supervised
|
||||
9. 模糊机器学习算法。让数据在数据周围进行微小的扰动。添加高斯模糊或者bayes模糊。sklearn.mixture
|
||||
10. 模型选择的方法。交叉验证sklearn.modelselection.kfold
|
||||
11. 特征选择的方法。sklearn.feature_selectiron.*
|
||||
@@ -1,14 +0,0 @@
|
||||
## 计划
|
||||
|
||||
1. 每天一个联邦学习框架
|
||||
- [x] pysft学习
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
1. 用两天时间完成了pytorch的学习。应该是只会进行 基础的使用。相信这对我来说已经够用了。接下来主要是复现工作。
|
||||
1. 定义神经网络：tensor
|
||||
2. 自动梯度计算：autograde
|
||||
3. 误差计算：loss
|
||||
4. 梯度下降：optim
|
||||
2. 对我来说这些可能已经够了。tensorflow肯定是要学习的。有时间重新学习一下。怎么也得安排五天左右。如果有需要的话，可能TensorFlow的federated 框架对我们来说会更好用。需要自己编译底层的东西实现通信？而且tensorflow支持移动端。
|
||||
@@ -1,8 +0,0 @@
|
||||
## 计划
|
||||
|
||||
- [x] pytorch动态数据分类
|
||||
- [x] sklearn静态数据分类
|
||||
- [x] pytorch静态数据分类
|
||||
|
||||
|
||||
## 收获
|
||||
@@ -1,14 +0,0 @@
|
||||
## 计划
|
||||
|
||||
1. 每天数据集处理一小步。
|
||||
- [x] 实现静态数据处理脚本
|
||||
2. 每天数据集处理一小步。
|
||||
- [x] 实现动态数据处理脚本
|
||||
|
||||
> 阅读完之前的论文
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
* 一道算法题：
|
||||
* 单调栈。果然还是应该尝试各种奇怪的数据结构才能解决问题。
|
||||
@@ -1,149 +0,0 @@
|
||||
# 今日计划
|
||||
|
||||
## 计划
|
||||
|
||||
> 执行之前的计划
|
||||
- [x] 整理会议记录发到群里。
|
||||
|
||||
## 收获
|
||||
|
||||
|
||||
# PPT准备
|
||||
## 目标
|
||||
|
||||
## 工程
|
||||
|
||||
### 数据获取
|
||||
|
||||
### 数据处理
|
||||
|
||||
### 机器学习
|
||||
|
||||
|
||||
### 深度学习
|
||||
|
||||
### 联邦学习
|
||||
|
||||
|
||||
## 研究
|
||||
|
||||
### 联邦半监督学习的实现方案
|
||||
|
||||
|
||||
### CIC恶意软件处理的方案
|
||||
|
||||
|
||||
### deepAMD的软件处理方案
|
||||
|
||||
## 计划
|
||||
|
||||
## 思考
|
||||
|
||||
需要从头开始在来一轮。现在已经对机器学习和深度学习的分类算法有了初步的认识。接下来一轮，主要从工程的角度，精细化过程。把每一个环节都搞明白。
|
||||
|
||||
# 会议记录
|
||||
|
||||
## 李春燕
|
||||
|
||||
### 威胁情报存在的问题
|
||||
1. 威胁情报共享的积极性不高。
|
||||
2. 激励机制。
|
||||
|
||||
### 已存在的研究方法
|
||||
1. 威胁情报知识形式化表述
|
||||
2. 基于区块链威胁情报共享的激励机制
|
||||
3. 威胁情报的组织。要求参与者提供TPP格式的情报。
|
||||
4. 将组织内的成员分为不同的角色。
|
||||
5. 威胁情报价值的衡量——柯布道格拉斯效用，蒙特卡洛方法。
|
||||
|
||||
### 研究思路
|
||||
|
||||
* 衡量威胁情报的价值。不一定是TPP格式的威胁情报。取决于威胁情报的质量。达到激励机制的公平性。
|
||||
|
||||
### 问答
|
||||
|
||||
|
||||
问：怎么衡量威胁情报的价值。
|
||||
答：通过柯布道格拉斯效用函数。
|
||||
|
||||
问：流行度高，威胁情报质量就好吗？
|
||||
答：流行度是作为一种辅助的因素。考虑相关性和时效性。
|
||||
|
||||
问：当前的情报评估的指标存在哪些偏差？
|
||||
答：准确性提高。与企业的相关性。
|
||||
|
||||
问：能不能搜集到一些威胁情报。高质量的威胁情报作为目标。
|
||||
答：需要搜集一些高质量的威胁情报啊。只能通过网络威胁情报的平台，找到开源社区的共享威胁情报。高质量的威胁情报没有共享，只能购买专业公司的相关资源。
|
||||
|
||||
问：什么是高质量。什么样的威胁情报会流行，什么样的威胁情报会急需。
|
||||
答：给出高质量的评估指标。如何衡量指标的价值。通过相关性推荐算法定向推送可能有价值的威胁情报。
|
||||
|
||||
问：高质量但不一定与传播对象具有相关性，或者对象不一定需要这样的东西。所以应该有一种流行度、相关性的评估。与行业特点有关系，与当前的舆情与话题有关系，与传播对象的特质有关系。需要对威胁情报做调研，搞清楚威胁情报到底是什么，需要有一些特例。所有的格式、所有的来源、威胁情报的学术定义和表达。威胁情报，的数据。
|
||||
|
||||
> 区块链和敏感信息推荐。貌似是一个不错的点。区块链是秘密共享。敏感信息会破坏隐私。敏感信息抽象化。
|
||||
|
||||
|
||||
|
||||
## 蒋昌南
|
||||
|
||||
### 进展
|
||||
* 聚合函数设计
|
||||
* 非独立同分布会导致权重发散。从而导致联邦学习的训练效果不如集中式的深度学习效果好。
|
||||
* 同时因为联邦学习对梯度采用一定程度的加密方法。会造成一定程度的数据损失。影响最终的效果。
|
||||
|
||||
### 计划
|
||||
|
||||
4月初：实现联邦学习的多分类。
|
||||
|
||||
### 问答
|
||||
|
||||
问：如何解决非独立同分布产生的问题。
|
||||
答：通过聚类方法。判断两个分布之间的距离。
|
||||
|
||||
|
||||
## 李文超
|
||||
|
||||
### 工作进展
|
||||
|
||||
### 方案模型
|
||||
|
||||
* 参数服务器、代理服务器、客户端
|
||||
* 防止参数服务器与代理服务器共谋。获取用户的梯度信息。使用代理重加密的方式，对数据进行加密。
|
||||
|
||||
|
||||
### 计划
|
||||
|
||||
4月份初：利用paillier密码系统的安全证明方式，进一步完成联邦学习下保护梯度隐私的抗共谋性的代理重加密方案的安全证明设计。
|
||||
4月中旬：针对同类型方案对比分析，完成matlab上PBC实验分析
|
||||
4月底：完成论文初稿。
|
||||
|
||||
### 问答
|
||||
|
||||
参数服务器与代理共谋情况下存在的问题。
|
||||
有想法赶紧实现。该发论文发论文，该申请专利申请专利。
|
||||
|
||||
|
||||
|
||||
## 殷康龙
|
||||
### 工作进展
|
||||
* 工程上的进展：
|
||||
* 数据获取。
|
||||
* 数据处理：静态数据处理androguard处理。动态数据处理cooperdroid和cicflowmeter。
|
||||
* 机器学习、深度学习、联邦学习基础方案的实现。
|
||||
* 研究上的近战
|
||||
* LIM：联邦学习在恶意软件的研究领域应用的可行性。
|
||||
* DeepAMD：集中式深度学习恶意软件检测。
|
||||
* FSSL：联邦半监督学习的实现方案。
|
||||
|
||||
### 问答
|
||||
|
||||
威胁情报如何利用，怎么实现利用。
|
||||
|
||||
|
||||
于洋、王建斌
|
||||
|
||||
网络对抗装备建模技术。
|
||||
|
||||
* 如何建立模型
|
||||
* 有免疫共坑和抗攻击功能
|
||||
* 建立知识库
|
||||
@@ -1,27 +0,0 @@
|
||||
## 计划
|
||||
|
||||
- [x] 单调栈的总结
|
||||
- [x] 双指针环的入接点总结
|
||||
- [x] 字符串分割与格式化方法总结
|
||||
- [x] 位运算与补码总结
|
||||
- [x] 大数运算
|
||||
- [x] n个骰子的点数
|
||||
- [x] 约瑟夫问题
|
||||
- [x] 手写所有排序
|
||||
|
||||
|
||||
## 收获
|
||||
* LeetCode的笔记终于整理完了。对各类算法题有了初步的认识。接下来数据结构与算法。主要整理各个算法思想下的典型问题。结合本科时候的笔记。彻底整理完成小尾巴。
|
||||
* 基础知识的复习要开始了。感觉已经满了很多。不仅仅有基础知识。
|
||||
* 还有自己的项目经历的整理。应该整理一份三到四个项目经历的说明文档。用到了那些技术。你在其中主要做了什么事情。
|
||||
* 联邦学习和恶意软件的进度。每天都要推进一些。至少应该在本周把基础框架和应用方法整理完成。
|
||||
|
||||
|
||||
* 相当于现在同时上：数据结构与算法、计算机网络、数据库、操作系统、机器学习。五门超级大的课程。确实很有挑战。加油吧。少年。清明节能回家吗？堪忧啊。生活总是这么让人头秃。。。
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -1,8 +0,0 @@
|
||||
## 计划
|
||||
> 每日计划包括三方面的内容：数据结构与算法、基础知识与项目经历、联邦学习与恶意软件
|
||||
|
||||
- [x] 数据结构预算法——蛮力法整理完成
|
||||
- [x] 基础知识与项目经历——操作系统整理开始part1
|
||||
- [x] 联邦学习与恶意软件——pysyft学习完成
|
||||
|
||||
## 收获
|
||||
@@ -1,13 +0,0 @@
|
||||
## 计划
|
||||
|
||||
> 每日计划包括三方面的内容：数据结构与算法、基础知识与项目经历、联邦学习与恶意软件
|
||||
|
||||
- [X] 数据结构与算法——分治法整理完成
|
||||
- [X] 基础知识与项目经历——操作系统整理完成part2
|
||||
- [X] 联邦学习与恶意软件——TensorFlow学习开始part1
|
||||
- [X] 操作系统关键知识点记忆。进程、线程、IO、中断、同步异步、阻塞非阻塞、分段、分页等。
|
||||
- [X] 整理进程、线程同步与通信的方式。并对二者进行区别。
|
||||
- [X] 整理同步异步、阻塞非阻塞的知识。并找到主要的通信实现方式。如何实现阻塞、非阻塞通信、同步异步通信。
|
||||
- [X] 整理操作系统中涉及到的算法（页面调度、页面置换等）
|
||||
|
||||
## 收获
|
||||
@@ -1,9 +0,0 @@
|
||||
## 计划
|
||||
|
||||
> 每日计划包括三方面的内容：数据结构与算法、基础知识与项目经历、联邦学习与恶意软件
|
||||
|
||||
- [x] 数据结构与算法——动态规划和贪心整理完成
|
||||
- [x] 基础知识与项目经历——数据库整理完成
|
||||
- [x] 联邦学习与恶意软件——TensorFlow学习完成part2
|
||||
|
||||
## 收获
|
||||
@@ -1,18 +0,0 @@
|
||||
## 计划
|
||||
|
||||
- [x] 设计模式复习
|
||||
- [x] vscode C++集成开发环境
|
||||
|
||||
|
||||
- TensorFlow之前的计划
|
||||
- pytorch之前的计划
|
||||
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
* 主要学习了各种设计模式。创建型设计模式包括单例模式（如何做到线程安全）、工厂方法、抽象工厂、生成器、原型模式等。用来创建指定的类的对象。
|
||||
* 结构型设计模式。主要包括适配器模式，用来封装一个类，以使其使用某个接口，一般是依赖一个具体类的对象，继承一个接口类。桥接模式、使用两个抽象的接口，实现两个角色的相互连接。比如电视有很多实现、遥控器有很多实现。他们之间只要通过接口中的一个对象连接在一块，电视的实现不需要知道使用的是哪个具体的遥控器，遥控器也不需要知道用哪个具体的电视。组合模式，通过**子类依赖多个父类的对象**，将父类的多个实现进行组合。装饰器模式，一般使用来丰富一个对象的内容，但是不是通过多重继承的方法，而是通过**子类依赖一个父类的对象**，在父类的某个实现上动态添加更多的功能。外观模式，主要提供一组类的统一的接口。享元模式主要是用来避免创建大量重复类型的对象，有一个享元工厂，根据想享元的状态判别是否存在相同状态的享元，如果存在就不会创建新的对象，而是直接使用线程的对象。
|
||||
* 行为型设计模式。这里主要提一部分。责任链模式，主要定义了一系列相互关联的类，用来流水线处理数据，与装饰器模式相似，动态添加一系列功能或者。迭代器主要是用来实现一个迭代器接口，可以用来next来访问下一个。用来迭代内部的空间。命令模式、解释模式、中介者模式、备忘录模式、观察者模式、装状态模式、策略模式、模板方法、访问者模式、空对象模式等以后再了解。
|
||||
* IO设计模式主要包括reactor和Proactor两种设计模式。前者是被动的，通过IO多路复用实现，多个阻塞IO，准备好后通过中断的方式通知线程处理数据。后者是用户自己实现的，维护一个队列，当数据准备好后，主动调用回调函数实现并行。
|
||||
|
||||
@@ -1,91 +0,0 @@
|
||||
# 蒋
|
||||
|
||||
### 答辩内容
|
||||
* 威胁情报的定义
|
||||
* 威胁情报的分类层次。
|
||||
* 恶意样本的IOC情报描述。
|
||||
* IOC共享框架，泄露隐私的日志数据。保证情报共享，又能不泄露隐私。
|
||||
* 联邦学习的应用
|
||||
* 联邦学习的分类
|
||||
|
||||
### 现存的问题
|
||||
* 恶意样本的数据，打标签问题。
|
||||
* 梯度的隐私计算和聚合问题。
|
||||
* 多分布客户端的梯度的收敛和效率问题。
|
||||
* 梯度共享和激励问题
|
||||
* 梯度聚合的鲁棒性
|
||||
|
||||
### 问答
|
||||
* 夏：梯度的安全计算是针对情报领域的吗？威胁情报的梯度共享，具有什么样的特点。
|
||||
* 夏：给出形式化定义。经过调研，说明研究IOC的原因。
|
||||
* 夏：对金融领域和医学领域的例子吃透。
|
||||
* 夏：现有的威胁情报已经存在。然后利用威胁情报。实现现有的威胁情报的共享与利用。而不是生成威胁情报。
|
||||
* 蒋：威胁情报如果不存在隐私？生成威胁情报的数据存在隐私？夏：关键是威胁情报的利用。研究清楚。
|
||||
* 夏：论证采用的方案，是目前所有的方案中，最有效的方案。需要给出金融领域的某个案例的详细解释。
|
||||
* 夏：组织大家看论文，进行讨论。
|
||||
* 夏：将人的工作，转换成可以用计算机计算工作。
|
||||
* 夏：现在的规则共享方案？共享过程中存在的问题？把人的工作量转换为计算机的工作量？输入与输出搞清楚，黑盒是什么？
|
||||
* 夏：研究必须有阶段性成果。跟上当前最新的研究。不能过时啊。
|
||||
|
||||
|
||||
## 李春燕
|
||||
|
||||
### 主要内容：区块链和边缘计算
|
||||
|
||||
* 区块链边缘计算进行整合的动机。异构性、低时延、安全和隐私性。
|
||||
* 边缘计算的框架。云层-小型边缘计算基站-边缘设备
|
||||
* 研究现状-网络、存储、计算
|
||||
* 边缘计算的网络：数据通信和区块链通信进行结合。基于区块链的软件定义网络的边缘计算架构。
|
||||
* 边缘计算的存储：区块链外的数据存储，进行hash索引。可扩展的区块链数据库。
|
||||
* 边缘计算的计算：对计算资源进行调度。公平性与激励机制。
|
||||
|
||||
### 问答
|
||||
|
||||
* 夏：边缘计算与情报的关系。
|
||||
* 夏：边缘计算、移动计算、雾计算的关系与区别。以及边缘计算与区块链的关系
|
||||
* 李：本地数据与服务器数据进行通信，会存在数据完整性的问题。解决三个方面的问题：计算，算力与资源调度。存储，网络。
|
||||
* 夏：目前存在的具体问题。问题的定义，目标的定义。目前的解决方案，核心需要解决的问题，存在的问题，自己要解决的问题。
|
||||
|
||||
## 李文超
|
||||
|
||||
### 主要内容：联邦学习的梯度保护
|
||||
* 存在的问题：共享参数，对模型进行推理。
|
||||
* 方法：安全多方计算、差分隐私、同态加密。
|
||||
* 给出了具体的实现算法：加密解密。加权隐私，加密聚合。
|
||||
* 改进的方法：代理重加密进行数据访问授权访问方法。基于聚合方法可搜索加密技术分类。
|
||||
|
||||
|
||||
### 问答
|
||||
* 蒋：对联邦学习改进方案，非常可以。但是与应用场景的定义还没有结合。
|
||||
* 夏：支撑性工作，与蒋师兄的思路进行结合。基础知识普及。
|
||||
* 夏：梯度的隐私计算与一般的隐私计算的不同？当前的解决情况，梯度隐私保护存在的问题。通信保密和存储保密。
|
||||
* 夏：补信息论、控制论、形式语言自动化？。相关概念
|
||||
|
||||
|
||||
|
||||
|
||||
## 殷康龙
|
||||
|
||||
### 主要内容
|
||||
|
||||
* 有意义的数据是信息，25是数据不是信息，蒋昌南今年25，有意义了是信息，经过理解的是知识。
|
||||
要具体深入，要人家听明白。
|
||||
* IOC的自动利用过程。
|
||||
|
||||
* 一个是现在已有的情报共享系统工具熟悉，了解所有人的工具，聚合在系统中实现，openIOC，重点任务是怎么做系统。
|
||||
* 出门还是需要请假。工作日记上报。
|
||||
|
||||
### 论文阅读
|
||||
* 需要了解更多具体实现方案。
|
||||
* 对相关领域的调研太少了。不能只是学习基础知识了。看论文也很关键。
|
||||
* 领域调研！！！！！！！！！！！！
|
||||
* 对情报利用领域的调研太少了。
|
||||
* 还是需要自己的对相关领域的研究和工作。
|
||||
* 对场景相关的概念定义啊：情报啊，IOC等等，相关领域的所有概念。
|
||||
|
||||
### 威胁情报
|
||||
* 还需要对威胁情报进行更加详细的定义。
|
||||
|
||||
### 例子
|
||||
* 医学Patient Clustering Improves Efficiency of Federated Machine Learning to Predict Mortality and Hospital Stay Time Using Distributed Electronic Medical Records
|
||||
* 金融领域具体实现的例子
|
||||
@@ -1,12 +0,0 @@
|
||||
## 计划
|
||||
|
||||
|
||||
- [x] 参加腾讯面试
|
||||
- [x] 整理完成Union、Enum两个类型的数据
|
||||
- [x] 实现C++ string类
|
||||
- [x] 面向对象——虚函数：构造函数能够是虚函数、多态虚函数/纯虚函数知识补充。（感觉这个东西可放到C++基础中进行介绍了）
|
||||
- [x] 面向对象——继承C++函数重载和运算符重载整理
|
||||
- [x] C字符串整理以及其他函数了解
|
||||
|
||||
|
||||
## 收获
|
||||
@@ -1,15 +0,0 @@
|
||||
红色的耳机又找不到了。按理说，应该在自己的桌子上或者宿舍里。但感觉好久都没见到了。自从上次回家之后，就再也没有见过。好想开始学习啊。就看视频。看别人怎么操作。已经看说明文档看够了，是时候看点视频学习一下别人怎么一步一步操作了，远比楷书效率来的高。看视频更容易入门。看书更容易深入。
|
||||
|
||||
每次都是这样。一旦开始学习就拼命。一旦不知道怎么开始学习，就开始放纵。已经有四天没有做过任何事情了。最近毕设与面试的进度都陷入了停滞状态。
|
||||
|
||||
我接下来应该做什么。应该从什么开始做下去？每每到这个时候，总是这两个永恒的问题。每次陷入这种不知所措的境地。
|
||||
|
||||
好久没有像现在这样惬意了，在八九年前？还是十几年前？曾经有过相同的感觉，那时候的窗子，还是木头格子的，偶尔会有几篇碎掉的，用那种老化的塑料布贴在上边，似乎是从那种蔬菜大棚上退休的就塑料布，每次有点疯吹过就会呼哧呼哧地响，总会有闲人在上边戳几个窟窿，也不怕夏天的蚊蝇，那些虫子都是从正门大摇大摆地飞进来的。那时候看天空，可能什么都不想，也可能是天马行空地思考，也不会在乎接下来要干什么。玩吧，能有什么计划，从来都是几个人一拍即合的事情，或者走到哪玩到哪。也不是为了吃什么，也不是为了玩什么。单纯地遇到花花草草，遇到形形色色的人，遇到小水库大田野，就很快乐。看到有人放风筝就回家掏出自己的风筝来。
|
||||
|
||||
放风筝可能是世界上最放松的事情了。即是一天盯着天空，也没人觉得这个人有些奇怪。就几个人，坐在麦田的田垄上，春天的麦苗没有拔节，随便踩。刚开始的时候跑两步，等上了天，就可以吧手中的线全部放掉了。有的时候，觉得线不够长，就总是把好几个线团接起来。直到风筝在天上看起来已经很小，再远就要消失的是偶才肯罢休。
|
||||
|
||||
那时候仰望天空。不会叹气。我的卧室，刚出身的时候，我就睡在那里，那张床上。后来分床睡，我去了小床，后来分屋子睡，我去了西屋。再后来，我又回来了，爸妈买了新床，新装修的屋子睡觉，我又回到了一开始出生时跟爸妈睡在一块的那张床上。果然，那张床要比其他的床，更让人容易入睡。继承了妈妈睡眠不足的坏毛病。索性就晚睡晚起呗。大学之前妈妈总会催命一样一大早叫我起来学习。大学之后，就再也没有在早上叫醒我。我啥时候睡醒，啥时候吃饭。好习惯忘得一干二净。
|
||||
|
||||
感觉已经飘过了一大片云彩。是时候开始所谓的五月份计划了。把四月份计划的一部分剥离出来。论文阅读和论文复现应该属于五月份计划的内容。四月份计划三月份就开始执行了。三月份计划执行到四月份还没有完成。如今三四五月份计划，可以并行执行了。任务的切换果然需要消耗大量的精力，多线程不是并发解决问题的最优方案。IO多路复用（基于中断的）或者IO异步才是并行开发的最好方式。处理完一个再一个。
|
||||
|
||||
已经整整耽误了一周了。这是第七周的周五。计划中第六周就应该完成了技术栈的补充。第七周已经做完数据处理和基本的训练方式。应该回顾一下前几天的收获。补充一下前几周的计划。之前的学习任务都完成。然后真正地开始五月份计划。开始吧。
|
||||
@@ -1,6 +0,0 @@
|
||||
# 菜
|
||||
|
||||
果然，自己还是会耿耿于怀。自己上次的说辞，没有一句话是对自己有利的。可能已经失去了最终的机会。我希望自己能够好好跟他们聊聊，实现自己的人生。
|
||||
|
||||
有时候明明都知道结果不好。却还是硬着头皮等靴子落地的声音。不到最后不死心，总是抱着奇怪的幻想，企图用意念改变既定的结果。现在等到的智能有一个结果。没办法从过去中走出来。
|
||||
|
||||
@@ -1,10 +0,0 @@
|
||||
## 计划
|
||||
|
||||
- [x] 看完C++面经
|
||||
- [x] 复习一遍面试的基础知识。
|
||||
- [x] ~~LeetCode三道题计划正式开启。~~
|
||||
- [x] tensorflow针对两个数据集的训练完成
|
||||
- [x] 蚂蚁金服4点的面试
|
||||
- [x] 快手6点的面试
|
||||
|
||||
## 收获
|
||||
@@ -1,7 +0,0 @@
|
||||
## 计划
|
||||
|
||||
> 每日计划包括三方面的内容：数据结构与算法、基础知识与项目经历、联邦学习与恶意软件
|
||||
|
||||
- [x] 数据结构预算法——回溯剪枝和分支限界整理完成
|
||||
- [x] 基础知识与项目经历——计算机网络整理完成
|
||||
- [ ] 联邦学习与恶意软件——TensorFlow federated学习开始part1
|
||||
@@ -1,10 +0,0 @@
|
||||
## 安排
|
||||
|
||||
> 第八周任务：接受学弟的论文工作内容。完成基础三篇论文的复现工作。
|
||||
|
||||
- [x] 打理好生活（洗衣服、洗澡、准备开始跑步）。吃饭时间会宿舍洗衣服洗澡。
|
||||
- [x] 面试中相关问题的处理。协程？数据库性能优化？C++性能优化？服务器性能优化。
|
||||
- [x] 晚上回宿舍洗衣服。
|
||||
|
||||
|
||||
## 收获
|
||||
@@ -1,26 +0,0 @@
|
||||
## 安排
|
||||
> 果然时隔太久会忘记之前做过什么。现在的任务应该是从上到下，完成对上一次工作的会议。我发现现在的脑子很不清醒。下去去跑步。享受跑步的过程吧。出点汗。能够让自己更加清醒的工作。
|
||||
|
||||
* 第一轮：主要处理maldroid数据集
|
||||
* 第二轮：开始andmal数据集
|
||||
* 第三轮：完成数据的生成
|
||||
|
||||
### sklearn
|
||||
|
||||
- [x] 复习教程（包括tutorial、API、code）
|
||||
|
||||
### pytorch
|
||||
|
||||
- [x] 复习教程（包括tutorial、API、code）
|
||||
- [x] pytorch 数据流水线技术
|
||||
- [x] 学习pysyft框架并应用
|
||||
|
||||
|
||||
### TensorFlow
|
||||
|
||||
- [x] 复习教程（包括tutorial、API、code）
|
||||
- [x] TensorFlow 数据流水线技术
|
||||
- [x] ~~学习TensorFlow框架并应用~~
|
||||
- [x] ~~学习TensorFlow federated框架并应用~~
|
||||
|
||||
## 收获
|
||||
@@ -1,21 +0,0 @@
|
||||
果然，最让人头疼的永远是感情问题。没有做好准备之前，总是不敢开始行动。
|
||||
|
||||
现在是最舒适的季节。应该全身心的投入到科研当中。
|
||||
|
||||
我觉得我是实验室最菜的人，贡献度最少的人。
|
||||
|
||||
幻想中的场景，总是美好的。
|
||||
|
||||
陷入怪圈，不敢行动。总觉得有愧与人。不想伤害别人，最后两个人都遍体鳞伤。
|
||||
|
||||
做一个有超强执行力的人。葛优躺对身体对精神都不好。
|
||||
|
||||
老坐着，屁股也太难受了吧。
|
||||
|
||||
好恶心。
|
||||
|
||||
决定吧。我应该有很多朋友。但我应该没有朋友。
|
||||
|
||||
出去走一圈吧。你需要更多的空间。
|
||||
|
||||
好想让时间静止啊。这样就会无穷的时间用来发呆了
|
||||
@@ -1,25 +0,0 @@
|
||||
## 计划
|
||||
|
||||
- [x] pysyft框架学习（一个小时）
|
||||
- [x] pysyft框架实验（一个小时）快点搞完这个吧，弄完这个就可以真正的开始论文的时间了。五一劳动节，需要多花点时间，补一下拉下的进度了。
|
||||
- [x] 整理相关的论文（）
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
|
||||
## 感悟
|
||||
|
||||
三十年也太快了。一年又一年。昨天似乎还刚刚参加完大一的军训满怀期待地与室友们谈天说地。而今天，大家已经不再是少年，也不再包容。
|
||||
|
||||
以前总说，社会磨去了自己一个人的棱角。让一个人失去了改变自己改变世界的梦想，变成了一个有一个生活在舒适的小圈子里的享受这小幸福的普通人。总感觉随着岁月流逝，一个人的轮廓越来越清晰。中学的我们，总期待着成为所有人的好朋友，总想着在德智体美劳全方面发展，而进入大学后，渐渐发现，自己有讨厌的人，有喜欢的人，有擅长的方向，有不适合的方向。自己不再是一枚未经雕琢的石头，所有的棱角和边界，越来越明显。也许因为自由，因为选择的自由，因为有限的精力，让我们做出了属于自己的选择，分化成了不同的人。那些开放结局的游戏，如果能做到70亿种不同的结局，也许，就跟现实世界没有什么区别了。
|
||||
|
||||
我想我需要花点时间降低一下自己的欲望，对游戏对生活之外的东西的欲望。明明知道看看书、跑跑步对自己有利，却每次都选择看些没用的视频、打些游戏，直到时间来不及了才开始动身。我不想这样了。
|
||||
|
||||
加油吧，少年，应该开始做东西了。我想出去走一圈。就走一圈，然后回来好好学习。等五点吧。
|
||||
legends never die.
|
||||
|
||||
那些通用的话题都是提前准备好吗。我的记忆力太差了，已经什么
|
||||
|
||||
|
||||
好喜欢现在的感觉，直到自己要去做什么。知道自己要怎么做，缺的只是时间，和开始的理由。我想我应该可以开始奋斗了。知识没想到四月份已经过去大半。加油吧，少年。
|
||||
@@ -1,42 +0,0 @@
|
||||
# PPT准备
|
||||
## 目标
|
||||
> 回顾一下开题报告。需要完成的任务。
|
||||
|
||||
|
||||
## 概述
|
||||
> 当前主要的工作进展概述。
|
||||
|
||||
1. 研究上的进展
|
||||
1. 恶意软件检测的研究与解决方案。
|
||||
2. 联邦半监督学习的研究与解决方案。
|
||||
3. 非独立同分布问题的研究与解决方案。
|
||||
2. 工程上的进展
|
||||
1. 数据获取
|
||||
2. 数据处理
|
||||
3. 机器学习
|
||||
4. 神经网络
|
||||
5. 联邦学习（框架的研究与实现）
|
||||
|
||||
|
||||
## 研究
|
||||
|
||||
### 联邦半监督学习的实现方案
|
||||
|
||||
|
||||
### CIC恶意软件处理的方案
|
||||
|
||||
|
||||
### deepAMD的软件处理方案
|
||||
|
||||
## 工程
|
||||
|
||||
### 数据获取
|
||||
|
||||
### 数据处理
|
||||
|
||||
### 机器学习
|
||||
|
||||
### 深度学习
|
||||
|
||||
### 联邦学习
|
||||
|
||||
@@ -1,10 +0,0 @@
|
||||
研究现状，国内外。别人如何解决问题。方法不完善，准确率不高。主要研究的方向。
|
||||
|
||||
设计实验，针对目前存在的问题，采取的技术。
|
||||
|
||||
恶意软件检测中问题的明确。有可以对比的对象。隐私保护的话，保护的对象、范围？保护的方法？
|
||||
|
||||
同类的对比。文献综述需要明确相关研究工作作出的分析。
|
||||
技术选型。文献综述，不是技术选型。
|
||||
|
||||
理论上
|
||||
@@ -1,7 +0,0 @@
|
||||
## 计划
|
||||
|
||||
> 每日计划包括三方面的内容：数据结构与算法、基础知识与项目经历、联邦学习与恶意软件
|
||||
|
||||
- [x] 数据结构预算法——图算法和随机化算法整理完成
|
||||
- [x] 基础知识与项目经历——项目经历整理完成
|
||||
- [x] 联邦学习与恶意软件——TensorFlow federated学习完成part2
|
||||
@@ -1,35 +0,0 @@
|
||||
## 安排
|
||||
> 最后一天用来补之前的任务。绝对不可能再拖下去了。明天就要开始全新的计划。
|
||||
- [x] 五种IO模型和epoll机制
|
||||
- [x] 同步异步、阻塞非阻塞：定义及实现
|
||||
|
||||
|
||||
## 收获
|
||||
* 对网络编程和并行编程的内容进行了复习。
|
||||
* 通信原理：Linux的五种IO模型。阻塞IO、非阻塞IO、IO复用、信号、异步IO。前四种是同步，最后是异步，第二阶段从内核到用户复制数据是否阻塞。1、3是阻塞、2、4是非阻塞，第一阶段是否进行阻塞。
|
||||
* Linux网络编程：Linux socket编程。主要通过bind、accept、socket、listen、read、send实现
|
||||
* Linux并行编程：同步：pthread/各种lock。通信：pipe/FIFO
|
||||
* Linux IO编程：file、epoll
|
||||
* C++网络编程：boost-asio
|
||||
* C++并行编程：C++多线程机制。C++线程同步机制：Future/Async、thread/promise、mutex/guard_lock/unique_lock/condition_variable信号量（互斥锁）与条件变量
|
||||
|
||||
* Linux系统编程还其本身大量的网络编程和并行编程实现方案。
|
||||
* C++的标准库和其他库也封装了网络编程和并行编程方案。
|
||||
* 网络编程和并行编程本质上是一种东西。并行编程是实现多线程、线程同步、线程通信。网络编程是实现两个远程线程的同步和通信。
|
||||
|
||||
|
||||
* 对几个概念的理解
|
||||
* 网络编程
|
||||
* 网络多进程、多线程。进程/线程的同步和通信。socket实现。是并发编程的一种形式。
|
||||
* 并发编程
|
||||
* 本地多进程、多线程。包含进程/线程同步、进程/线程通信。
|
||||
* 进程同步
|
||||
* 属于并发编程的一个环节
|
||||
* 进程通信
|
||||
* 属于并发编程的一个环节
|
||||
* IO
|
||||
* 本地设备IO机制。同步、异步、阻塞、非阻塞、IO复用等。
|
||||
* 几个方案用来实现以上哪些内容。
|
||||
* socket 实现网络编程。
|
||||
* 信号量、管道、信号、消息队列：进程同步与进程通信
|
||||
* select/poll/epoll IO方式
|
||||
@@ -1,114 +0,0 @@
|
||||
## 1 教育经历
|
||||
你好。我叫殷康龙，现就读于北京航空航天大学计算机学院，主要研究联邦学习在恶意软件检测领域的应用。本科就读于西北工业大学软件与微电子学院，主修软件工程。
|
||||
|
||||
在学校主要学习了数据结构与算法、C++程序设计、JavaEE企业级开发、面向对象程序设计、编译原理等课程，综合测评成绩在250人中排名第8。
|
||||
|
||||
## 2 校园经历
|
||||
|
||||
在学校里积极参加社团和活动。曾任软微学院科创部干事，参与组织一行代码大赛和程序设计比赛。曾任西工大新闻中心副部长，负责开发新文中心的功能网站，培训技术人员，维护西工大官方微信。
|
||||
|
||||
|
||||
## 4 主要成果
|
||||
|
||||
* 两次学校一等奖学金，一次华为奖学金，一次国家励志奖学金，一次电子工业出版社助学金，“优秀共青团员”称号
|
||||
* 2016-2017年连续两届FIRA机器人世界杯SimuRoSot项目国际特等奖（冠军），Air Challenge项目国际一等奖（亚军）
|
||||
* 2017中国机器人大赛空中机器人-无人机大战水果项目一等奖
|
||||
* 2019年获得国家级大学生创新项目《基于超宽带定位技术的无人机目标追踪系统》和《基于网络爬虫和数据分析的高校信息整合系统》优秀结题
|
||||
* 获得《面向学生的校园信息交流系统V1.0》《基于scrapy框架的校园信息爬虫系统》《基于网络爬虫和数据分析的高校信息整合系统》计算机软件著作权
|
||||
|
||||
## 3 项目经历
|
||||
|
||||
> 项目概述、主要工作、最终成果
|
||||
|
||||
### 竞技策略开发——仿真5VS5SimuRosot(√上传)
|
||||
* 项目概述：15个人的开发团队，长期开发项目，C++、JAVA。工程项目主要包括数据处理模块、前场、后场、边路、底线、特殊策略、定位球策略等，主要用于参加5V5 simurosot的国内比赛和国外比赛。
|
||||
* 主要工作：负责开发前场的相关策略，主要包括策略选择模块（优势前场、保守前场、边路前场）、角色选择和切换模块（角色的稳定性，进入退出分开控制。）、目标计算模块（保持相对的阵型，减少阵型的抖动）、移动跑位模块、射门模块。使用PID控制方法对机器人控制，增强了前场的稳定性。使用JAVA为团队开发了数据测试平台，实现了对数据仿真、策略测试、可视化。。搭建团队开发的SVN版本控制系统，方便整个团队项目开发和维护。
|
||||
* 关键技术：开发测试平台主要使用java swing开发跨平台图形界面，提供了一系列GUI组件。主要包括数据导入模块、动态演示模块、数据显示模块。使用java io random_accessfile读取并解析file文件。使用java thread实现数据加载与数据展示的并行过程。通过事件监听与响应机制，实现对数据仿真动态演示过程的控制，包括仿真速度调节和仿真进度调节。使用javadoc生成标准的java文档供后续开发使用，方便开发维护。
|
||||
|
||||
* 最终成果：暑假期间带领团队前往日照参加了2017中国机器人大赛，前往台湾 参加了FIRA机器人世界杯，取得多项冠军。
|
||||
|
||||
### 大创项目——基于网络爬虫和数据分析的高校信息整合系统(√上传)
|
||||
* 项目概述：5个人，Python、MySQL。带领团队申请了《基于超宽带定位技术的无人机目标追踪系统》《基于网络爬虫和数据分析的高校信息整合系统》两个国家级大创项目，后者主要是利用爬虫综合网络信息，搭建web服务器，对数据进行二次处理，使用机器学习算法提供面向用户提供文章推荐功能、标签云索引功能和分类浏览功能，面向信息发布者提供了热点倾向功能、数据分析功能。
|
||||
* 主要工作：项目架构、服务器搭建，包括爬虫模块（数据解析模块xpath、URL获取与去重模块）、服务器模块（MySQL数据库设计、Json数据封装）、Android客户端（数据请求模块HTTP请求、数据展示）、数据处理模块。通过Scrapy完成网络信息爬虫，构建了Mysql数据库，使用Django后端框架和Bootstrap前端框架开发了项目网站，使用大数据的算法对信息分析处理，并将整个项目部署到腾讯云提供的CentOS服务器上。使用Github进行代码管理。
|
||||
|
||||
|
||||
* 关键技术：scrapy框架介绍。使用request模块进行爬虫，通过调度去缓存下一条URL，控制网站访问的频率；使用xpath解析数据内容并将数据存储到mysql数据库中。
|
||||
> * （1）Scrapy引擎打开，向爬虫模块请求其需要爬取的起始URLs
|
||||
> * （2）Scrapy引擎从爬虫模块那里获取到需要爬取的起始URLs，将它们放入调度器模块，作为待爬取的URL Requests；
|
||||
> * （3）Scrapy 引擎向调度器模块发出请求，获取下一个待爬取页面的URL；
|
||||
> * （4）调度器模块返回下一个待爬取页面的URL给Scrapy 引擎，Scrapy 引擎则将该 URL 经下载中间件模块（请求方向）转发给下载器；
|
||||
> * （5）当下载器模块完成页面下载后，会生成一个该页面所对应的 HTTP Response，并将其经下载中间件（响应方向）发送给Scrapy 引擎；
|
||||
> * （6）Scrapy 引擎从下载器模块处接收到HTTP Response 后，会将其经爬虫中间件模块（输入方向）发送给爬虫模块处理；
|
||||
> * （7）爬虫模块处理接收到的 HTTP Response，并返回从中爬取到的Items及需要跟进的新的 URLs 给 Scrapy 引擎；
|
||||
> * （8）Scrapy 引擎将（爬虫模块返回的）Items 转发给数据流水线模块，同时将（爬虫模块返回的）URLs 转发给调度器；
|
||||
> * （9）以上 2~8 的过程会一直重复执行，直到调度器模块中没有 URL Requests 时，Scrapy 引擎关闭，爬虫停止。
|
||||
|
||||
|
||||
* 关键技术：Django框架。使用Apache服务器，处理http请求。Django框架，MVC（model-view-control）的代码架构模式。从数据库中获取数据，封装成json格式，最后将响应的数据传递给android客户端。
|
||||
|
||||
|
||||
* 关键技术：数据处理算法。
|
||||
* 标签计算算法：jieba分词统计词频，TF-IDF算法进行词频统计，去除无关词汇，字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
|
||||
* 分类算法：学科竞赛、科研信息、行政信息、招生信息、招聘就业、校园活动、升学留学、生活娱乐这八类，使用朴素贝叶斯分类器进行分类。（基于贝叶斯公式，可以试图讲解贝叶斯公式）
|
||||
* 混合推荐算法：基于协同过滤算法提取项目的基本特征（人，文章的特征，通过人阅读的其他文章给出特征，通过相似的人看的其他电影打上相似的标签）。系统采用的ＫＮＮ算法目的在于匹配项目中Ｋ个相似度最高的项目，作为预测推荐输出到用具接口。
|
||||
* 最终成果：两个国家级大创项目均获得优秀结题。
|
||||
|
||||
### 电子钱包JavaEE企业及开发项目(----丢失)
|
||||
|
||||
* 项目概述：在中科金财上市公司参与电子钱包项目的实习。
|
||||
* 负责使用Spring框架和mybatis实现数据库的访问和数据处理。
|
||||
|
||||
|
||||
### 无人机项目(√上传一半，丢失一半)
|
||||
|
||||
* 项目概述：无人机加密通信项目开发。
|
||||
* 主要工作：主要是在Android平台（DJ无人机的地面站android手机开发），使用Java多线程和Socket编程，实现无人机之间的通信连接。主要通过UDP网络通信、心跳测试保持连接、回调处理等方式实现线程通信。在加密通信过程中，使用C++开发加密仿真环境。使用nodejs+electron对通信过程进行可视化。使用网页技术HTML、CSS、JavaScript做前端，使用C++做为本地的后端。通过封装C++通信的代码，提供C++通信接口，供nodejs调用。（代码的封装，接口提供，）
|
||||
* 主要成果：完成实验室项目验收。
|
||||
|
||||
|
||||
|
||||
### ~~补充项目——软件与微电子学院学生信息系统。PHPweb开发~~(----丢失)
|
||||
* 项目概述：20个人组成的团队，PHP、MySQL。系统主要包括任务管理系统、证书认证系统、请销假平台、项目管理、活动，会议记录、党建系统、文件管理系统、就业记录等子系统。使用PHP作为后端开发脚本，使用MVCyii框架进行开发。
|
||||
* 主要工作：构建数据库。使用yii框架实现请销假平台，包括表单管理和MySQL数据库访问。yii框架是MVC结构。由controller处理逻辑内容，model封装数据库访问，view视图作为界面，用来渲染数据，发送到前端。
|
||||
|
||||
* 最终成果：开发完成暑期项目实践，项目成功验收。
|
||||
|
||||
|
||||
### ~~补充项目——企业级开发JavaEE项目考试系统~~(√上传)
|
||||
> 因为是java项目，等日后学完java再写
|
||||
|
||||
### ~~补充项目——windows通信编程。多人聊天室~~(√上传)
|
||||
* 项目概述：单人项目开发。
|
||||
* 主要工作：MFC开发界面、windows网络通信。
|
||||
* 主要成果：课设。
|
||||
|
||||
### ~~补充项目——TensorFlowIO优化~~(√上传)
|
||||
|
||||
* 项目概述：分析TensorFlow源代码，对源代码进行修改重新编译。使用mmap方法，优化TensorFlow数据加载过程中的IO操作。
|
||||
* 主要工作：阅读源代码分析TensorFlow架构，使用多线程以流的方式读取多个文件。mmap封装大文件读取过程。编译并测试TensorFlow最后的优化效果。
|
||||
|
||||
|
||||
1. 首先阅读了TensorFlow的源代码以及相关的研究资料，对TensorFlow的代码架构进行分析。
|
||||
2. 第一层设备通信层，负责网络通信和设备管理。设备管理模块可以实现TensorFlow的异构性，提供了对不同平台不同设备的支持，统一封装成相同的接口，使得上层模块在调用过程中，不必考虑具体的底层实现。通信模块主要通过两种协议实现不同设备之间的通信过程，分别是gRPC协议和RDMA协议。
|
||||
3. 第二层内核实现层，实现了核心算子（Operation）与张量（Tensor）的操作。所有的算子都是以张量为操作对象，依赖底层实现张量的内存分配和计算。
|
||||
4. 第三层图计算层，实现了计算图（Graph），包括本地计算流图和分布式的计算流图的实现。主要实现了计算图的创建、编译、优化和执行的细节。计算图中的每个节点都是内核实现层中的算子，计算图中的每条边代表内核实现层中的张量。
|
||||
5. 第四层API接口层，TensorFlow提供了原始的C API的实现，方便其他语言和平台进行调用。通过C API进一步实现其他语言的API，方便不同语言开发者选择熟悉的语言构建计算图。
|
||||
6. 第五层应用层，不同的编程语言通过API接口层调用TensorFlow的内核，实现相关的模型和应用。
|
||||
|
||||
|
||||
|
||||
1. 使用linux的mmap方法申请内存空间，建立内存映射。
|
||||
2. 使用platform模块，对底层方法进行封装，实现异常情况处理，并记录内存映射的地址及相关信息，提供上层接口
|
||||
3. 利用platform模块提供的内存映射接口，创建读取器，复写父类中的数据读取方法。创建一个读取数据的算子，并注册到内核当中，提供其他语言的接口。
|
||||
4. 编写前端，调用内核新方法，使用MmapReader模型进行数据读取。
|
||||
5. 重新编译
|
||||
|
||||
* 最终成果：毕业答辩顺利完成。
|
||||
|
||||
|
||||
## 5 个人能力和性格
|
||||
|
||||
1. C++后端开发、Java后端开发、Mysql数据库
|
||||
2. 学习能力较强。
|
||||
3. 乐观积极。热衷于开发
|
||||
|
||||
@@ -1,133 +0,0 @@
|
||||
|
||||
> 一期简历
|
||||
|
||||
## ~~腾讯实习~~
|
||||
|
||||
* 岗位：后端开发——微信事业群
|
||||
* 技术要求：
|
||||
* C/C++/Java开发语言；
|
||||
* TCP/UDP网络协议及相关编程、进程间通讯编程；
|
||||
* 专业软件知识，包括算法、操作系统、软件工程、设计模式、数据结构、数据库系统、网络安全等。
|
||||
* Python、Shell、Perl等脚本语言；
|
||||
* MySQL及SQL语言、编程；
|
||||
* NoSQL, Key-value存储原理。
|
||||
* (加分项)分布式系统设计与开发、负载均衡技术，系统容灾设计，高可用系统等知识。
|
||||
* 流程
|
||||
- [x] 简历投递 join.qq.com
|
||||
- [x] 2021年4月8日16:00 1面。准备以上内容。
|
||||
- [x] 2021年4月9日10:30 1面。面试改到北京了
|
||||
- [x] 2021-04-13 10:30 2面。面试，项目与基础知识
|
||||
- [x] ~~04-18 20:00:00 -- 22:00:00 笔试~~
|
||||
> 但是TMD之前的面试进度还在。没办法参加第二次面试了，早知道，直接换个事业群，换一波人说不定还好说话。妈卖批。别是上一个boss
|
||||
|
||||
## ~~商汤科技~~
|
||||
|
||||
* 岗位：研究院-后端研发工程师
|
||||
* 技术要求：
|
||||
* 熟练使用C/C++、Python、Go中至少一种编程语言；
|
||||
* 熟练使用MySQL，PostgreSQL、Redis等主流的关系型、非关系型数据库；
|
||||
* 具有扎实的计算机科学素养，对计算机组成，数据结构和算法，操作系统和编译原理有良好的理解；
|
||||
* 具备阅读英文文档和开源源码的能力和习惯，能基于需求对开源组件进行快速选型和运用；
|
||||
* 具有优秀的分析问题和解决问题的能力，以及良好的沟通能力和团队合作能力。
|
||||
* 具备使用Vue/Angular/React等前端框架进行简单前端开发的能力；
|
||||
* 有机器学习基础，含深度学习，掌握PyTorch、TensorFlow、MXNet、Caffe等深度学习框架之一；
|
||||
* ~~对UE4/Unity/Blender/Maya等3D动画、游戏工具有过使用经验；~~
|
||||
* 流程
|
||||
- [x] 简历投递https://hr.sensetime.com/SU604c56f9bef57c3d1a752c60/pb/account.html#/myDeliver
|
||||
|
||||
|
||||
## ~~拼多多~~
|
||||
> 只有上海的岗位
|
||||
|
||||
## ~~深睿医疗~~
|
||||
* 岗位：后端研发
|
||||
* 技术要求：
|
||||
* 流程：
|
||||
- [x] 发送简历到邮箱gongjiayi@deepwise.com
|
||||
|
||||
## 字节跳动
|
||||
|
||||
* 岗位1：后端开发工程师-基础架构（实习）
|
||||
* 技术要求
|
||||
* 热爱计算机科学和互联网技术，精通至少一门编程语言，包括但不仅限于：Java、C、C++、PHP、 Python、Golang等；
|
||||
* 掌握扎实的计算机基础知识，深入理解数据结构、算法和操作系统知识；
|
||||
* 有云计算、分布式存储、研发平台类项目经历优先。
|
||||
* 岗位2：后端开发实习生-产品研发
|
||||
* 技术要求：
|
||||
* 掌握PHP、Go、Java、Python、C/C++等任意一门编程语言；Go/C++语言优先；
|
||||
* 熟悉MySQL的使用与优化；熟悉Redis/Mongodb/Memcache等NoSQL技术的优先；
|
||||
* 流程
|
||||
- [x] 简历投递https://jobs.bytedance.com/campus/position/application
|
||||
- [x] 2021-04-11 15:00 1面。北京字节跳动。
|
||||
- [x] 2021-04-14 11:00 3面。
|
||||
- [ ] 结果未知，生死未卜
|
||||
|
||||
## 阿里巴巴
|
||||
* 岗位：研发工程师C++
|
||||
* 技术要求：
|
||||
* 或许，你熟悉Unix/Linux/Win32环境下编程，并有相关开发经验，熟练使用调试工具，并熟悉某种脚本语言；
|
||||
* 或许，你熟悉网络编程和多线程编程，对TCP/IP，HTTP等网络协议有很深的理解；
|
||||
* 或许，你享受底层技术，在kernel的源代码中纵横驰骋；
|
||||
* 或许，你并不熟悉C，C++，但是你不畏挑战，喜欢钻研，能够用你亮眼的成果证明自己超强的学习能力；
|
||||
* 或许，你参加过大学生数学建模竞赛，“挑战杯”，机器人足球比赛等；
|
||||
* 投递
|
||||
- [x] 简历投递https://campus.alibaba.com/myJobApply.htm
|
||||
- [x] 素质测评
|
||||
- [x] 2021年04月09日 19:00 - 2021年04月09日 20:00。完球了没人捞我的专利，待会问问师兄。
|
||||
- [x] 2021年4月19日 16:00 一面。终于还是来了。还是要好好准备的。把所有的问题复习一遍。估计很难进。
|
||||
- [ ] 2021年4月23日 15:00 三面。
|
||||
|
||||
> 二期简历
|
||||
|
||||
-------------
|
||||
|
||||
## 华为实习
|
||||
|
||||
* 岗位：软件开发实习生
|
||||
* 岗位要求：
|
||||
1. 计算机、软件、通信等相关专业本科及以上学历；
|
||||
2. 热爱编程，基础扎实，熟悉掌握但不限于JAVA/C++/C/Python/JS/HTML/GO等编程语言中的一种或数种，有良好的编程习惯；
|
||||
3. 具备独立工作能力和解决问题的能力、善于沟通，乐于合作，热衷新技术，善于总结分享，喜欢动手实践；
|
||||
4. 对数据结构、算法有一定了解；
|
||||
5. 优选条件：熟悉TCP/IP协议及互联网常见应用和协议的原理；有IT应用软件、互联网软件、IOS/安卓等相关产品开发经验，不满足于课堂所学，在校期间积极参加校内外软件编程大赛或积极参于编程开源社区组织；熟悉JS/AS/AJAX/HTML5/CSS等前端开发技术。
|
||||
* 流程
|
||||
- [x] 简历投递https://career.huawei.com/reccampportal/portal5/user-index.html
|
||||
|
||||
|
||||
## 美团
|
||||
* 岗位：后端开发工程师
|
||||
* 岗位要求
|
||||
1. 掌握一种以上的开发语言，包括但不限于Java、C、C++、Python、Golang等；了解MySQL等基本使用，熟练使用SQL语句；会常用的shell命令；
|
||||
2. 具有扎实的数据结构、操作系统、数据库、算法、网络等计算机基础知识；
|
||||
3. 优秀的学习能力和自驱力，对新技术有强烈的求知精神，能深入代码研究，能通过英文论文等第一手资料了解业界新技术，积极学习新技术提升自我、提升团队；
|
||||
4. 优秀的逻辑思维能力，特别是流程梳理能力和建模能力，善于从复杂系统表象中分析问题。具有较强的解决问题能力，对解决复杂问题充满激情；
|
||||
5. 善于交流，有良好的团队合作精神和协调沟通能力，有一定推动能力。
|
||||
* 流程
|
||||
- [x] 简历投递https://campus.meituan.com/apply-record
|
||||
- [ ] 2021-04-25 10:00 星期天 在线笔试。登录路径：https://meituan.acmcoder.com/cand/login?8nuw9pj4登录帐号：meituan登录密码：haurna
|
||||
|
||||
## 快手
|
||||
|
||||
* 岗位:C++ 搜索推荐实习生。基础架构中心实习生
|
||||
* 岗位要求
|
||||
1. 本科及以上学历，计算机相关专业优先；
|
||||
2. 熟悉C/C++或Rust，有扎实的计算机基础，对数据结构、算法基础有深入理解；
|
||||
3. 熟悉面向对象的设计思想，了解软件开发流程；
|
||||
4. 有实际项目经验或互联网公司实习经历者优先，有OI、ICPC等竞赛经验者优先；
|
||||
5. 热爱互联网，对互联网产品和技术有浓厚的兴趣，热衷于追求技术极致与创新；
|
||||
6. 具有良好的沟通能力和团队合作精神、优秀的分析问题和解决问题的能力。
|
||||
* 流程
|
||||
- [x] 简历投递https://zhaopin.kuaishou.cn/recruit/e/#/official/my-apply/
|
||||
- [x] 2021-04-19 18:00:00 1面
|
||||
## 网易
|
||||
* 岗位：C++开发实习生
|
||||
* 岗位要求
|
||||
1. 不管学的是什么专业，都有一颗对互联网无比热爱，愿意为之付出的心；
|
||||
2. 就是喜欢C. C++这个程序语言，还就爱拿它做项目开发；
|
||||
3. 对网络编程有研究，基本的gdb调试能力？内存泄漏，越界读写等常见问题？对你来说都不是问题；
|
||||
4. 作为一个优秀的程序员，有良好的服务器端编程能力和编程习惯，相关模块设计. 文档编写都是小case；
|
||||
5. 十八般武艺样样精通，掌握多线程并发编程技术，掌握各种数据结构和算法；
|
||||
6. 熟悉windows/linux编程环境，如果有MySQL开发经验那就再 好 不 过 啦！！！
|
||||
* 流程
|
||||
- [x] 简历投递https://campus.163.com/app/personal/apply
|
||||
|
||||
@@ -1,24 +0,0 @@
|
||||
## 计划
|
||||
|
||||
### **腾讯面试前复习**
|
||||
- 基础知识复习
|
||||
- [x] 数据库
|
||||
- [x] 计算机网络
|
||||
- [x] 操作系统（最后一遍搞清楚同步通信、IO过程相关的问题提）
|
||||
- [x] C++
|
||||
- [x] 项目经历
|
||||
- [x] 把所有项目上传到gitee
|
||||
- [x] github项目整理
|
||||
- 腾讯要求复习
|
||||
- [x] nosql/redis非关系型数据库
|
||||
- ~~Hadoop/spark 分布式数据处理(没时间了，等下一轮吧)~~
|
||||
- 腾讯面经复习
|
||||
- [x] 针对腾讯的面试笔试问题进行复习
|
||||
|
||||
### **毕设计划第二次启动**
|
||||
- 论文整理
|
||||
- [x] 桌面上的论文整理完成
|
||||
- [x] 把所有的时间节点整理一下
|
||||
- [x] 那个文件夹内有用的东西留一下（笔记）
|
||||
|
||||
## 收获
|
||||
@@ -1,9 +0,0 @@
|
||||
## 计划
|
||||
> 需要深入阅读了理解0.2.4版本的pysyft框架。
|
||||
> 包括其指针、计划、加密、worker（仿真与实现）。我发现这些代码的设计都非常优秀。日后方便自己完成整个系统。
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## 收获
|
||||
@@ -1,36 +0,0 @@
|
||||
## 计划
|
||||
|
||||
> 感觉金融经济学还是挺有意思的。
|
||||
> 试着考一下相关的证。
|
||||
|
||||
|
||||
### 金融经济学
|
||||
> 基础金融经济规律
|
||||
|
||||
### 法学
|
||||
> 基础法律
|
||||
|
||||
### 医学
|
||||
|
||||
> 基础医学
|
||||
|
||||
### 计算机——office
|
||||
> 学会word、PPT、Excel的用法
|
||||
> 学会Python、numpy、pandas、matplotlib数据分析和处理方法
|
||||
|
||||
## 收获
|
||||
|
||||
第七次人口普查结果出来了，希望国家更好，希望人民幸福。虽然有很多说不清楚，觉得很奇怪的地方。但总感觉这个社会压抑了太多的情绪，最后，每个人的思想都变得畸形，扭曲。
|
||||
|
||||
算了，这个世界大概就是这样。我觉得过于关注社会和国家的大事，容易让自己失去奋斗的动力。觉得黑暗，觉得无法找到前进的方向，觉得努力最后也不过就是那样，觉得没办法实现自己的人生目标。知道的越多，反而对自己没有任何好处。
|
||||
|
||||
从今天开始，彻底放弃对国内外新闻的关注，那些东西，真不是我能把握得住的。道听途说就行，做好自己分内的事情，能够毕业就行。活下去，活的有意义一些，就是自己的目标。
|
||||
|
||||
|
||||
为啥非得把开始学习与这种无用的东西挂钩。烦死了。我现在需要把膏药运回宿舍。然后去买点东西吃个饭。
|
||||
感觉好烦啊。周末玩的欲望，胜过一切。五月份又是无语的半个月。
|
||||
|
||||
总之还是从今天开始认真学习把。时间。。。确实不够了。六月末之前完成中期答辩。这是学长说的。完成这一阶段的任务，就要开始写
|
||||
1. 毕设论文
|
||||
2. 小论文
|
||||
3. 最后的展示工程（或者说一个近似仿真的系统，怎么也得一两个月）
|
||||
@@ -1,116 +0,0 @@
|
||||
## 1 任务
|
||||
|
||||
> 通过撰写论文驱动自己执行接下来的任务。研究任务->工程任务
|
||||
|
||||
- [x] 1 阅读论文（研究任务），主要包括四个方面的论文：恶意软件、联邦学习、非独立同分布、隐私保护。
|
||||
- [x] 2 完成实验（实验任务），找到一种衡量非独立同分布的方法(分布不平衡的程度。完成毕设论文中设计的半监督实验，非独立同分布的实验，并横向纵向对比实验结果。
|
||||
|
||||
- [x] 3 完成小论文和毕设论文的框架，以及大部分内容，实验和实验结果空着，等以后完成。
|
||||
- [ ] 4 构建展示系统（工程任务）。做成一个可以用来展示的网站。可视化操作和训练过程。
|
||||
|
||||
## 2 研究任务（完成毕设论文）
|
||||
|
||||
> 四月份计划主要进行基础知识的学习和复习。完成了初步的数据处理。接下来的主要任务是阅读论文并完成论文复现计划。
|
||||
> 开始执行五月份计划，与四月份计划进行衔接。完成工程上与学术上的推进工作。
|
||||
> 别人都靠不住的，万事都要靠自己。接下来开始搞论文应该也能搞完。三个月实习加论文，搞完。五六七。
|
||||
> 抓紧吧基础的工程弄完，然后开始搞论文，然后在搞回工程。实现最终的系统。
|
||||
> 我们是合作关系，而不是上下级关系。别懈怠了。
|
||||
|
||||
### 2.1 阅读论文（两周）
|
||||
|
||||
> （100篇计划）蒋师兄前前后后分享了估计也有一百篇了，现在重新开始读论文，在复现文章的同时进行广泛的阅读。利用citavi这个工具。
|
||||
### 2.2 完成实验（四周）
|
||||
### 2.2 撰写论文（四周）
|
||||
|
||||
## 3 工程任务（完成目标系统）
|
||||
|
||||
> 需要确定最终实现到什么程度。如果还是单机多线程仿真的，大可不必进行大量修改。在本地通过socket多线程通信进行仿真即可。没有必要考虑网页端的训练（用户将模型下载到Chrome浏览器中，在Chrome浏览器中进行梯度下降？大可不必。第一步应该是首先实现本地浏览器调用本地后端的程序进行仿真。然后尝试远程浏览器，建立socket通信，进行真实系统仿真。而且远程系统，必须也有相关的Python环境才行，或者直接在浏览器中使用JavaScript进行梯度下降。）
|
||||
|
||||
> 对于单机仿真环境：前端调用后端的训练线程，实现联邦学习。
|
||||
|
||||
> 对于多机真实环境：前端直接下载模型，在浏览器中进行梯度下降，实现联邦学习过程。
|
||||
|
||||
### 3.1 初级阶段（五月份）
|
||||
|
||||
> 主要实现本地线程级别的仿真。用来完成研究中的实验和计划
|
||||
> 该仿真实验主要是了验证论文，发论文。
|
||||
|
||||
|
||||
> 尝试掌握最新的联邦学习框架（既然选择了pysyft，就不要考虑tensorflow了。pysyft的生态可能更好，而且做起来简单。主要是tensorflow框架过于庞大，很多东西虽然规范很好用起来方便，但是训练过程着实过于麻烦。使用Keras还好。如果想要修改底层必然会耗费大量精力。tensorflow能够使用js在网页中完成训练，pytorch也能够使用js在网页中完成训练。pytorch也能在android端完成训练。）
|
||||
|
||||
> pytorch本地仿真实验。因为最后要搭建一个联邦学习系统，所以这里存在一个严重的问题，如果使用pysyft中集成的远程调用方法。有很多细节没办法进行控制。而且pysyft最近的支持度明显下降，已经无法使用了。需要自己实现远程调用和容器部署方便进行论文答辩。在这里pytorch只作为一种计算核心。当然也可以完全脱离pytorch进行梯度下降。
|
||||
|
||||
|
||||
- [X] pysyft线程级别仿真。明白了其工作原理，并实现了多端异步训练。在自己实现多端仿真的时候可以借用一下这里边的实现方式。
|
||||
- [x] pytorch本地单线程仿真。也可以开启多线程进行异步训练。客户端和服务器之间通过共享内存实现数据传输。FedMetaMal工程。
|
||||
- [ ] 复现联邦学习的论文。完成所有的联邦学习相关的实验。用于小论文的发表。
|
||||
|
||||
### 3.2 中级阶段（六月份）
|
||||
|
||||
> 主要对pysyft框架中的内容进行理解和修改。
|
||||
> 构建pysyft对联邦学习的远程仿真实现。实现多端协同仿真，实现可视化界面。
|
||||
|
||||
> 主要对FedMetaMal进行扩展。实现多机版本的训练过程。
|
||||
|
||||
- [ ] FedMetaMal进行技术选型，实现多机训练的技术方案。主要是通过grpc等rpc框架进行远程调用。而非使用pysyft中集成好的远程调用。它那个过于难以理解。
|
||||
- [ ] 使用docker容器和socket编程，实现多端协同训练。（从仿真向现实场景过渡。）
|
||||
- [ ] 使用docker容器，优化部署过程，实现windows/linux/android场景下的跨平台实验。（向现实场景过度。）
|
||||
|
||||
### 3.3 最终阶段（八月份）
|
||||
|
||||
> 构建系统。主要是为了最终的毕业服务。
|
||||
- 技术选项
|
||||
- [ ] 使用web服务器，实现可视化。包括可视化训练过程的控制、可视化展示训练过程和训练结果。（大概花一个月时间，本质上为了毕业，能够形成一个看起来很漂亮的系统）。也可以不是CS模式。因为服务器和客户端不一定非得提供成web服务，也可以是其他的非web服务。尝试使用electron-js-python 实现本地客户端或者远程客户端。（优势是客户端可以在本地也可以在远程，相比webkit只能做本地训练有很强的优势）我觉得这个方案非常强。
|
||||
- [ ] 这个服务器既可以用来控制训练过程，参与到训练中。也可以用来展示训练过程。也可以用来测试训练模型。固化训练模型。使用统一的一套通信方案。也可以使用同一的rpc方案。或者不同的前后端分离技术。提供grpc接口而不是http接口！！！ 在实现上应该差不多。
|
||||
|
||||
- 前端：
|
||||
|
||||
- [ ] 训练控制模块（训练过程的配置。选择训练客户端、选择控制客户端，设置训练的参数。加号按钮，在本地网页上进行选择。）
|
||||
- [ ] 训练过程模块（训练过程中的日志和状态变化图。）
|
||||
- [ ] 模型展示模块（用来展示训练结果，可视化训练模型）
|
||||
- [ ] 恶意软件检测模块。（参考手写体ONNX.js的网页，简单好用）
|
||||
- 后端：
|
||||
|
||||
- [ ] 通信模块（参与者，与参与者之间通信的实现。可以通过报名和注册的方式参与其中。）
|
||||
- [ ] 训练模块（联邦学习引擎，主要通过联邦学习的方法，训练一个恶意软件模型）
|
||||
- [ ] 应用模块（恶意软件检测引擎，包括大量的恶意软件处理模块）
|
||||
|
||||
> 如果在实习过程中学了spring那一套，就用spring来写后端。如果没有学spring那一套。就用Python-Django那一套来写后端，正好与算法部分也十分契合。
|
||||
> 需要实现跨平台socket通信。如果弄完这个，发一篇论文不怕比不了也。
|
||||
|
||||
考虑使用一下技术展示成果：
|
||||
|
||||
- html css javascrip
|
||||
- bootstrap vue.js chart.js
|
||||
- python django
|
||||
- pytorch pysyft websocket
|
||||
|
||||
## 4 计划(六月份开始)
|
||||
|
||||
### 4.1 每日计划
|
||||
|
||||
* 上午：1篇论文
|
||||
* 下午：1篇论文
|
||||
* 晚上：2篇论文
|
||||
|
||||
如何看论文：
|
||||
|
||||
[阅读论文的方法](2020年11月2日-论文阅读工具.md)
|
||||
|
||||
### 4.2 每周计划
|
||||
|
||||
* 6月第1周：读论文
|
||||
* 6月第2周：
|
||||
* 6月第3周：
|
||||
* 6月第4周：
|
||||
|
||||
> 这样一看似乎真的没有时间。自己不过也只剩一个月的时间做完毕设了。
|
||||
|
||||
### 4.3 每月计划
|
||||
|
||||
* 五月份计划
|
||||
* 六月份计划
|
||||
* 七月份计划
|
||||
* 八月份计划
|
||||
|
||||
## 5 收获
|
||||
@@ -1,31 +0,0 @@
|
||||
## 任务
|
||||
|
||||
|
||||
|
||||
* [X] 四月份计划——tensorflow federated
|
||||
* [X] 四月份计划——pytorch——pysyft
|
||||
|
||||
* [x] 官方教程
|
||||
* [x] 相关博客实践
|
||||
|
||||
* [x] 学弟的代码
|
||||
* [x] 自己实现
|
||||
|
||||
|
||||
* [x] 四月份计划——pytorch——basic教程（整理完教程，API文档layer、loss、optimizer整理完成，看视频吧）
|
||||
* [x] ~~四月份计划——pytorch——分布式教程(包括教程和API文章整理)~~
|
||||
|
||||
* [x] ~~四月份计划——pytorch——android教程（包括教程和API文章整理）~~
|
||||
* [x] 四月份计划——pytorch——APIdoc
|
||||
|
||||
## 收获
|
||||
|
||||
1. 我发现python机器学习这一套在linux下更好运行，windows配置环境果然要麻烦一百倍。从今天开始将主要的工作环境转移到linux上边。算法的运行和学习都在linux上执行。去Windows上做一下收尾工作。
|
||||
2. 当前的主要任务包括两个，一个是四月份未完成的计划。一个是五月份新开始的计划。
|
||||
3. tensorflow federated已经学习完成了，能够完成基本的联邦学习过程。因为与学弟合作的部分还是pytorch。今后最好使用pytorch进行开发吧。除非由绝对的优势，不会回到tensorflow上了。
|
||||
4. 学习了很多新的Python知识、掌握了pysyft框架的基本使用方法和一系列原理。主要目标有两个：**使用、修改**。
|
||||
|
||||
1. Python的模块loggin、asynicio、argparse等、第三方模块websocket，
|
||||
2. pysyft的原理。worker通信原理和websocket实现（send、receive、client、server）、远程计算的实现（plan，protocol）、加密算法的实现（MFC同态加密）、联邦平均算法的实现（util.fed_avg(models))
|
||||
3. pytorch的模块的使用。torch.nn,torch.function,torch.jit(实现了代码的序列化)
|
||||
5. 从周一拖到现在，本来应该是上周的计划，到现在刚做完。问题就是，为什么random.shuffle效率会提升？？？？？？？太离谱了。总算是完成第一阶段集中式的问题了。今天怎么也得完成5月6号的任务。
|
||||
@@ -1,9 +0,0 @@
|
||||
## 计划
|
||||
|
||||
- [X] 四月份计划——pytorch 数据集训练
|
||||
- [X] 四月份计划——pysyft fake_federated_learning 数据集训练（直接使用学弟的代码，或者尝试写一点也行）感觉没什么必要，但是也可以根据
|
||||
- [x] 尝试自己使用pysyft框架，前几个章节给出的方法复现以下内容。
|
||||
- [X] 四月份计划——pysyft websocket数据集的训练
|
||||
- [x] 实现websocket的可扩展性。能够动态增加客户端的数量。
|
||||
|
||||
## 收获
|
||||
@@ -1,6 +0,0 @@
|
||||
## 计划
|
||||
|
||||
- [ ] 五月份计划——静态数据处理脚本
|
||||
- [ ] 五月份计划——动态数据处理脚本
|
||||
|
||||
## 收获
|
||||
@@ -1,37 +0,0 @@
|
||||
## 任务
|
||||
|
||||
|
||||
- [x] 1. Personalized Cross-Silo Federated Learning on Non-IID Data
|
||||
- [ ] 2. 之前在群里讨论的非独立同分布问题的文章。
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
- [ ] A generic framework for privacy preserving deep learning
|
||||
- [ ] FEDFMC: SEQUENTIAL EFFICIENT FEDERATED LEARNING ON NON-IID DATA
|
||||
|
||||
## 收获
|
||||
|
||||
|
||||
|
||||
* 论文阅读的五个方面
|
||||
* 管理组织
|
||||
* keywords
|
||||
* categories
|
||||
* groups
|
||||
* 信息数据
|
||||
* title/authro/year
|
||||
* priodical/conference
|
||||
* 阅读笔记
|
||||
* quotations
|
||||
* comments
|
||||
* 归纳总结
|
||||
* 方法
|
||||
* 模型
|
||||
* 结论
|
||||
* 问题
|
||||
* 相关这了
|
||||
* local file
|
||||
* internet address
|
||||
@@ -1,58 +0,0 @@
|
||||
## 会议内容
|
||||
|
||||
### 相关加密协议
|
||||
https://
|
||||
http://
|
||||
SSL://
|
||||
|
||||
### 目标
|
||||
|
||||
* 加密/解密 恶意流量
|
||||
* 分析恶意流量
|
||||
|
||||
### 相关资料
|
||||
有一篇综述
|
||||
|
||||
流量加密类型
|
||||
* 应用层加密
|
||||
* 网络层加密
|
||||
|
||||
动态流量识别
|
||||
|
||||
* 可以用来借鉴恶意软件的恶意流量识别。
|
||||
|
||||
|
||||
|
||||
### 研究内容
|
||||
|
||||
1. 恶意软件的表征。
|
||||
2. 恶意流量的表征。
|
||||
|
||||
DPI表征。
|
||||
|
||||
机器学习表征。
|
||||
|
||||
xgb
|
||||
|
||||
|
||||
### 恶意软件分类的事情：
|
||||
|
||||
* 行为类型。实现针对系统的破坏和入侵行为。构成恶意软家族，利用相同的漏洞或者操作模式，对系统进行入侵和破坏。
|
||||
* 恶意目标。实现针对使用者的侵害和损伤行为。一般是在系统破坏和入侵以后，针对系统使用者试行的行为的内容。包括勒索行为、恶意广告、正常使用阻碍、数据隐私窃取等等。
|
||||
|
||||
|
||||
### 关联方法
|
||||
|
||||
* 公害行为之间的关联。上下游，提供
|
||||
* 行为主体的关联。
|
||||
* 行为内容的关联。生成知识主体。建立关联。七国峰会----九个领导人的照片。
|
||||
|
||||
## 个人任务
|
||||
|
||||
### TLS
|
||||
|
||||
* 搞明白SSL和TLS。这些协议是怎么运行的。做一些调研。
|
||||
* 易俊凯。TLS1.3和1.2的区别
|
||||
* Http、https协议怎么加密。
|
||||
|
||||
##
|
||||
@@ -1,22 +0,0 @@
|
||||
> 六月份已经过去了。乱七八糟。
|
||||
|
||||
|
||||
|
||||
|
||||
## 总结
|
||||
* 与高中同学背景聚会。去交通大学玩耍。还挺他们唱歌，自己终于也能跟着志鹏哼两句了。
|
||||
* 后来汉卿来了，打第一次篮球脚扭了。
|
||||
* 汉卿、李静、我、玄哥？一款在胡同小馆吃饭。瞎扯
|
||||
* 跟玄哥、志鹏、平子吃了一次两份去吃了一次两份，在肯德基里完了一晚上的剧本杀，居然是个凶手累的一批。
|
||||
* 康明、刘迪、东哥。多年未见的老朋友终于又一次聚在了一块。去做了各种各样的过山车，真的好玩。真想给你讲述一下那样的经历。
|
||||
* 回家了一趟，感慨万千。见了茹姐。
|
||||
|
||||
|
||||
> 过了六月就已经是下半年了。我发现这半年来。自己的状态有所好转。但是没有以前的热情了。我想回到从前，对生活的充满期待，而不是因为焦虑不得不去做这些事情。是因为对未来的期待。
|
||||
> 果然，不能抱着侥幸的心里，不能过分在乎别人对自己的目光。太过焦虑了，过分厌烦。气死了。果然这样什么事情都处理不好。本来就应该回宿舍，既不会过分担心发生的事情。
|
||||
> 六月份应该是诸事顺利的日子，但是我发现。被乱七八糟的事情搞得很难受。六月份的冲动已经消失了。
|
||||
> 我需要想一个让自己能记得住的口号和方法。重读自己的日记。找到正确的方法。争取在八月份之前，返回工作岗位。
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -1,84 +0,0 @@
|
||||
## 黄赌毒
|
||||
### 网络公害流量的定义
|
||||
（几乎找不到相关的定义。根据公害的定义和一些资料可以做出如下介绍。凡影响三人以上并侵害他们作为公众成员而应享有的权益的妨扰为“公众性妨扰”，简称“公害”。）
|
||||
|
||||
|
||||
网络公害流量泛指干扰和破坏正常网络活动、侵害公众网络权益的内容，通常伴随着网络公害行为产生。网络公害行为包括窃取用户信息、恶意广告、金融诈骗、传播黄赌毒、网络诈骗和勒索、恶意安装和卸载软件、网络监听、网络霸权、网络攻击、非法交易。严重干扰用户的日常工作、数据安全和个人隐私。
|
||||
|
||||
* 网络霸权：希望只有自己发言，其他人等，要么和自己的语意一致，要么闭嘴。
|
||||
* 网络窃密、网络暴力、网络侵权、网络暴恐、网络攻击。
|
||||
* 恶意流量是指通过网络创建或接收的任何可疑链接、文件或连接。恶意流量是一种造成事件的威胁，可能会影响组织的安全，也可能会危害您的个人计算机。
|
||||
* 恶意软件或恶意软件会渗透并控制计算机系统或移动设备，以窃取有价值的信息或损坏数据。恶意软件有很多种，它们在执行攻击时可以相互补充。广告软件、后门/远程访问木马（RAT）、僵尸网络、间谍软件、木马蠕虫
|
||||
* 恶意爬虫、自动机、模拟器等产生，伪造真实用户发起的请求，都属于恶意机器流量（Bad Bots）。恶意流量的存在严重危害了互联网的健康发展。这些流量通过在应用层攻击网站、APP或是API，以达到获利的目的，同时也会对企业造成经济上的巨大损失。恶意流量具有三大特点：攻击普遍性、攻击持续性、攻击目的性。
|
||||
<!-- *  -->
|
||||
|
||||
### 网络犯罪
|
||||
* 涉及基本罪，侵犯的个人或企业隐私，比如在攻击完整的数字托管保存的信息和使用非法获得的数字信息敲诈一个公司或个人。此外，身份盗窃的犯罪活动也在不断增加。包括基于交易的犯罪，例如欺诈、贩卖儿童色情制品、数字盗版、洗钱和伪造。
|
||||
* 涉及企图破坏互联网实际运作的犯罪。这些范围从垃圾邮件、黑客攻击和针对特定站点的拒绝服务攻击到网络恐怖主义——即利用互联网引起公众骚乱甚至死亡。
|
||||
|
||||
* 电子邮件和网络欺诈。
|
||||
* 身份欺诈（个人信息被盗和使用）。
|
||||
* 盗窃财务或卡支付数据。
|
||||
* 盗窃和出售公司数据。
|
||||
* 网络勒索（索要金钱以防止受到威胁的攻击）。
|
||||
* 勒索软件攻击（一种网络勒索）。
|
||||
* Cryptojacking（黑客使用他们不拥有的资源挖掘加密货币）。
|
||||
* 网络间谍（黑客访问政府或公司数据的地方）。
|
||||
### 产业链
|
||||
|
||||
编写恶意代码、散发恶意代码、收集/控制受害主机、利用受害主机赚钱和地下交易平台.其中,散发恶意代码的方式有垃圾邮件、网站和聊天工具等,收集/控制受害主机的方式有僵尸网络和木马网络,利用受害主机赚钱的方式有受雇从事针对竞争对手的网络病毒攻击、散发商业垃圾邮件、构建钓鱼网站、制造虚假流量、盗取和售卖账号密码和隐私信息
|
||||
|
||||
|
||||
### 黄赌毒网站特点
|
||||
|
||||
* 网站重定向。劫持网站，篡改网页。重定向到特定的恶意网址。
|
||||
* 欺骗搜索引擎。bot。让搜索引擎误以为是正常网站。
|
||||
* 诱导下载APP。使用专用加密协议向用户推送恶意内容。
|
||||
* 国外运营，逃避监管。
|
||||
* 仅靠技术不足以区分不同犯罪活动领域之间可能存在的任何区别。必须结合内容。
|
||||
|
||||
### 网络公害流量有什么特点（可以从哪些角度）
|
||||
|
||||
* 内容与技术融合。例如赌博总是与黄色内容、恶意广告结合在一块发布。而且赌博越来越与社交媒体、网络游戏等内容融合。
|
||||
|
||||
### 网络公害加密流量的特征
|
||||
* 解密前的报头特征
|
||||
```
|
||||
2.3.1 会话的统计特征分析
|
||||
(1)包数量的特征
|
||||
(2)包长序列的特征
|
||||
(3)会话持续时间的特征
|
||||
(4)数据包顺序与大小特征
|
||||
2.3.2 TLS协议特征分析
|
||||
(1)加密套件使用的特征
|
||||
(2)扩展加密套件使用的特征
|
||||
2.3.3 服务器证书特征
|
||||
2.3.4 服务器域名特征
|
||||
```
|
||||
|
||||
* 解密后的负载特征
|
||||
|
||||
## 网络公安
|
||||
|
||||
### 公安如何侦察
|
||||
* 内容审核。各平台也要加强审核力度，强化底线思维和社会责任感，谨防自身成为毒流量生长传播的温床，与政府部门、媒体、网民等社会各界携手营造清朗的网络空间。
|
||||
* 网络违法犯罪举报。
|
||||
* 搜索引擎一般是不收录的。
|
||||
|
||||
|
||||
### 分析步骤
|
||||
|
||||
* 网络流量====>网络信息内容
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## 2021年6月22日会议记录
|
||||
|
||||
###
|
||||
|
||||
* 交互的行为特征
|
||||
* 公害流量知识库
|
||||
* 上层的API调用层
|
||||
* 下层的网络通信层
|
||||
@@ -1,9 +0,0 @@
|
||||
## 计划
|
||||
|
||||
- [X] 五月份计划——ida 实现
|
||||
- [X] 五月份计划——prox实现
|
||||
|
||||
## 收获
|
||||
|
||||
* 学习了websocket的使用，了解了Python异步通信编程。可以考虑使用Django快速构建本地的一个网站，用来展示和控制联邦学习过程。
|
||||
* 参数服务器与客户端通信只能使用权重来更新服务器上的模型。因为，如果使用梯度的话，必须每个epoch或者每一个batchsize都要上传grad。但是在训练过程中，可以经过多个epoch或者batchsize后，上传权重，进行合并。
|
||||
@@ -1,21 +0,0 @@
|
||||
# 本周计划
|
||||
|
||||
> 过多的思考，导致自己的工作停滞不前。
|
||||
>
|
||||
> 应该学会从阅读中汲取灵感。阅读，才是本质工作。
|
||||
>
|
||||
> 无论是工作上（读代码与思考如何写代码）、学术上（读论文与思考该怎么读论文）、生活上（读书与思考该如何生活）。我觉得这三个方面，我都犯了致命的错误。应该以读为主，辅助以思考，而不是每天思考该怎么做、该做什么，却从来没有尝试去做这些东西。从今天开始，将阅读与思考时间进行严格限制。3：1，3分阅读，1分思考。
|
||||
>
|
||||
> 转眼已经五月末了。本月的计划执行地稀烂。还是自己的键盘打字舒服啊，太好用了。从今天开始，转入学习状态。计划也写了很久了，该去实践了。既然采取了一种更加稳扎稳打的习惯。就应该付出更多的努力。肿瘤发生的第31天。
|
||||
|
||||
- [ ] 阅读九月份以来的工作，完成毕业论文的框架。
|
||||
- [ ] 本周读完所有的论文。每天3~5篇。
|
||||
- [ ] 完成数据预处理工作，和对恶意软件的分析工作！！！（已经拖了两个月了）
|
||||
|
||||
## 计划
|
||||
- [ ] 阅读九月份以来的工作，完成毕业论文的框架。
|
||||
|
||||
|
||||
## 收获
|
||||
|
||||
* 不应该以学习语言为目的。不应该以掌握某一个技术为目的。应该将**产品** 作为最终的目标。围绕产品学习相关的技术。你可以有自己感兴趣的技术和方向。
|
||||
@@ -1,20 +0,0 @@
|
||||
## 计划
|
||||
|
||||
> 由于citavi彻底崩掉了。不得不采取这样的方式。恶心的citavi，垃圾的同步问题。从今以后，那些大公司承诺和支持的软件的，千万不要相信。永远拥抱开源就对了，总有一堆活跃的大佬，不断完善开源软件，比瞎搞的citavi、mendeley强多了。
|
||||
|
||||
- [X] 学习zotero使用教程。
|
||||
- [X] 将所有的中英文文献导入到zotero中。（逐步将翻译、笔记插入到当前的文档管理软件当中。）
|
||||
- [X] 将文献翻译导入到指定的条目当中
|
||||
- [X] 导入中文文献
|
||||
- [X] 回顾自己的计划
|
||||
- [ ] 读论文联邦学习相关(10篇)做好相关的总结。
|
||||
|
||||
## 总结
|
||||
|
||||
* 两套软件使用。逐步过渡到zotero。这个垃圾的citavi配置问题，太闹心了。就喜欢简单一键解决问题。想要啥都做好。往往啥都做不好。垃圾软件，毫无用户体验。md，刚配置完成，这东西居然又连上网络了。我觉得还是把软件当工具用，工具始终是工具而不是目标。
|
||||
* 与citavi相比，在于知识的管理。可能笔记的内容无法非常好的索引出来。无法形成最后文献阅读的csv表格。但是无所谓。可以最后的时候自己做成一个表格。附件中的笔记使用来索引的。
|
||||
|
||||
|
||||
|
||||
|
||||
* 终于可以开了。兄弟，别等了。开始吧。
|
||||
@@ -1,13 +0,0 @@
|
||||
## 计划
|
||||
|
||||
* 八篇文章
|
||||
* [x] FedRep联邦表示学习、本地个性化模型
|
||||
* [x] FLmeta 联邦元学习
|
||||
* [x] MAML 元学习
|
||||
* [x] Deeplearning
|
||||
* [x] Federated Learning
|
||||
* [x] FedFMC
|
||||
* [x] On the coverage
|
||||
* [x] Personality
|
||||
|
||||
## 总结
|
||||
@@ -1,14 +0,0 @@
|
||||
## 计划
|
||||
|
||||
* 十篇文章(2021.04文件夹下的内容)
|
||||
* [x] FedFMC
|
||||
* [x] EWC(FedFMC中用到的一种终身学习的方法，需要了解，作为参考文献)是一种增量学习方案
|
||||
* [x] Overcoming Forgetting in Federated Learning on Non-IID Data 利用增量学习方案解决联邦学习中非独立同分布问题的另外一个方法。
|
||||
* [x] Federated Meta-Learning for Fraudulent Credit Card Detection 联邦元学习解决信用卡诈骗检测
|
||||
* [x] Learning Classifiers When the Training Data Is Not IID
|
||||
* [x] on the convergence of fl on noniid data
|
||||
* [x] federated learning with non iid data
|
||||
* [x] federated learning with non iid data : a survey
|
||||
|
||||
## 总结
|
||||
|
||||
@@ -1,59 +0,0 @@
|
||||
## 第6次科研汇报
|
||||
|
||||
> 按照中期答辩或者小论文完成的方式进行汇报。
|
||||
|
||||
这次的研究进展就按照小论文的形式进行汇报，因为中期答辩的话，必然要把开题的那一套全都讲一遍。试一下，尝试一下中期答辩的方式。
|
||||
|
||||
看完这几篇关于非独立同分布的文章，然后用一个表格总结一下，放到PPT中。
|
||||
|
||||
|
||||
|
||||
|
||||
## 研究路线
|
||||
|
||||
背景---->目标----> 切入点
|
||||
|
||||
恶意软件检测------> 数据隐私需求-----> 联邦学习-----> 非独立同分布问题
|
||||
|
||||
|
||||
|
||||
## 理论研究
|
||||
|
||||
### 问题定义——什么是非独立同分布？
|
||||
怎么产生的，有哪几种类别。
|
||||
|
||||
### 非独立同分布到底会产生什么影响？
|
||||
|
||||
### 联邦学习非独立同分布的主要解决方案
|
||||
|
||||
每种方法给出几个典型的文章的方法和内容。使用表格
|
||||
|
||||
1. 样本共享
|
||||
2. 终身学习
|
||||
3. 全局修正
|
||||
4. 元学习
|
||||
|
||||
|
||||
|
||||
## 研究进展
|
||||
|
||||
|
||||
理论研究80%
|
||||
|
||||
1. 采取联邦元学习，通过本地个性化解决联邦学习在恶意软件过程中因为数据非独立同分布导致的准确率下降的问题。再次基础上进行改进，添加全局修正项。
|
||||
|
||||
工程研究20%
|
||||
|
||||
1. 完成了prox和idx两个全局修正非独立同分布解决方案。
|
||||
|
||||
|
||||
预期成果
|
||||
1. 完成基于联邦元学习的的恶意软件检测方法 小论文
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
@@ -1,93 +0,0 @@
|
||||
# 数据资产化——李春燕
|
||||
## 隐私
|
||||
1. 个人隐私
|
||||
2. 企业机密
|
||||
|
||||
## 需求
|
||||
|
||||
对隐私和机密的保护。
|
||||
|
||||
## 障碍
|
||||
|
||||
1. 复杂数据类型：质量残次不齐、非标准化、非结构化
|
||||
2. 经济学特征：虚拟的、可重复使用，成本、非竞争性、时效性、应用算法、应用场景、网络效应
|
||||
3. 生成性，本身无价值
|
||||
3. 非经济学特征：隐私与机密
|
||||
|
||||
## 解决方案
|
||||
1. 安全计算，保护用户个人隐私、企业数据机密性。
|
||||
2. 激励模式。
|
||||
|
||||
威胁情报知识形式化表达+基于区块链的威胁情报共享的激励机制====>威胁情报共享模型====>数据资产化
|
||||
|
||||
stix格式/SWRL语义web规则语言====>实现威胁情报知识具有可读性。
|
||||
|
||||
区块链+基于角色的激励机制=====>威胁情报组织资源动态共享威胁情报。
|
||||
|
||||
## 计划
|
||||
1. 基于区块链的共享架构
|
||||
2. 激励机制
|
||||
3. 个人隐私保护和企业数据机密性
|
||||
|
||||
|
||||
## 问题
|
||||
|
||||
1. 像数学一样，具有的数学性质。应该分析特点和问题。在威胁情报中，威胁情报是什么，有哪些类型，有什么特点，有哪些挑战。
|
||||
2. 相关概念弄清楚，什么事数据、信息、知识。数据是数字化的文档。信息是有价值的数据。把相关的定义说清楚。
|
||||
|
||||
|
||||
# 威胁情报——蒋昌南
|
||||
|
||||
## 威胁情报
|
||||
1. 奇安信的情报实例。
|
||||
2. 威胁信息STIX格式的威胁信息。Indicator中的动态行为（恶意软件在本地的动作：文件访问、修改），静态描述。
|
||||
|
||||
## 基于联邦学习的分类器构建
|
||||
|
||||
1. 全局共享思路。
|
||||
2. 联邦学习训练的上限是集中式的。
|
||||
3. 半共享方案。
|
||||
4. 迁移学习
|
||||
5. 个性化层
|
||||
6. 混合全局方案
|
||||
|
||||
联邦元学习
|
||||
|
||||
|
||||
## 创新点
|
||||
|
||||
1. 本地生成威胁信息。
|
||||
|
||||
|
||||
## 问题
|
||||
1. 原理是怎样的？原理上的可行性？本地提取知识，进行个性化。
|
||||
2. 本质上就是调参？也包括算法和模型的改进。
|
||||
3. 由于分布不同，带来了什么问题？针对这种问题，对模型上进行怎样的改进？这种改进有什么创新，理论上有什么依据？在复现别人的成果？在结构上或网络上进行变化，针对问题进行解决。
|
||||
4. 理论上可行，执行上必然可行。例如网络拥塞控制。理论上能够解决，实际上才能解决。解决方法必须具有普遍性。开门不能靠试，应该有理论上的研究。
|
||||
5. 替代集中式的训练方法？还是在集中式的基础上的改进方案？两者都可行，可以选择。应用创新，该场景的新问题，和其他场景的解决方案。
|
||||
6. 非独立同分布带来什么问题，怎样解决这些问题。
|
||||
7. 在威胁情报的基础上，结合本地情况，利用本地解决问题的方法。
|
||||
8. 如何评价威胁情报的效果。出发点：评价该方法的隐私性（保护隐私的程度），产生的威胁情报的质量不比原来差。
|
||||
9. 党的领导（建立方向和目标）、群众路线（得到大部分认可）、武装斗争（要有核心竞争力）、统一战线（社会实质问题）。融入到工作当中，肯定能取的成功。基础知识广，扎实。武装斗争，要具有想象力，有创新性，进行结合，相互合作。
|
||||
|
||||
|
||||
## omnet——李文超
|
||||
|
||||
## 物联网omnet++
|
||||
|
||||
1. 基于omnet++补充信息
|
||||
2. 车辆信息仿真，SUMO负责地图绘制和显示，omnet++仿真，wings车辆信息。详细介绍实验的参数。
|
||||
3. 添加广播信息传输。预警信息传输。事故信息。
|
||||
4. 数据搜索的论文。平台上做实验，速度、传输速度描述。
|
||||
5. 结合以往的工作进行分析。进行车辆传播信息的仿真。车联网方案，在网络平台上运行。车辆信息传输。模仿物联网。
|
||||
6. 前边是数据加密方案，后边是数据仿真。数据加密搜索，数据分享授权。知识同质搜索加密，全同态加密。场景不同，对方不需要解密。模拟信息通信过程。
|
||||
|
||||
|
||||
## 问题
|
||||
|
||||
1. 仿真实验解决的问题
|
||||
2. 如何完善仿真
|
||||
3. 具体的方向，完善什么方向。
|
||||
4. 把具体解决的问题，使用实验仿真出来。到底想验证什么，不能单纯的为了搭建一个场景，而什么也没有证明，去做实验。要仿真的现有的方案。效率提升+预警信息传输
|
||||
5. 与威胁情报的关系，在什么地方可以应用和借鉴它的技术。从威胁情报共享的角度来说，可以继续向什么方向深入。需要多问多交流，不能总是你以为。
|
||||
6. 为了听取大家的意见。为了获取知识。交流。
|
||||
@@ -1,8 +0,0 @@
|
||||
## 计划
|
||||
|
||||
### 毕设——论文阅读2.00-6.00
|
||||
* [x] federated learning on non iid data silos an experiment
|
||||
* [x] fedAT
|
||||
* [x] 自适应联邦学习算法
|
||||
|
||||
## 总结
|
||||
@@ -1,18 +0,0 @@
|
||||
## 计划
|
||||
|
||||
### 毕设——论文阅读2.00-6.00
|
||||
* [x] mocha 联邦多任务学习
|
||||
* [x] Improving Federated Learning Personalization via Model Agnostic Meta Learning
|
||||
* [x] Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge Based Framework
|
||||
* [x] Personalized Federated Learning With Differential Privacy
|
||||
* [x] Personalized Federated Learning with Moreau Envelopes
|
||||
* [x] Personalized Federated Learning: A Meta-Learning Approach
|
||||
* [x] Salvaging Federated Learning by Local Adaptation
|
||||
* [x] Survey of Personalization Techniques for Federated Learning
|
||||
|
||||
|
||||
|
||||
## 总结
|
||||
|
||||
|
||||
* 基本把非独立同分布问题的经典方法看完了。接下来进行复现。尝试对各种方法进行对比，主要是基于手写体数据集构建非独立同分布的实验。然后将数据集更改为自己的数据集（等选择好数据集之后，将数据及进行更换。）
|
||||
@@ -1,23 +0,0 @@
|
||||
## 计划
|
||||
|
||||
### 毕设——论文阅读2.00-6.00
|
||||
|
||||
* [x] Android Malware Detection using Deep Learning on API Method Sequences
|
||||
* [x] LoAdaBoost: loss-based AdaBoost federated machine learning with reduced computational complexity on IID and non-IID intensive care data
|
||||
* [x] A scalable and extensible framework for android malware detection and family attribution
|
||||
* [x] CTDroid: Leveraging a Corpus of Technical Blogs for Android Malware Analysis
|
||||
* [x] Optimizing symbolic execution for malware behavior classification
|
||||
* [x] Cross-Gradient Aggregation for Decentralized Learning from Non-IID data
|
||||
* [x] JOWMDroid: Android malware detection based on feature weighting with joint optimization of weight-mapping and classifier parameters
|
||||
* [x] DAMBA: Detecting Android Malware by ORGB Analysis
|
||||
* [x] DeepIntent: Deep Icon-Behavior Learning for Detecting Intention-Behavior Discrepancy in Mobile Apps
|
||||
|
||||
|
||||
### 就业
|
||||
|
||||
- [x] LeetCode一道困难题。10.00-12.00
|
||||
- [ ] C++基础知识看完。8.00-10.00
|
||||
|
||||
|
||||
|
||||
## 总结
|
||||
@@ -1,40 +0,0 @@
|
||||
## 计划
|
||||
|
||||
|
||||
### 就业
|
||||
|
||||
- [x] LeetCode一道困难题。10.00-12.00
|
||||
- [x] C++基础知识看完。8.00-10.00
|
||||
|
||||
|
||||
|
||||
## 总结
|
||||
|
||||
* 一个模板可以用来复制黏贴
|
||||
```
|
||||
# DNN
|
||||
|
||||
|
||||
## 文献贡献
|
||||
|
||||
|
||||
## 问题定义
|
||||
|
||||
|
||||
## 算法模型
|
||||
|
||||
|
||||
## 实验内容
|
||||
|
||||
1. 目标设置：
|
||||
2. 样本设置：
|
||||
3. 工具设置：
|
||||
4. 算法设置：
|
||||
5. 参数设置：
|
||||
|
||||
|
||||
## 研究结论
|
||||
|
||||
|
||||
## 存在问题
|
||||
```
|
||||
@@ -1,97 +0,0 @@
|
||||
# rythm 孙锐 诗歌与节奏
|
||||
|
||||
## 什么是
|
||||
1. 节奏，断句，停顿。
|
||||
2. 韵律，升降，平仄调。不太一样。
|
||||
|
||||
|
||||
### 三种类型🌿
|
||||
1. 图解法。使用
|
||||
2. 音乐性理论
|
||||
3. 节奏韵律。使用科学上的物理参数。
|
||||
|
||||
|
||||
### 韵文格律与意义
|
||||
|
||||
1. 无关系
|
||||
2. 韵律能够在一定意义上反应意义。
|
||||
3. 节奏、音高的连续性。
|
||||
|
||||
> 同一个音能够通过不同的节奏反应不同的意思。啊？，啊～，啊、，啊——，。
|
||||
|
||||
|
||||
## 诗歌
|
||||
|
||||
|
||||
|
||||
## 中国诗歌
|
||||
|
||||
1. 诗经。最后动词的变迁。
|
||||
2. 楚辞，赋。
|
||||
3. 汉乐府、汉赋。音乐和词的脱离。
|
||||
4. 五言诗、七言诗。
|
||||
5. 南北朝民歌
|
||||
6. 南朝文学。赋，很押韵。
|
||||
7. 律体。意义上的对仗---->声音上的对仗。声韵学。
|
||||
8. 永明体。诗歌的音乐性降低，而文字上的音。
|
||||
|
||||
> 神婆。会在死亡的时候，唱诗。
|
||||
|
||||
|
||||
> 诗是一种高雅的文学形式。可是从诗经、古代严格的五律七律、到后来宽泛的词、到现在的现代诗、到现在的歌曲。是否从一种高雅的形式，逐渐再融合成一种普通人用来表达感情的很世俗的东西。感觉诗歌的文学上的韵律，越来越宽泛。是由什么原因？
|
||||
|
||||
|
||||
## 总结
|
||||
音节。节奏。重音和停顿上
|
||||
|
||||
|
||||
1. 字的个数，也就是一个节奏下，音的个数，变得更随意。
|
||||
|
||||
|
||||
|
||||
# rythm 张玄 音乐的节奏
|
||||
|
||||
### 定义
|
||||
|
||||
1. 音乐：旋律、和声、节奏。
|
||||
2. 规律，能够预测的变换。
|
||||
3. 节奏（有规律的声音变化）：速度、拍子、重音。
|
||||
|
||||
|
||||
### 组成
|
||||
|
||||
1. 速度：取决于人能理解的上限。
|
||||
2. 拍子：古代传统音乐。一板（重音）三眼（轻音 ），一板一眼
|
||||
|
||||
|
||||
|
||||
## 概念
|
||||
|
||||
音乐的三要素指的是旋律、节奏与和声。
|
||||
|
||||
旋律：
|
||||
|
||||
又称曲调。音乐的起伏是按照一定的节奏水平有序地组织起来的，形成一个曲调。旋律是音乐形式中最重要的表现手段，是音乐的本质，是音乐的决定性因素。曲调的方向是可变的。有三个基本方向：水平方向、向上方向和向下方向。
|
||||
同一音调的进展方向称为水平；从低音到高音，向上；从高音到低音，向下。曲调发展的常用方式是“谐音重复”、“渐进”和“跳进”。根据音阶的相邻音调，它被称为进行音，三度的跳跃称为小跳跃，四度以上的跳跃称为大跳跃。
|
||||
节奏：
|
||||
|
||||
音乐的节奏是指音乐运动中中音的长度和强度。音乐的节奏常被比作音乐的骨架。节拍是音乐中拍子和拍子的周期性和规则性的重复。中国传统音乐称节奏为“板眼”，“板眼”等同于强拍；“眼”等同于亚强拍（中眼）或弱拍。
|
||||
和声：
|
||||
|
||||
和声包括“和弦”和“和声进行”。和弦通常是三个或更多声音的组合，这些声音根据一定的规则纵向（同时）重叠。和弦的横向组织就是和声进行。和声具有明显的强、轻、厚、薄的色彩效果，还具有构成分句、段落和结尾乐的功能。
|
||||
|
||||
|
||||
## 问题
|
||||
|
||||
声音上的和谐。和意义上的和谐。诗歌包含声音和意义。
|
||||
|
||||
|
||||
一段意义上的终止符。
|
||||
|
||||
|
||||
|
||||
|
||||
# 下次的主题
|
||||
|
||||
|
||||
西部。
|
||||
@@ -1,45 +0,0 @@
|
||||
## 荒野大镖客
|
||||
|
||||
* 1899年美国西部。移民，秩序。
|
||||
|
||||
|
||||
|
||||
## 中国“西部”
|
||||
> 中国语境下的西部与西方。
|
||||
|
||||
|
||||
* 西部与西方
|
||||
* 西部的自然景色，风光很美
|
||||
* 西部的经济特征，落后奇异
|
||||
* 西方一般是指文化政治上的一种团体。
|
||||
* 中国的“西部”
|
||||
* 以行政区划作为西部的官方定义。
|
||||
* 西部大开发的几个省份。东部支援西部。
|
||||
* 语言习惯与地理上的西部，西部、中部、东部、东北
|
||||
* 美国西部
|
||||
* 狂野，潇洒。西部世界、荒野大镖客。
|
||||
* 共同点：地理上。气候上相似。历史上的演变，向西部扩张。未知与浪漫。
|
||||
* 不通点：经济发展差异问题。扩张方式，民族自治与血腥残暴。
|
||||
* “西”
|
||||
* 死亡、沉寂、岁月流逝、人生迟暮
|
||||
* 西风、阴（西）阳（东）
|
||||
* 是不是西部的文化里，总感觉与奇异，那种毒药，
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## 中国历史上的“西域”。
|
||||
* 北京城这么考究，他的方位到底是地磁北方还是地轴北方呢？
|
||||
*
|
||||
## 西部世界观影及推荐
|
||||
|
||||
|
||||
## 西部军区
|
||||
|
||||
|
||||
1. 作战指挥（打仗）
|
||||
2. 领导管理（培养）
|
||||
|
||||
|
||||
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user