diff --git a/工作日志/2020年10月1日-十月份安排.md b/工作日志/2020年10月1日-十月份安排.md deleted file mode 100644 index 29f163dc..00000000 --- a/工作日志/2020年10月1日-十月份安排.md +++ /dev/null @@ -1,94 +0,0 @@ -# 想法存档 - -* 使用python3编程，实现markdown文章存放到本地。自己写Python对markdown语法的解析程序把。 - -# 本月安排 - -10.1 - -上午 完成3-4 -下午 完成5-6 -晚上 完成7-8 - - -10.2 -上午-下午：写界面、去聚餐 - -晚上 完成9-10 - -10.3 -上午-下午：写界面、去聚餐 -晚上 完成11-12 - -10.4 -上午 完成13-14 -下午 完成15-16 -晚上 完成17-19 - -吴恩达课程完成。 -------------------------------- -10.5 机器学习基石上完成 - -10.6 机器学习基石下的一半 - -10.7 机器学习基石下的一半 - -10.8 机器学习基石完成 - -> 整理好相关的机器学习笔记。进行附上代码的实现。 -------------------------------- - -10.9-10.11 统计学习方法，书籍结合视频教程 - -10.11-10.20 机器学习西瓜书，书籍结合视频教程 - -10.20-10.25 机器学习实战，编程。sklearn，书籍结合视频教程 - -10.25-10.30 TensorFlow教程学会 - ------------------------------------ -11.01-11.10 神经网络的五套课程（仅仅学习三套就够了，因为后边的是针对专门的领域的） - -11.10-11.20 联邦学习+情报，相关论文 - ------------------------------------ - -基础知识->算法实现->科研论文->系统实现 - - ----------------------------------- - -> 关于未来的思考。你应该知道自己毕业后回选择什么样的岗位，是算法岗还是开发岗。如果是开发岗，现在就应该重新学习C++以及相关的一系列基础知识了。如果是算法岗，现在应该去刷LeetCode上的各种算法了。如果是机器学习岗位，现在应该开始，了解各种机器学习相关的内容，然后发表相关方向的论文。 - - -# 一周安排 - -主要任务： - -1. 完成吴恩达课程√和作业（编程实现） -2. 完成李宏毅机器学习（笔记+编程） -3. 完成统计学习方法（笔记+编程，熟悉numpy和matplotlib） -4. 复习线性代数（3blue1brown）和数理统计（一门课程，重新做笔记） - ---------------------------------- - -时间安排： - -上午、下午：看视频 - -晚上：写代码 - --------------------------------- -任务安排： - - - - ------------------------------- -后续安排： - -下周主要任务： -李红统计学习方法+周志华西瓜书。 - -下下周主要任务 -实践真正的机器学习项目+看论文，写开题报告。 \ No newline at end of file diff --git a/工作日志/2020年10月23日-十一月份安排.md b/工作日志/2020年10月23日-十一月份安排.md deleted file mode 100644 index 8f3d0eb9..00000000 --- a/工作日志/2020年10月23日-十一月份安排.md +++ /dev/null @@ -1,49 +0,0 @@ -## 第一周 - ----------------------- -主要任务 -* 吴恩达机器学习+深度学习课后作业 -* 李航统计学习方法+笔记 -* 李航统计学习方法+代码实现 -* 情报论文阅读 - ---------------------- -时间安排 -* 8.00-11.30 -* 2.00-5.30 -* 7.00-11.00 - ---------------------- -任务安排 - -* 找到阅读论文的方法和工具。 -* 然后开始紧张刺激的编程工作。 -* 认真学习也太好了。 -…… - - -## 第二周 - -------------------------- -主要任务 -* 吴恩达机器学习+深度学习课后作业 -* 周志华习惯书笔记+代码实现 -* 情报利用+联邦学习论文阅读（自己搜集论文，把现有的论文读完） - -时间安排 ------------------------- -早 一篇论文 -下 一篇论文 -晚 算法实现和算法学习 - -## 第三周 - -## 第四周 - -感觉最近状态差的一批。你的学习计划，几乎落空，就算现在不吃不睡，也不知道能不能完成。绝对不能再玩耍了。需要大量的时间，投入到工作当中。日了够了……滚吧，别浪了。浪费时间就是犯罪啊！！！！以后每周计划都像上一个一样，做好范本。月计划和周计划合并到一块。 - - -果然一个好的软件也会阻止你进行你要做的事情因为你会花费大量的时间，去思考这些功能或者工具该怎么用，太难了。 - - - diff --git a/工作日志/2020年11月25日-十二月份安排.md b/工作日志/2020年11月25日-十二月份安排.md deleted file mode 100644 index 1d6f5241..00000000 --- a/工作日志/2020年11月25日-十二月份安排.md +++ /dev/null @@ -1,36 +0,0 @@ -## 第一周 - -### 主要任务 -* 文献综述完成 -* 开题报告完成 - -### 时间安排 - -* 8.00-11.30 - -* 12.30-2.00（刚吃完饭，真的睡不着） - -* 3.00-5.00 - -* 6.00-12.00 - -### 任务计划 - -* 周一-周三：文献综述 -* 周四-周日：开题报告 -（字数肯定很好凑，看来并不是自己所想的那样，关键技术和技术路线，需要很长的内容。或许在开题的时候，就必须直到自己应该怎么做了。） - - -## 第二周 - -### 主要任务 -* 修改开题报告（场景定义明确，即我们到底要完成一个什么样的事情） -* 修改开题报告（技术路线明确，即我们到底通过什么样的手段完成） - -* 网络威胁情报-文献阅读 -* 恶意软件-文献阅读 -* 特征生成和机器学习可解释-文献阅读 - -### 任务安排 - -* \ No newline at end of file diff --git a/工作日志/2020年11月26日-开题启动会.md b/工作日志/2020年11月26日-开题启动会.md deleted file mode 100644 index 96bb9606..00000000 --- a/工作日志/2020年11月26日-开题启动会.md +++ /dev/null @@ -1,20 +0,0 @@ -# 基于联邦学习算法的 IOC 情报生成利用系统 - -## 研究内容 - -1. IOC 情报的自动生成模型 -2. 联邦学习算法的应用 -3. 面向恶意程序和软件识别的 IOC 情报生成与利用 - -## 关键技术 - -1. IOC 威胁情报的定义与规范 -2. 恶意软件特征生成技术 -3. 基于深度神经网络的联邦学习算法 -4. 神经网络的可解释性研究 - -## 创新点 - -1. IOC 自动化生成，通过机器学习掌握情报分析师的知识。 -2. 创建内生情报。通过 IOC 情报利用生成系统，企业可以无需借助外部的专门的安全团队，生成内生情报。 -3. 联邦学习获取更多团队的数据。 diff --git a/工作日志/2020年11月28日-文献综述.md b/工作日志/2020年11月28日-文献综述.md deleted file mode 100644 index 624377ba..00000000 --- a/工作日志/2020年11月28日-文献综述.md +++ /dev/null @@ -1,99 +0,0 @@ -# 学位论文文献综述 - -## 开题题目：基于联邦学习的恶意软件威胁情报处理系统的设计与实现 - -## 摘要+关键词 - -## Abstract+keyword - - -## 基于联邦学习的恶意软件威胁情报处理系统概述 - -> 主要论述这三个关键方向的关系。 -### 威胁情报 -### 恶意软件 -### 联邦学习 - -## 网络威胁情报的研究现状 - - - -### 网络威胁情报的定义 -* 定义 -* 作用 -* 格式 -CTI的研究主要集中在三个方向，包括CTI的生成、CTI共享、CTI利用。 -### 网络威胁情报的生成研究 -* 研究现状 -* 问题 -* 未来发展趋势 -### 网络威胁情报的共享研究 -* 研究现状 -* 问题 -* 未来发展趋势 -### 网络威胁情报的利用研究 - -* 研究现状 -* 问题 -* 未来发展趋势 - -## 恶意软件威胁的研究现状 - -### 恶意软件的数据 -### 恶意软件识别的算法 -### 恶意软件特征生成的方法 -### 恶意软件威胁情报的生成与共享方案研究进展 - -## 联邦学习算法的研究现状 - -### 联邦学习的背景 -### 联邦学习定义 -### 联邦学习的架构和生命周期 -### 联邦学习的应用 -### 联邦学习存在的问题 -### 联邦学习在安卓环境中的应用 -### 联邦学习在恶意软件威胁情报领域的应用进展 - -## 结论 -## 参考文献 - - - ----------- -夏老师给的要求 -* 研究的分支 -* 各分支的理论方法技术研究现状 -* 关键问题和尚未解决的问题 -* 未来的发展趋势 ----------- - -关于文献综述需要做的事情。 - -1. 阅读文献，粗读，对文献做好标记。（首先进行第一步吧），单纯地找到能够使用的文献，明白文献的主要内容，做好标记。 -2. 从“综述”类型的文献开始，按照别人综述的方式撰写文献，引用别人的综述。还是按照citavi工具提供的category格式，整理文献，并完成文献综述的内容部分。 -3. 写文献综述，总共四十篇文章，每篇文章撰写300字左右的文献综述 - -> 可以直接从原本的文献综述出发，按照人家文献综述的内容，直接摘抄，制作自己的文献综述。总之现在的目标是第一个读第一遍文献，一方面为了完成文献综述，另一方面，也为了搞清楚开题相关的内容。 - ---------------------- -联邦学习的撰写方案 - -1. 联邦学习的那一部分可以一联邦学习的那本书作为开始，引用联邦学习那本书上的内容。就可以完成联邦学习的应用现状介绍。 -2. 非引用部分直接摘抄书上的内容。引用部分使用文献阅读后的结果。现在应该从文献的角度，总结文献能够提供的内容，而不是从文献综述的角度，描述文献综述需要什么内容。所以现在就从温馨啊的角度描述文献的主要内容。 -3. 最后再结合几篇文章论述联邦学习在恶意软件威胁情报领域的应用 - ---------------------- -威胁情报的撰写方案 -1. 威胁情报的综述，主要使用三个材料： - 1. SANS威胁情报2020年报告的翻译√ - 2. 两篇中文的网络威胁情报的描述 - 3. 1区的文献的翻译、 - 4. 蒋师兄的网络威胁情调研中能用的内容。 -2. 威胁情报的综述控制在两千到三千字之间。 - - --------------------- -恶意软件的撰写方案 -1. 根据综述完成恶意软件的基本介绍。 -2. 介绍几个简单的恶意软件分析方案。 - diff --git a/工作日志/2020年11月29日-开题报告.md b/工作日志/2020年11月29日-开题报告.md deleted file mode 100644 index 36cc129f..00000000 --- a/工作日志/2020年11月29日-开题报告.md +++ /dev/null @@ -1,296 +0,0 @@ -# 基于联邦学习的恶意软件表征系统研究 -> 不要论述威胁情报相关的内容了，关联性不强。 - - -> 1. 可以重点论述的内容：Android、Malware、FL。Android是运行场景，安全问题需求迫切。CTI是目标，生成的IOC威胁情报用于后续的威胁软件分析工作。Malware是对象，需要处理的对象。FL是系统和模式。机器学习，包括机器学习的可解释性工作，需要定义算法的输入输出和算法的选型。 - - -## 1 论文选题的背景与意义1000字 -### 选题背景 -Android场景->恶意软件的研究+Android隐私保护的提出。 - -1. 构建威胁情报共享系统。 -2. 恶意软件数据分析生成恶意软件情报。 -3. 使用联邦在线学习，训练恶意软件情报的自动生成模型。 - -### 选题意义 -> 应该描述存在的为，和解决这些问题的价值。而不是，用什么方案去解决这些问题。这应该是当前研究中有待解决的问题。 -> 不对，这里不应该指出研究中存在的问题，应该给出研究隐私保护、使用人工智能方法、特征提取、在线机器学习的方法的好处。 - -1. √在线学习机制，能够实时监控恶意软件的变化，掌握最新的恶意软件的情报。为恶意软件情报的利用提供高效、快捷、准确的生成方案。 -2. √联邦学习生成恶意软件的特征，保护用户或组织本地的隐私和数据。 -3. ×构建威胁情报共享系统，实现情报实时共享。增强威胁相应系统的响应速度。 -4. √恶意软件识别与人工智能方法的可解释研究，用来增强恶意软件检测与后续的防御工作。 -5. ×与威胁情报领域结合，从恶意软件特征->转换为恶意软件威胁情报->通过共享的方式->参与到恶意软件的分析和检测中->更好的识别恶意软件。 - -因此，研究在保护用户隐私的前提下，使用人工智能方案实现恶意软件特征的提取，具有理论价值与应用价值。 - -## 2 国内外研究现状及发展动态3000字 - -### 国内外研究现状 -* Android恶意软件的研究现状。 -* 机器学习算法可解释性研究现状。 -* 联邦学习算法的研究现状。 - - - -### 有待解决的问题 - -* 传统的方案忽视了隐私保护。无法解决隐私保护与机器学习应用的矛盾。 -* 传统的方案没有给出理论的解释，人们往往只能通过机器学习方法进行分类，却无法解释分类的结果。分类器往往无法部署应用。结合人工智能（机器学习）+可解释性，通过大数据分析得出。自动化构建。恶意软件特征提取方案。 -* 传统的方案无法保证病毒特征的更新。====>联邦在线学习系统，能够跟随最新识别出的病毒，更新联邦学习模型的特征。 -* 联邦学习应用存在的问题： - * 模型中毒 - * 模型隐私。前两个是训练过程中的威胁问题。 - * 用户本地无法提供模型标签。训练本身存在的问题，使用半监督学习，能够推断用户在本地的运行程序的标签。 - - -## 3 论文的研究目标和研究内容1000字 - -### 研究目标 -本课题对恶意软件检测与分析过程进行研究，旨在实现一个基于联邦学习的恶意软件检测与威胁信息生成系统，该系统具有如下特点： -1. 能够在保护用户隐私的前提下，完成深度神经网络模型的训练，模型在恶意软件检测中具有较好的性能和效果。 -2. 生成恶意软件的威胁信息，作为恶意软件判别的指标和依据，包括浅层特征和深层特征组合信息，威胁信息能够解释模型判别的原因。 -3. 能够在线学习新的恶意软件特征，处理具有新特征的恶意软件。 - - -### 研究内容 - -1. 基于深度神经网络的恶意软件检测模型。给出模型效果的评估方法。 -2. 基于神经网络解释方法的威胁信息生成方法 。给出解释方法的评估方法。 -3. 面向隐私保护的联邦在线学习方法。 - -## 4 关键技术和技术难点2000字 - -### 关键技术路线 -> 关键结束应该论述的是流程和原理，是解决问题的流程和原理，可以不与具体的方法挂钩，但是需要是所有方法通用的流程和步骤。 ----------------------------- -神经网络模型的关键技术 -* 神经网络建模技术（把技术流程和原理画出来） - * 特征生成技术（通过特征工程确定特征的维度，利用APK分析工具，提取恶意软件的特征） - * 模型构建技术（怎么建立神经网络模型，调整神经网络模型的参数） - * 模型评估方法（圆下曲线、F1结果） - ----------------------------- -威胁信息生成方法的关键技术 -* 威胁信息生成技术（把技术流程和原理画出来） - * 如何解释神经网络（LIMI算法的原理） - * 如何评估解释结果（Can we trust your explanation） - * 如何规范化解释结果生成威胁信息（IOC） - ----------------------------- -面向隐私保护的联邦在线学习方法的关键技术 -* 联邦在线学习技术（把技术流程和原理画出来） - * 隐私保护技术（防止模型窃取） - * 安全增强技术（防止模型中毒，来自恶意客户端的攻击，增强模型的鲁棒性和安全性） - * 联邦学习技术（各个步骤，如何实现联邦学习过程） - * 在线学习技术（需要搭建在线的学习系统，能够用户选择参与到训练计划当中，确定何时进行再次荀兰） - - -### 技术难点 -> 上述关键技术中存在的难点，可以是重述，从困难的角度解释 -* 客户端数据未标注 -* 数据不对称 -* 数据非独立同分布 ---------------------------- -* 神经网络解释 ---------------------------- -* 梯度保护 -* 安全增强 -* 通信问题 -* 激励问题和选择问题 - - - - -## 5 论文的研究计划100字 - ----------------------- -撰写说明 - -1. 现在的关键问题，是精力过分的集中在了联邦学习上。要做的工作，最重要的一部分还是 - * “恶意软件”识别->恶意软件特征生成（选取与生成）->恶意软件威胁表征（给出可解释性）->恶意软件威胁情报生成（生成规范格式） -2. 关于如何引出想要研究的问题： - * Android普及性---->恶意软件分析的需求+隐私保护的需求---->（恶意软件识别->恶意软件特征生成->机器学习的可解释性）+联邦机器学习。 - * 同样研究成果可以通过多种方式进行扩展。扩展到win领域以及与隐私保护相关的所有领域。 - * 相比于以前的方法的优势，以【1】隐私保护为核心，构建【2】基于威胁情报的恶意软件协同防御体系。单独的恶意软件识别功能，相关的研究落地困难，停留在理论方法的阶段，该面向恶意软件特征的方法，【3】能够提供一中可解释性的辅助手段，对现有的方法进行增强，而不是取代。【4】使用联邦在线学习，还能持续获取千变万化的恶意软件特征。 -3. 接下来主要工作： - * 联邦学习只是系统的实现方案。联邦学习系统/模式。应该这么说。分布式机器学习的方式。 - * 机器学习算法是核心。 - * 算法的可解释性-特征生成是关键。 - * Android是场景，恶意软件是对象，特征生成是目标。 - * > 接下来应该主要研究机器学习和算法的可解释性，在Android恶意软件的场景下进行分析。 -4. 要想完成开题报告，还有许多核心工作要做。 - * 需要重新阅读联邦学习相关的东西。参考其他文章中的联邦学习系统框架，确定自己如何应用联邦在线学习的模型。 - * 需要重新阅读威胁情报相关的文章。给出目标生成的特生描述格式。 - * 需要重新阅读恶意软件相关的文章。给出核心的算法模型，和可解释性的方案。 -5. 需要论述自己的特征选择方案 - * 如何通过主成分分析等方案，分析特征对最终结果的影响。会不会有一个特征对结果没有影响，但是通过另外一个特征的组合对结果产生影响呢？应该给出特征选择的理由，或者通过数学的方法进行特征筛选。 -6. 特征生成的自动化。 - * 可以通过人工判定选取某些特定的特征，但是在训练过程中，特征提取、特征选择、特征生成工作，必须在Android自动完成。（那为什么不将这些生成的特征直接发回中央服务器进行训练呢？因为，数据不能动？google的Gboard训练过程也是啊，直接得到用户下面即将输入的内容，那是肯定不能发送的。） -7. 最后的数据流图 - * 原始数据---->特征工程（特征提取、特征选择、特征生成）---->机器学习算法（神经网络）---->联邦学习系统---->恶意软件分类---->表征生成---->威胁情报生成---->威胁情报共享---->恶意软件检测。 -8. 是否也应该给出训练方案。 - * 这应该是系统构建过程应该给出的内容。可以考虑给出训练方案，应该包括什么内容？那些神经网络训练的方式。 -9. 恶意软件特征技术说明 - * 特征提取，提取能够描述目标的**原始特征**，包括静态和动态特征，决定后续的研究。 - * 特征选择，通过信息量、贝叶斯网络等方法选择合适的特征。 - * 特征生成，通过特征组合、主成分分析等，生成**新的特征**。 - * > 经过DNN训练之后能够得到**软件表征** -10. 关于恶意软件特征生成技术的说明： - * 恶意软件特征生成技术，本来就有。相关的特征工程也做过很多工作。分析那些主要的特征和次要的特征，以及特征的组合对最终结果的影响。 - * 我们应该通过横向对比相同的技术，基于神经网络的特征工程的优越性。 - * 所以说，我们本质上的工作还是包括两部分，恶意软件的特征工程、基于生成特征的恶意软件识别。 - * 其实这是一个循环过程。通过恶意软件的识别，增强恶意软件的特征生成。然后又通过增强的特征，去识别最新的恶意软件。他不能发现一个完全具有新特征的恶意软件。但一旦发现它就能迅速记录恶意软件的特征，并通过威胁情报共享机制，共享出去，增强现有的恶意软件识别工作。 -11. 需要看一下神经网络风格迁移相关的文章或者教程。 - * 训练一个神经网络，记录梵高的画的风格。训练一个神经网络，记录恶意软件的内在联系。 - * 然后将这种风格应用到其他画作上边。然后使用这种内在联系评估其他的软件。 -12. 关于特征工程和基于特征工程的恶意软件检测。我们想做的到底是那一部分。 - * 两者有很严格的区分。我觉得我们相用后边的技术实现前边的过程。 - * 正常的过程是提取特征、利用特征进行恶意软件的分类。我们的目标是利用DNN分类器，提取软件的深度行为特征。 -13. 关于涉及隐私的充分性。 - * 正常情况：检测到恶意软件，将恶意软件本身和相关的所有数据以及恶意软件的行为记录一同上传到中央服务器，在重要服务器由专门的网络分析人员利用分析工具或者机器学习方法，分析恶意软件的特征，必然会侵犯隐私。 - * 应用商店的检测，是利用多种方式对APK进行检测。没办法考虑到第三方应用商店、网页上下载的APK。存在检测的漏洞。 - * 只上传与隐私无关的APK分析证据不足，任意丢失软件的恶意行为信息。 - * 用于恶意软件的检测的数据包含用户的行为操作习惯和软件倾向列表。回报楼用户的行为。 -14. 对于联邦学习应用的两个条件： - * 数据集应该具有较大隐私，所以无法上传； - * 对于有监督学习下的任务，可以很轻易地判断其标签； -15. 关于第二个问题的解决方案： - * 是否标签会在Android本地很容易获得？通过Android本地的恶意软件判别软件？ - * 存在两种思路：一种是通过半监督的学习，服务器上有软件的标签？那这种标签又是怎么来的，当面对一个新的软件的时候，又怎么会得到标签呢？这都无所谓，因为这是训练集。 - * 另一种是通过Android本地生成的标签。Android本身也会运行大量的恶意软件识别软件，可以借助其他东西来识别。 - * 主要是为了在保护隐私的情况下获得足够多的数据，又能实时掌握新的样本的特征。本质上还是训练一个能够应用的模型。是一个静态的模型。 -16. 关于用户端没有足够的数据标签的问题解决方案： - * 使用安全的半监督学习方式。在服务器上给定标签，在用户端获取软件运行相关的知识。 - * 或者通过用户本地的恶意软件识别工具，在本地识别是否是恶意软件。 -17. 具体的模型重述： - * 恶意软件特征自动提取模型、基于特征自动提取模型的恶意软件判别模型、基于判别模型的威胁信息自动生成模型 ----------------------- -撰写计划 - -周一下午完成文献综述部分，和最后的计划安排 -1. 恶意软件，应该重新阅读文献，总结别人提到的方法。直接添加文献引用。使用citavi。从中文开始，一点一点往下读，每一特类别提供三篇文献，凑出9篇文献即可。再加上文献综述的文献。 -2. 联邦学习，直接复制黏贴自己的文献综述里的内容即可。包括参考的文献。 -3. 给出其中存在的问题。 - -周一晚上完成的任务 -1. 接下来要做的事情还挺多的。总感觉存在的问题还挺多的。写完开题报告，然后开始做工程。做工程需要大量的学习基础知识，知道怎么完成一个基础的机器学习算法，到使用高级的编程接口实现神经网络。以及联邦学习相关的内容。太多东西了。 -2. 感觉场景的定义，跟我上次开题的时候说的，也没有什么差别，虽然说的不怎么清楚，但本质上就是威胁情报的自动生成模型。恶意软件知识自动获取，然后进行恶意软件特征自动提取模型、基于特征自动提取模型的恶意软件判别模型、基于判别模型的威胁信息自动生成模型。到现在为止，我们也只是知道了要做个什么。对要怎么做这种事情，完全没有思路。我觉得师兄对具体的算法的了解程度跟我可能也不相上下。感觉要给师兄讲明白很多东西，挺麻烦的，我觉得我们两个都应该补充一下机器学习的基础知识，至少在讨论的时候，不会很尴尬。他似乎对一些机器学习基本逻辑基本的思想还不是很了解。虽然我也了解很少，但如果想对算法或模型做更改，必须得对这些东西能够运用熟练。不只是那篇文献中要用的方法，还有周边的方法。能够丰富自己的思想。我觉得机器学习和神经网络，是一门学科，不能当那种简单的工具来使用说明，到最后其中的东西都不是很理解，更别说构建、使用、更改模型了。感觉师兄特别懂得怎么应付夏老师。但是这不是写本子，得有一些真正的知识积累才能做出东西来吧。我觉得我应该提醒他，去补充一些领域的基础知识。跟一个能力比自己强一些的人合作还是好啊。 -3. 研究内容、关键技术应该是具体的实现方案。主要是论证实验方案的可行性。所以现在要做的并不是通过论文，论证自己要做的东西有价值，要做的东西可行。而是通过论文中提到的技术和相关的技术，来构建一个模型实现的框架。所以现在应该补充基础知识，然后搞明白怎么样实现整个系统。 -4. 让我这个老年人来区分一下这几个问题的关系。存在的问题（存在一些当前没有解决的问题）----->研究意义（解决存在的三个问题很有意义）----->研究的目标（有一个产品，这个产品能解决当前存在的问题，）---->研究的内容（实现研究目标的手段） -5. 需要明确一下几个名词的含义：方法、技术、模型、系统 - -周二的任务 -1. 上午：完成文献阅读，确定研究内容-关键技术-技术难点的对应关系 -2. 下午：完成关键技术和技术难点的论述。 -3. 晚上：画好必要的图。 - ------------------------------------ -第二版撰写计划 - -1. 语言和修辞：特有名词确定下来，保持论述的一致性。改善说话的方式，你写的那个句子啊，我自己读都不通顺，太难了。 -2. 总体框架：需要画一个总体框架，将各种技术结合起来。1个是技术的总体框架，另一个是如何使用这些技术完成研究的内容，实现研究的目标。 -3. 论述重点：研究内容改成两点，关键技术保持不变。或者改成三点，论述的侧重点发生变化，你要让别人明白，你要做的主要不是训练一个神经网络模型，检测效率有多高。而是提出了一种面向隐私保护的训练方式和基于神经网络解释方法的威胁信息生成。联邦学习！！！威胁信息生成！！！关键。 论述方式应该改变，将重点放在特征生成上。 -4. 篇幅：减少研究现状中关于恶意软件检测的综述。 -5. √序号和流程：需要给出序号，对于并列的部分可以使用单行序号。 -6. 敲定细节：神经网络模型还是深度神经网络模型，哪种神经网络模型。 -7. 需要将研究内容写得更加详细。需要指明每个研究内容下的研究细节。包括哪些东西。可以改成两个，完全可以。而且后边的东西也需要逐次强调。可以考虑将特征工程，分出来。 -8. 需要用什么样的形式描述研究内容呢。？ -9. 不能再添加新的东西了。 - -我们要研究的内容是：生成恶意软件的威胁信息，而不是恶意软件检测。你在论述的时候必须讲明白这点。或者可以在总体架构中说明这点。 - -应该包括两个模型：恶意软件检测模型+威胁信息生成模型====>威胁信息。第一：我们要提出一种神经网络解释方法，理解神经网络的输入输出之间的关系，尝试提取网络中的深度特征。第二，我们实现了一种能够保护隐私的模型训练方法。 - -现在应该做的是从头开始重新构建一边。 - --------------------------- -关于几个名词之间的关系讨论 - -* 研究问题：提出当前研究存在的问题。 -* 研究意义：解决当前研究中存在的问题很有意义。 -* 研究目标：定量或定性的地解决当前研究中存在的问题。 -* 研究内容：研究的核心内容。另外需要将这些研究内容分成一些独立的内容进行描述。应该是一种算法、模型和机制。 -* 关键技术：实现研究内容中需要用到的技术。应该是方法、技术、系统，如何实现研究内容中提出的模型和方法。 - -在“联邦神经网络”“联邦在线学习”“半监督学习”，联邦神经网络模型。使用联邦学习的方式训练。需要解决模型更新的问题-构建在线学学习系统。需要解决数据没有标签的问题-使用半监督学习的训练方式。------后边的应该是一种子技术和子方法。 - --------------------------------- -方法与模型的理解 -1. 神经网络模型，可以包括特征生成方法、神经元设计方法、训练方法等。模型是一种集合。 -2. 模型pattern更像是一种数学上的定义，是一堆数学公式的集合。 -3. 方法Methodology更像是一种实现上的途径，是一对技术或者实践的路径。 -4. 在论述上进行区分。划定这些名词。模型是静态的，方法是动态的，是一个流程，是模型的实现。系统是这一切的集合。 - ----------------------------------- -模型命名规范 - -神经网络模型部分需要用到的内容： -* 特征提取工具 -* 恶意软件检测方法 -* 深度神经网络模型 - -威胁信息生成部分需要用到的内容： - - -联邦在线半监督学习部分需要用到的内容： -* 基础分类器（使用多个简单的机器学习分类器，利用服务器上分类号的标签进行自训练。然后将训练好的姿训练分类器发送到客户端，对数据集进行标记，并挑选误差最小的标记点，作为有监督学习的数据。） -* 联邦学习框架、技术（） -* 在线学习系统 - - - -突然感觉时间不够了。得多看点东西，好好准备开题报告。跟吕老师说的一样，把很多东西在开题报告中直接说明白。 - - - -------------------------------- -画图问题 -1. 突出数据的隐私性问题。（隐私数据如何标注） -2. 联邦学习的模型融合过程？可以画一下。 -3. 半监督学习未标注的数据和已标注的数据相互结合？可以突出一下。 -4. 图和图的说明要清晰，有个图的小图没有名字。 -5. 模型解释需要画出神经网络解释的过程。 -6. 论述语言还需要修改， -7. 文献综述中我们改成本文 - -> 关于作图的一点心得。作图主要有两个方向：图标化和图形化。图标化即利用像素文件构成的图片图标作为主体，进行说明，更加通俗易懂，适合在PPT上展示，给别人说明流程。图形化多使用方形、圆形等图形+文字构成的框图作为主体，更适合在word中给别人说明数据流、系统结构等原理。两者的侧重应该不同。 -> 可以在昨晚开题报告后，学习一周的PPT，word已经基本掌握了所有的技巧了吧，毕竟专门学过。以后用得到数据处理，再去学Excel电子表格，或者Python、MATLAB做数据处理。 - ------------------------------- -1. √修改开题报告 - 1. √根据夏老师所标记的内容有所侧重（联邦在线学习和恶意软件的广告） - 2. √威胁信息的定义以及生成的相关内容。 -2. ×画图。蒋师兄发的那些图有点好看，可以模仿一下。因为有涉及到太多的原理算法相关的内容。可以日后做结题的时候这样画。 -3. √做PPT。今天只需要完成PPT的框架。 -4. √PPT的美化 -5. √国内外研究现状处的表格问题 -6. √威胁信息生成的研究现状有明显的逻辑问题 -7. √隐私窃取攻击？模型窃取攻击？威胁模型存在严重问题 -8. √研究内容处的框图问题。 -9. √PPT文字太多 -10. √打印PPT讲稿问题 -11. √开题报告修改，添加图相关的描述。 -12. √文献综述修改，错字等内容检查。 -13. √系统提交材料。 -14. √打印开题的材料 - - ------------------------------------- -PPT说明 - -* 颜色 - * 背景颜色：靛蓝 -20 - * 文字颜色：黑白 - * 文字特殊标注：靛蓝 0 - * 前景颜色：靛蓝 0 - * 线框颜色：靛蓝 +20 -* 字号 - * 目录32 - * 标题32 - * 一级24 - * 二级20 - * 三级16 - * 表格18 - * 参考文献14 diff --git a/工作日志/2020年11月2日-论文阅读工具.md b/工作日志/2020年11月2日-论文阅读工具.md deleted file mode 100644 index 7a928142..00000000 --- a/工作日志/2020年11月2日-论文阅读工具.md +++ /dev/null @@ -1,78 +0,0 @@ -# 知乎，论文阅读 - -> 文献相关内容 -> * 检索 -> * 筛选 -> * 阅读 -> * 笔记 -> * 管理 - -## 阅读方法 - -![](./img/2020-11-04-09-09-32.png) - -* 标题、关键字-> 摘要、结论-> 图表、引言-> 结果、讨论 -## 论文笔记 - -![](./img/2020-11-04-10-21-10.png) -* 序号、文献名称、文献类型、发表时间、关键部分、研究方法、存在的问题、产生的原因、解决方法、创新点、下一步工作、不足之处。 - - -## 管理工具 - -### 候选项 - -* citavi -* noteExpress(放弃) -* Mendeley - -> 二选一吧。 - -* citavi也太强大的有各种梦幻的功能，根本爱不释手好吧。但是感觉现阶段的自己，根本用不到这些东西，暂时还没有写论文的计划。 -* 暂时先使用mendeley吧。主要能提供最基础的文献阅读和做笔记的功能，这对我来说，刚好够用。等以后需要更加复杂的科研工作了，再使用citavi。（citavi的检索功能也强大的一批。） -* 一边用简单的，一边学复杂的。citavi，牛皮。 - - -### 最终的选择 - -* 最终还是选了了citavi，我发现做选择远比向一个目标努力奋斗要艰难的多。尤其是当感性和理性这两种本就互相冲突的思维，体现在两个选项上的时候。虽然理性上提示我，mendeley能够更好的适应我的需求，更加简洁，能提供必要的功能。但是好奇心驱使我，无法放下牛逼的citavi，那种想要了解他的冲动，太强烈了。 -* 最终选择了citavi，并不是因为工作需要，而是因为不得不选择他。因为如果我不选择他，我就会一直不断地思考，如果是citavi会不会能够更好的实现，如果是citavi，会怎么做。他的复杂和技巧性，深深地吸引了我。大概这就是选择的原因吧。 -* 所以，选择了citavi。 - - -## 个人阅读方案 - -### citavi - -* 直接标注：主要内容 -* 红色标注：关键内容，需要手动添加注释说明 - -* summary：读完论文后给的。 -* comment：读完章节或段落后给的。 - - -* quotation：引用阶段使用的内容，阅读论文的时候不需要。需要在写论文的时候，添加category，然后添加每篇文章的direct、indirect quotation - -### 三次阅读 - -1. 泛读中文 - 1. 摘要、引言、结论、图表 - 2. citavi黄色、红色、summary、comment标注 - 3. citavi星级&评价。content context。读完之后给出 -2. 精读英文 - 1. 原理、实验 - 2. citavi论文笔记 -3. 引用4星 - 1. category（与论文关系） - 2. quotation（引用方式） - -## citavi使用教程 - -### 文献导入 - -1. 直接输入文献内容，添加文献文件和信息。 -2. 通过ID添加（arxivID、pumid、doi、isbn） -3. 直接添加pdf自动生辰给相关信息 -4. 通过citavi picker从网页上抓取。 - -> 在导入文献的时候，可以通过手动的方式补全文献信息、content内容信息、context管理信息。并且导入这些信息的时候，citavi能够自动更新参考文献的格式。 \ No newline at end of file diff --git a/工作日志/2020年11月30日-问题和工作.md b/工作日志/2020年11月30日-问题和工作.md deleted file mode 100644 index 5407ee67..00000000 --- a/工作日志/2020年11月30日-问题和工作.md +++ /dev/null @@ -1,36 +0,0 @@ -对于场景定义中存在的问题 - -1. 我们是要解决“数据孤岛”的问题还是“数据隐私性”的问题。应该是两者都有？我们的训练数据是具有“强隐私性”特征的吗？所谓的那些软件的Manifest中的权限声明等数据，是不需要下载到客户端就可以知道的数据，而且与用户的本地运行环境没有关系。 -2. 我们的训练数据是否是在安卓本地生成并带有标记的吗？确定应用场景是面向不同的安卓用户的联邦学习？还是面向不同安全厂商的联邦学习？前者是cross-device，后者是cross-silo跨组织的联邦学习。恶意软件的数据为什么会在Android设备上打上标签。 -3. 我觉得联邦迁移学习不应该成为我们的研究方向，当前需要解决的问题已经够多了。就算每个设备的数据都一样，都是具有标签的完整的数据，需要做的工作也足够了。“联邦迁移学习”的实现，本身就是一个博士毕业的工作量（迁移真没有那么容易）。 -4. 我们到底是在共享什么？数据本身具有特征，能够被机器学习模型记录下来。我们只要共享模型本身，就相当于共享这一类恶意软件的特征。利用这个特征（或者是模型）去识别新的恶意软件。当新的恶意软件被识别后，又能迅速添加到模型当中，模型又能去识别新的恶意软件。 -5. 如何说明从联邦学习系统的搭建、基于机器学习的恶意软件分类、基于机器学习的恶意软件特征提取、网络威胁情报生成、网络威胁情报共享的一系列工作之间的相关性。感觉对网络威胁情报的了解之后。感觉上，这里的每一个工作都是一篇论文，我们要做的是那一部分工作。 - --------------- -关于具体要做的事情还是有很多不理解的东西 - -1. 存在一个很严重的问题，很多时候其他人应该是能够构建一个模型或者系统，用于对恶意软件分类。而我们要做的是构建一个系统，生成一个构建模型的方案模型是持续改进的，并不是为了分类，而是为了不断地继续应用下去。所以我们的目标如果是一个系统的话，应该通过哪种方式评价系统的好坏？如果是模型的话，应该对比其他的软件分类模型，对比软件分类模型，给出模型的精确率和召回率，可以实现模型好坏的评价。 - - ------------------------------- - -11月26日讨论 - -1. 我觉得联邦学习的目标是训练一个能用的模型，使用这个模型去解决问题。它的目标不是训练过程，训练过程只能让模型更准确，更准确的完成模型本来应该完成的任务。它不是一个自洽的系统，能够提取病毒的特征，当恶意软件的特征发生变化时，联邦学习就能用新的数据去训练，让模型能够识别具有新特征的目标。 -2. 蒋师兄认为，联邦学习是一个能追踪病毒变化过程的工具，当病毒发生变化后，能够通过联邦学习的训练过程，迅速发现病毒的特征变化。 -3. 以上观点，有一定的道理。联邦学习的输出可能有两种结果，一种是恶意软件识别（检测），一种是恶意特征生成。软件识别是一个“分类问题”，恶意特征生成，是一个“生成问题”，两者是不一样，应该通过不同的学习方法来实现。所以在一开始就确定学习模型的输入输出至关重要。 -4. 另外有一点，联邦在线学习，确实能够通过学习过程掌握恶意软件的特征。（模型本身相当于计算某种数据特征，记录数据的特点和数据之间的关联特征）。但是模型是黑盒，这些特征通过神经网络进行描述，所以如果要输出这些特征，需要对神经网络进行解释。 -5. 按照以上思路，确实能够理解，并且有一个很合理的解释。难点主要体现在一下方面 - * 机器学习技术范式的确定 - * 联邦学习的细节问题的研究 - * 联邦在线学习系统的实现 - * 神经网络的可解释。 -6. 我想说的是否有另外一种思路。直接使用数据挖掘方法，提取数据中隐含的特征，而不是通过神经网络进行分类，然后对神经网络进行可解释性的演技。特征提取的方法？数据挖掘的方案？将特征看做是一个“生成问题”，但是没有足够的训练数据，即没有输出标签。神经网络学习到的的就是隐含的内在的特征，所以这种特征，从本质上来说，确实是无法表述的。但是可以结合特征工程和关联分析相关领域的方法，对神经网络得出的结果加以说明和分析。 - ---------------------------- -关于研究恶意软件的流程说明 - -1. 特征选取 -2. 机器学习算法 -3. 联邦学习系统 -4. 评估方式（最新的论文可以） diff --git a/工作日志/2020年11月6日-第二次组会.md b/工作日志/2020年11月6日-第二次组会.md deleted file mode 100644 index d5942e10..00000000 --- a/工作日志/2020年11月6日-第二次组会.md +++ /dev/null @@ -1,19 +0,0 @@ -# 组会的PPT结构 - - -> 虽然我没有定义场景，但是我应该介绍每一种算法能够适应的场景，用来解决什么问题。或者解释一下机器学习算法的本质，然后再给出每一种算法的应用条件，从而确定可以解决什么问题。 -> 算法原理+应用场景 - - -## 机器学习 - -## 深度学习 - -## 联邦学习 - - -## 情报利用（这一个自己好像并没有接触很多诶，得等下一次组会了） - -$$ -w_{t+1}\leftarrow w_t - \eta \sum_{k=1}^K \frac{n_k}{n}g_k -$$ \ No newline at end of file diff --git a/工作日志/2020年12月18日-答辩完修改.md b/工作日志/2020年12月18日-答辩完修改.md deleted file mode 100644 index c9f2158b..00000000 --- a/工作日志/2020年12月18日-答辩完修改.md +++ /dev/null @@ -1,115 +0,0 @@ -# 基于联邦学习的Android恶意软件检测方法研究 - -## 1 论文选题的背景与意义1000字 -### 选题背景 -Android场景->恶意软件的研究->隐私保护的提出 - -1. 构建威胁情报共享系统。 -2. 恶意软件数据分析生成恶意软件情报。 -3. 使用联邦在线学习，训练恶意软件情报的自动生成模型。 - -### 选题意义 -> 应该描述存在的为，和解决这些问题的价值。而不是，用什么方案去解决这些问题。这应该是当前研究中有待解决的问题。 -> 不对，这里不应该指出研究中存在的问题，应该给出研究隐私保护、使用人工智能方法、特征提取、在线机器学习的方法的好处。 - -1. √在线学习机制，能够实时监控恶意软件的变化，掌握最新的恶意软件的情报。为恶意软件情报的利用提供高效、快捷、准确的生成方案。 -2. √联邦学习生成恶意软件的特征，保护用户或组织本地的隐私和数据。 -3. ×构建威胁情报共享系统，实现情报实时共享。增强威胁相应系统的响应速度。 -4. √恶意软件识别与人工智能方法的可解释研究，用来增强恶意软件检测与后续的防御工作。 -5. ×与威胁情报领域结合，从恶意软件特征->转换为恶意软件威胁情报->通过共享的方式->参与到恶意软件的分析和检测中->更好的识别恶意软件。 - -因此，研究在保护用户隐私的前提下，使用人工智能方案实现恶意软件特征的提取，具有理论价值与应用价值。 - -## 2 国内外研究现状及发展动态3000字 - -### 国内外研究现状 -* Android恶意软件的研究现状。 -* 机器学习算法可解释性研究现状。 -* 联邦学习算法的研究现状。 - - - -### 有待解决的问题 - -* 传统的方案忽视了隐私保护。无法解决隐私保护与机器学习应用的矛盾。 -* 传统的方案没有给出理论的解释，人们往往只能通过机器学习方法进行分类，却无法解释分类的结果。分类器往往无法部署应用。结合人工智能（机器学习）+可解释性，通过大数据分析得出。自动化构建。恶意软件特征提取方案。 -* 传统的方案无法保证病毒特征的更新。====>联邦在线学习系统，能够跟随最新识别出的病毒，更新联邦学习模型的特征。 -* 联邦学习应用存在的问题： - * 模型中毒 - * 模型隐私。前两个是训练过程中的威胁问题。 - * 用户本地无法提供模型标签。训练本身存在的问题，使用半监督学习，能够推断用户在本地的运行程序的标签。 - - -## 3 论文的研究目标和研究内容1000字 - -### 研究目标 -本课题对恶意软件检测与分析过程进行研究，旨在实现一个基于联邦学习的恶意软件检测与威胁信息生成系统，该系统具有如下特点： -1. 能够在保护用户隐私的前提下，完成深度神经网络模型的训练，模型在恶意软件检测中具有较好的性能和效果。 -2. 生成恶意软件的威胁信息，作为恶意软件判别的指标和依据，包括浅层特征和深层特征组合信息，威胁信息能够解释模型判别的原因。 -3. 能够在线学习新的恶意软件特征，处理具有新特征的恶意软件。 - - -### 研究内容 - -1. 基于深度神经网络的恶意软件检测模型。给出模型效果的评估方法。 -2. 基于神经网络解释方法的威胁信息生成方法 。给出解释方法的评估方法。 -3. 面向隐私保护的联邦在线学习方法。 - -## 4 关键技术和技术难点2000字 - -### 关键技术路线 -> 关键结束应该论述的是流程和原理，是解决问题的流程和原理，可以不与具体的方法挂钩，但是需要是所有方法通用的流程和步骤。 ----------------------------- -神经网络模型的关键技术 -* 神经网络建模技术（把技术流程和原理画出来） - * 特征生成技术（通过特征工程确定特征的维度，利用APK分析工具，提取恶意软件的特征） - * 模型构建技术（怎么建立神经网络模型，调整神经网络模型的参数） - * 模型评估方法（圆下曲线、F1结果） - - ----------------------------- -面向隐私保护的联邦在线学习方法的关键技术 -* 联邦在线学习技术（把技术流程和原理画出来） - * 隐私保护技术（防止模型窃取） - * 安全增强技术（防止模型中毒，来自恶意客户端的攻击，增强模型的鲁棒性和安全性） - * 联邦学习技术（各个步骤，如何实现联邦学习过程） - * 在线学习技术（需要搭建在线的学习系统，能够用户选择参与到训练计划当中，确定何时进行再次荀兰） - - -### 技术难点 - - - - - -## 5 论文的研究计划100字 - - - -------------------------------------- -开题答辩后的问题修改 - -1. √感觉我研究的内容，三个方法，都是模型训练的方法。用于改进模型训练过程中存在的问题。而不是恶意软件检测的方法，也不是检测过程中存在的问题。所以题目应该是“基于联邦学习的恶意软件检测方法研究吗”，研究的是恶意软件检测方法吗？研究的是恶意软件检测模型的构建的方法。（貌似没有什么问题） -2. √数据集的问题，需要指出数据集的相关研究。 -3. 突出隐私保护的方法 -4. Android恶意软件的特点指明（夏老师） - 1. √传统的恶意软件检测方法的说明，如何侵犯了用户隐私，如何进行代码变化 - 2. 恶意软件分析技术的说明。 -5. 系统架构图（熊老师 -6. 完成 - 1. 联邦学习 - 2. 半监督学习 - 3. 增量学习 - 4. 系统架构 - - -最大的教训就是，充分利用好自己身边的资源啊。老师师兄啥的，哪个都能给你点指点的，广泛地咨询，再动笔写。 - - -1. 联邦学习研究内容、技术和系统框架结构的明确。 -2. 半监督学习的算法和技术 -3. 增量学习的算法和技术。 - - ------------------------------ -特征敏感 \ No newline at end of file diff --git a/工作日志/2020年12月21日-开题后工作.md b/工作日志/2020年12月21日-开题后工作.md deleted file mode 100644 index d4f81daf..00000000 --- a/工作日志/2020年12月21日-开题后工作.md +++ /dev/null @@ -1,43 +0,0 @@ -## 主要方面 -* 毕业设计 -* 实习就业 -* 生活娱乐 - -## 毕业设计 -1. **技术调研**，三个方向的相关论文阅读技术范式确定。 -2. **基础知识**，实现机器学习+深度学习的基本算法。并看李宏毅的教程和西瓜书。 -3. **数据集和预处理**工作。相关数据集构建、反编译工具使用，完成恶意软件的代码分析工作。 -4. **特征提取** -5. **神经网络模型**的构建与本地训练。效果评估，验证机器学习算法的有效性 -6. **联邦学习框架**的实现。效果评估，验证联邦学习框架的准确率不会降低 -7. **威胁模型**的应用。验证威胁抵抗效果 -8. **半监督学习**的实现。验证半监督方法的有效性。 -9. **集中在线增量学习**的实现，验证算法的有效性。 -10. **联邦在线半监督**学习的实现。 -11. 检测效果最终的效果评估。 -12. 威胁信息生成 -13. 生成效果评估 - -> 需要设计一些巧妙的实验完成验证工作。 - -> 软件设计与论文中的图不太一样。软件设计中的UML语言，主要包括构造块、规则和公共机制三部分组成。构造块包括事物和关系，以及事物和关系组合成的图。这些图用来描述从需求到测试过程中的软件、系统不同层面的表示。同一类型的图可以归类为某个视图下的图。 -> 在论文中，图多用来表示原理、系统架构、算法流程等。很少用到软件设计中的图。需要了解一下，在论文中的这些图，怎么画。 - -## 实习就业 - -1. LeetCode -2. kaggle -3. 参加实习与系统开发相关的工作 - -## 生活娱乐 - -1. 看书 -2. 旅行 -3. 电影番剧 -4. 游戏 - 1. 双人种地类：泰拉瑞亚、星露谷、饥荒 - 2. 双人闯关类：传送门、茶杯头、胡闹厨房 、战斗砖块剧场、ibb&obb、人类一败涂地、只只大冒险 - 3. 单人战斗：无主之地3、质量效应、上古卷轴、光环士官长、饥荒 - 4. 单人剧情：命运石之门、奇异人生、波西亚时光 - - diff --git a/工作日志/2020年12月23日-数据集及预处理.md b/工作日志/2020年12月23日-数据集及预处理.md deleted file mode 100644 index 9169c327..00000000 --- a/工作日志/2020年12月23日-数据集及预处理.md +++ /dev/null @@ -1,27 +0,0 @@ -# 数据集的相关工作 - -## 相关的分享网站 - -* Contagio（仍在更新的数据分享网站） -* VirusShare - -* virusTotal（仍在更新的数据分享网站） - - -## 开源的数据集 - -* AndroZoo（仍旧在更新的数据） -* Genome（最早的数据集） -* Drebin -* FalDroid -* AMD -* DroidBench -* RmvDroid - -## 数据预处理 -* apktool -* androguard(很知名的工具) -* apkanalyzer（谷歌官方的工具） - - -------------------------------- diff --git a/工作日志/2020年9月14日-r930服务器.md b/工作日志/2020年9月14日-r930服务器.md deleted file mode 100644 index 4e8385e4..00000000 --- a/工作日志/2020年9月14日-r930服务器.md +++ /dev/null @@ -1,46 +0,0 @@ -# 主机配置-服务器搭建 - -## 需要了解的事情 -1. 了解R930服务器，购置相关设备。（等到明天时间一下）√ - -2. 这两天（周二、周三、周四）完成服务器的配置。 - 1. 了解r930的说明文档，明天进行配置。√ - 2. 重新安装服务器的ubuntu系统。× - 3. 实现服务器的远程访问 - 4. 搭建服务器的docker（日后可以将整个docker迁移到不同的虚拟机上，而不用在每个虚拟机上都配置相关的环境） - - - - - - -## dellR930可扩展配置说明 -### CPU - -* 型号：Xeon E7-4800 -* 数量：4 - -### 内存 - -* 类型：RIDMM（DDR4） -* 数量：96 -* 最高支持内存：96*16 - -### 存储 -SATA/SAS固态硬盘 - -### PCIE显卡 - -10个PCIE插槽 - -## 分布式服务器构建 - -1. 技术选型：docker和vm虚拟机 -2. 考虑到重装服务器的困难，（需要对服务器十分了解，相关教程很少，需要下载驱动等）最后决定，不必重装服务器。因为本来就是为了搭建分布式的训练环境，可以使用docker或者虚拟机实现训练环境。对centos进行配置，实现远程访问，设置成静态ip地址。 -3. docker方便快捷，但不知道是否能够实现网络隔离，且技术比较新颖。vm虚拟机，能够实现系统层面的隔离和虚拟化，可以快速实现多台虚拟机的构建。无论最后选择哪种方式搭建分布式环境，docker似乎都是不可缺失的，因为在从一台虚拟机向另一台虚拟的移植环境的时候，docker无疑是最快的选择。所以即使采用虚拟机的手段，实现分布式训练，也需要docker快速搭建相同的运行环境。 -4. 技术路线： - 1. 在实验室的ubuntu上使用docker快速开发，实现训练过程。 - 2. 在服务器上通过docker快速搭建分布式的训练环境。运行多个镜像。 - 3. 各个镜像之间通过网络通信，然后实现虚拟的分布式训练。 - 4. 如果docker无法虚拟网络通信的过程，则考虑使用虚拟机或者真正的分布式主机实现docker训练。 - diff --git a/工作日志/2020年9月28日-九月份安排.md b/工作日志/2020年9月28日-九月份安排.md deleted file mode 100644 index caf04c51..00000000 --- a/工作日志/2020年9月28日-九月份安排.md +++ /dev/null @@ -1,24 +0,0 @@ -# 学习安排 -## 具体的学习计划 - -* 每天早上：一周的课程python实现 -* 每天下午：一周的课程python实现 -* 每天晚上：阅读论文并总结。 - - - -## 方法 -1. 涉及到基础知识进行补充，例如线性代数 -2. 涉及到的编程知识进行补充，例如Numpy、scikitlearn、scipy等。 - - -也就是说，现在要同时学习三个东西。机器学习，机器学习依赖的数学基础，机器学习实现的编程基础。降低速度，尽量在一个月内，实现初步认知。 -## 补充 -应该对matplotlib和scipy的教程进行补充。教程部分只完成简单的说明即可。所有的例子，手动运行敲一遍。教程该出简单的实例，然后手动实现实例。 - -具体的内容，等到实践过程中进行学习。 - - - - - diff --git a/工作日志/2020年9月29日-组会ppt.md b/工作日志/2020年9月29日-组会ppt.md deleted file mode 100644 index 75eb9200..00000000 --- a/工作日志/2020年9月29日-组会ppt.md +++ /dev/null @@ -1,17 +0,0 @@ -# 组会的PPT结构 -> 直接搜集资料开始做ppt吧 - -## 情报利用的现状 - -## 联邦学习的现状 - -## 联邦学习的过程 - -## 机器学习在情报利用领域可能的应用路径以及拟打算应用的机器学习算法 - -## 面临的难题 - -## 解决问题的具体规划 - -## 最近做的界面的事情 - diff --git a/工作日志/2020年9月30日-工具选择.md b/工作日志/2020年9月30日-工具选择.md deleted file mode 100644 index 60856246..00000000 --- a/工作日志/2020年9月30日-工具选择.md +++ /dev/null @@ -1,15 +0,0 @@ -> 工具说明 - -# 看论文工具与方法 - -> 不要打断自己正在做的事情。可以对突发的想法进行存档。 - - -# 看pdf做笔记的工具 - -> 主要在学习课程中，对pdf进行修改和阅读。 -> -> 在做笔记方面； -> 这种独立的笔记，最终很容易遗忘。使用原来的PPT和PDF做笔记的方法，更容易记忆。我觉得以后无论学什么，都应该通过两种方式进行学习。 -> * 在听课过程中，使用pdf本身，做笔记。（以后收录上课的pdf，必要的时候对pdf进行复习) -> * 在课后对上课内容进行整理的时候，使用md+xmind的方式，整理知识点。 \ No newline at end of file diff --git a/工作日志/2020年9月3日-威胁情报.md b/工作日志/2020年9月3日-威胁情报.md deleted file mode 100644 index 84f9ad3a..00000000 --- a/工作日志/2020年9月3日-威胁情报.md +++ /dev/null @@ -1,26 +0,0 @@ -# 情报威胁与联邦学习 -## 研究方向 - -* 威胁情报----定义系统的应用场景，包括输入输出。（情报生成和情报利用两条思路） -* 联邦学习----定义系统的算法，包括各种处理细节。 - -------------------------- -## 总体规划 - -* 第一阶段：通过情报威胁相关论文和资料，定义应用场景（由蒋师兄完成） -* 第二阶段：学习统计学、机器学习和联邦学习的基础知识；阅读论文和资料了解前沿的发展。 -* 第三阶段：复现联邦学习论文，搭建联邦学习的框架，实现机器学习过程。 -* 第四阶段：对联邦学习框架的细节进行研究，改善应用场景下的联邦学习过程。例如：提升安全性；增强分布式计算能力等。 - ----------------------------- -## 技术范式 - - -WEB服务端//Django - -联邦学习系统//python、分布式机器学习模型 - -威胁情报数据库//mysql数据库nosql数据库 - - - diff --git a/工作日志/2020年9月4日-供应链金融.md b/工作日志/2020年9月4日-供应链金融.md deleted file mode 100644 index 8ada0b6f..00000000 --- a/工作日志/2020年9月4日-供应链金融.md +++ /dev/null @@ -1,101 +0,0 @@ -# 供应链金融 -## 时间安排 - -上午：完成供应链金融的调查报告 - -下午：阅读完成 已导入：威胁情报相关的内容 - -晚上：阅读完成 已导入：联邦学习相关内容 - -## 供应链金融调查报告 - -### 场景描述 - -银行围绕核心企业，管理上下游中小企业的资金流和物流，并把单个企业的不可控风险转变为供应链企业整体的可控风险，通过立体获取各类信息，将风险控制在最低的金融服务。 - -供应链金融（Supply Chain Finance），SCF，是商业银行信贷业务的一个专业领域（银行层面），也是企业尤其是中小企业的一种融资渠道（企业层面）。 - -* 产业链运营能力：供应链金融以产业供应链运营管理为基础，产业供应链运营管理水平高低、现有产业供应链数字化程度高低、未来数字化的难易程度和成本的高低都会对该产业的供应链金融产生重要影响，是供应链金融发展的基础环境。 -* 广泛的金融服务：供应链金融的目的旨在优化整个产业的现金流，让利益各方以较低的成本实现更高效的生产运营，因此，供应链金融不仅仅是目前我们在实务中最常见的融资借贷服务，还应该包括更广义的金融服务和服务组合。 -* 对产业链上的单位诉求进行分析。金融活动的开展是针对产业供应链的具体业务进行的，不同产业不同环节的具体业务以及不同类型的参与主体都会对金融服务产生不同的痛点和价值诉求。 - -优势：提升产业链整体的竞争力。整个产业链场景的数字化，能够应用人工智能等新的科技手段。 - -### 可行性 - -* 从科研的角度来说：研究集中在金融领域。整体上，集中在金融模式的研究比较多。细节上可能会用到网络安全领域的基础知识，但是整个大型软件服务的开发，与科研项目结合不紧密。主要研究集中在金融模式的研究，很少有计算机与网络领域的研究。大部分论文都是金融模型。 -* 从工作量的角度来说：需要专业的开发公司，我们更擅长小型科研验证软件的开发，不具备开发大型企业级软件的能力，包括市场调研、企业对接。 - - -* 企业级应用开发，javaEE javaSpring。主要是业务逻辑的开发。但需要涉及到企业的上中下游，需要开发一套核心系统和面向多个应用方的子系统。如果以实际应用为目标，可能需要10~15人的开发团队，半年以上的开发。企业级开发逻辑复杂，需要考虑实际应用中的各种问题，需要金融领域的人员给出详细的业务流程，需要专业的系统设计和反复的技术验证。工作量庞大，需要专门的开发团队和公司，需要进行市场调研，与主要的服务公司进行接口对接。 - -* 供应链过长：对供应链上下游多个单位的需求分析与交流，可能涉及大量的工作。定义每一个环节的软件应用场景和软件需求。原材料生产商、供应商、核心企业及其分公司、经销商、终端用户。涉及到采购、研发、制造、仓储、营销等各个环节。 - -* 供应链整合能力：由于供应链金融平台需要为所有产业链成员提供信息和集成服务，因此需要了解产业链成员的业务结构、业务特征、业务流程和业务风险，包括但不限于整个供应链的技术研发、物资采购、产品生产、分销物流、各类服务的分布状况、相互之间的关联和联动特点，从而进一步掌握具体业务环节的资金流动特性，各利益主体的诉求和痛点。这是帮助各类产业链成员相关业务有效数字化的前提。 - -* 时间成本和金钱成本过高。首先是否将关键业务节点信息真实有效的反应到了平台数据层面；其次实现这一数字化的成本，包括时间成本和金钱成本是否可以控制在经济可行的范围内。必须依托与专业公司，这不仅仅是软件的开发，更是整个行业的整合，可能涉及到市场经营部门、开发部门等多个部门的联动。 -* 单点提升可行性。我们可以在现有的供应链金融平台上，提出自己的改进措施，提升网络安全防御能力，或者对数字化内容进行智能化分析。 -* 解决方案设计能力。首先与平台的场景解构能力相关，深入理解产业供应链业务、流程和资金流动特点；再者，这需要平台本身或者能够整合的资源方，具备丰富的金融服务产品体系，才能为企业客户提供多样化选择的可能性。 - - -### 一个架构 - -![](供应链金融.jpg) - -### 可行性报告内容 -* 目录 1 -* 第1章 项目总论 6 -* §1.1 项目背景 6 -* §1.2 可行性研究结论 7 -* §1.3 主要技术经济指标表 9 -* §1.4 存在问题及建议 9 -* 第2章 项目背景和发展概况 10 -* §2.1 项目提出的背景 10 -* §2.2 项目发展概况 10 -* §2.3 投资的必要性 11 -* 第3章 市场分析与建设规模 12 -* §3.1 市场调查 12 -* §3.2 市场预测 13 -* §3.3 市场推销战略 14 -* §3.4 产品方案和建设规模 15 -* §3.5 产品销售收入预测 16 -* 第4章 建设条件与厂址选择 17 -* §4.1 资源和原材料 17 -* §4.2 建设地区的选择 18 -* §4.3 厂址选择 20 -* 第5章 工厂技术方案 22 -* §5.1 项目组成 22 -* §5.2 生产技术方案 22 -* §5.3 总平面布置和运输 24 -* §5.4 土建工程 25 -* §5.5 其他工程 26 -* 第6章 环境保护与劳动安全 27 -* §6.1 建设地区的环境现状 27 -* §6.2 项目主要污染源和污染物 28 -* §6.3 项目拟采用的环境保护标准 28 -* §6.4 治理环境的方案 29 -* §6.5 环境监测制度的建议 29 -* §6.6 环境保护投资估算 29 -* §6.7 环境影响评论结论 29 -* §6.8 劳动保护与安全卫生 29 -* 第7章 企业组织和劳动定员 31 -* §7.1 企业组织 31 -* §7.2 劳动定员和人员培训 31 -* 第8章 项目实施进度安排 33 -* §8.1 项目实施的各阶段 33 -* §8.2 项目实施进度表 35 -* §8.3 项目实施费用 36 -* 第9章 投资估算与资金筹措 37 -* §9.1 项目总投资估算 37 -* §9.2 资金筹措 39 -* §9.3 投资使用计划 39 -* 第10章 财务与敏感性分析 41 -* §10.1 生产成本和销售收入估算 41 -* §10.2 财务评价 42 -* §10.3 国民经济评价 42 -* §10.4 不确定性分析 42 -* §10.5 社会效益和社会影响分析 43 -* 第11章 可行性研究结论与建议 44 -* §11.1 结论与建议 44 -* 第12章 财务报表 45 -* 第13章 附件 47 diff --git a/工作日志/2020年9月6日-ML.md b/工作日志/2020年9月6日-ML.md deleted file mode 100644 index d117494e..00000000 --- a/工作日志/2020年9月6日-ML.md +++ /dev/null @@ -1,138 +0,0 @@ -# 机器学习 - -## 当前的主要任务： - -现在处在研究的第一和第二阶段。关于第一阶段联邦学习的应用场景，主要由蒋师兄完成。第二阶段，学习联邦学习关联的基础知识，为第三阶段机器学习算法的实现和框架的搭建做好准备。 - -看完相关的文章和博客。然后开始学习，用两周时间学习完成基础知识。在学习基础知识的时候，使用 tensorflow 框架进行算法的运行。 - ---- - -## 长久的时间计划： - -- 必须在十一月份之前完成学习工作。那就到 10 月 30 号把。还有五本需要看的书。10 月 30 号之前，完全搞懂该领域的内容。 -- 十一月份，进行调研，寻找大量相关的研究工作。 -- 十二月份，对相关领域的算法进行实现。对算法进行改进。 - -> 感觉时间不够了啊，兄弟。你这需要做的事情有点多。国庆节，尽量恶补完成大部分机器学习的基础知识和主要的算法，然后国庆节后开始看论文。 - ---- - -## 学习路线 - -### Python 系列（一周） - -> 熟悉 python 进行机器学习的基础库，包括每个库都干了什么。 - -- [x] python3√ -- [x] numpy√ -- [x] scipy√ -- [x] matplotlib√ -- [x] pandas√ - > 基本完成。主要是知道了这些东西都是干什么用的。 - -### 机器学习+深度学习系列（视频教程）（三周） - -> 需要了解机器学习的各种工具，需要的进行补充。使用 python3 进行编程实践。这一部分是最关键的，需要按照知乎的方法进行调整学习。入门课程->模型算法->编程实践 - -1. 《机器学习》吴恩达的课程一看。跟着做做笔记。 - - [x] 第一轮，笔记对照(看一部分，总结一部分。) - - 第二轮，看吴恩达的 PPT 重新整理所有的笔记。 - - 第三轮，寻找吴恩达课程的课后题，使用 python 完成课后题 -2. 吴恩达的神经网络五套课程看完。各种神经网络。 - - [x] 神经网络与深度学习 - - [x] 改善神经网络 - - [x] 结构化项目学习 - - [x] 卷积神经网络 - - [x] 序列模型 - - 第一轮，笔记对（借用其他人的笔记进行修改，同时理解） - - 第二轮，看吴恩达的 PPT 重新整理所有的笔记 - - 第三轮，课后题，TensorFlow 完成 -3. ~~《统计学习方法》~~ 一看。 - - [ ] 3Blue1Brown 的视频看一看。跟着做做笔记。数学公式太多，太难了，应该学会放弃。看西瓜书好了。 -4. 《机器学习西瓜书》一看。 - - [ ] 跟着做做笔记。 -5. 《机器学习实战》 - - [ ] 量子位提供的书，适合编程。 -6. 《python 机器学习》 - - [ ] 几个实战. -7. 《白板推导》 - - [ ] 视频看一遍。tensorflow 教程一看，实现一遍之前的算法。 -8. （可选） ~~《机器学习基石》上&下~~ - - [ ] 李宏毅的机器学习也行（在进行一段时间之后，已经完成了多个项目之后，可以回过头来看李的视频，进行更深层次的理解） - - [ ] 完成第二轮，笔记对照 - - [ ] 代码实现课后的内容 - -> (1,2)->(3,4)->(5,6)->(7,8) - -> 安排 -> -> 1. 首先跟着量子位的课程完成上述学习。 -> 2. 然后跟着 apacheCN 的资料完成第二阶段的阅读。 -> 3. 然后就是尝试专业领域的应用实战。 -> 补充：林轩田《机器学习基石》《机器学习技法》。李宏毅的《机器学习视频教程》。 -> 工具 -> _ sklearn -> _ tensorflow - -> 变更说明 -> -> - 经过仔细思考，感觉李宏毅的机器学习+深度学习与吴恩达的机器学习+深度学习，重叠的部分太多，入门阶段进行混合学习代价较大。所以，入门阶段都是以吴恩达的课程为主，编程也是以吴恩达的课程为主。总共包括五个模块，可以适当地学习三到四个模块，然后进行下一阶段。 -> - 等所有部分完成了，以李宏毅的课程作为基础知识的回顾和强化。 - -> 学习路径说明 -> -> - 视频教程-基础知识构建，以知识的角度，逐渐构建机器学习体系，跟随课程理解。 -> - 读书整理-机器学习算法，从算法的角度，独立理解算法的原理，深刻理解每个算法的原理。 -> - 算法实践，从工程的角度，考虑如何设计算法，实现算法，优化算法和进行算法可视化 - -### 联邦学习实践系列（三周） - -> 尝试搭建小型的联邦学习框架。寻找网络教程，完成这一块，还有很多书。 - -- [ ] sklearn -- [ ] tensorflow -- [ ] pysft -- [ ] fate - -### 问题定义（三周） - -- 阅读相关论文，定义环境，找到论文的方向。 -- 分析前沿的研究，了解该领域的主要方案。 -- 提出自己解决问题的方案，对模型和系统进行初步规划。 - -### 相关资料说明 - -- 吴恩达的机器学习 -- 吴恩达的深度学习五套课程 -- 李宏毅《机器学习+深度学习》课程 -- ~~林轩田《机器学习基石》课程~~ -- 李航《统计学习方法》 -- 周志华《西瓜书》 -- 《机器学习实战》 -- 《Python 机器学习》 - -### 选择 - -框架选择： - -- tensorflow 和 fate - 研究方向： -- 数据挖掘 -- 文本处理（自然语言处理） -- 行为建模和行为分析。（这可能是工作量最大的地方。） -- 恶意软件相关特征提取（恶意软件相关特征分析和应用，机器学习算法应用的地方，联合训练模型的构建） - -### 参考 - -- [知乎量子位回答](https://zhuanlan.zhihu.com/p/37349519) -- [知乎 ApacheCN 回答](https://www.zhihu.com/question/20691338/answer/248678328) - > 当你按照自己的流程走完了上述的内容之后，应该去看量子位和 ApacheCn 的教程。自己的学习只能算是入门，当前的关键，应该是开始学习，而不是在这里瞎搞。 - -### 补充学习 - -> 有时间学习一下数学内容（找相关的数学客车个） - -- 微积分 -- 线性代数 -- 概率论和数理统计 diff --git a/工作日志/2020年9月9日-无人机+sm2界面.md b/工作日志/2020年9月9日-无人机+sm2界面.md deleted file mode 100644 index 3a621904..00000000 --- a/工作日志/2020年9月9日-无人机+sm2界面.md +++ /dev/null @@ -1,177 +0,0 @@ -# 桌面应用程序开发 - ------------------------------------------ -第一阶段技术栈选择 - -## 技术范式 - -> 1. 选择合适的技术范式。√====>electron -> 2. 对技术细节进行学习了解√====>javascript,nodejs,electron -> 3. 寻找开源的模板代码搭建框架 -> 4. 根据任务需求进行快速开发 - -### C++ QT开发 - -### Python PyQT开发 -卡掉，因为是C项目，用python的qt反而多此一举。 -### JAVA SWING开发 -理由同上。可以用C++，与原生的代码结合较好。 -### nodeJS Electron桌面开发 - -easy-window小程序。 -> 显然我觉得HTML桌面应用程序开发是最简单的，能够实现极其好看的界面。 - -## 2 开发步骤 -### 熟悉工程代码√ -* 源代码使用代码库：qt，openssl √ -* 使用qtCreator对代码进行编译调试 -* 源代码暴露的接口√ -* cmake编译工具+gcc√ -### 使用nodejs封装C/C++接口√ -* 使用napi封装借口√ -* node-gyp编译测试接口√ -* cmake-js编译测试√ - -### 使用electron呈现界面 -* 数据渲染模板应用√（template_js,arttemplate,jsrender,juicer选择了第一个数据渲染方式） -* 前端页面布局设计√ （选定了库，上传到了gitee，非常好用以后可以借鉴） -* 对页面布局进行调整和优化√（主要包括添加图标，修改颜色，添加标题） -* electron开发和调试（菜单栏和应用进程）√（使用vscode和webtool工具对electron应用进行了调试） - -### 根据需求规范工程 - -* 将工程上传到gitee√ -* 根据新的需求，修改函数借口。增加返回的message√ -* 对sm2函数的明明进行规范，test->encrypt√ - - -### 工程部署，使用nodejs封装工具发布。 - -* 使用electron-package对工程进行打包√ -* 使用electron-build或者electron-asar对工程进行发布。创建安装程序。√ - - -## 3 解决的bug问题 - -### append之后页面刷新元素消失的问题 - -* 因为在button周围由form标签，导致提交后页面刷新，之前的数据消失。 - -* [参考文献](https://blog.csdn.net/muyi_amen/article/details/79086281?utm_source=blogxgwz4&utm_medium=distribute.pc_relevant_bbs_down.none-task-blog-baidujs-1.nonecase&depth_1-utm_source=distribute.pc_relevant_bbs_down.none-task-blog-baidujs-1.nonecase) - -### template_js无法加载模板渲染数据的问题 - -* 相似的库太多了，导致下载成了template.js和template-js - -### Message传递参数的问题 - -* 因为长度并不能自适应，同一个接口函数需要调用两次，第一次获取缓冲区长度，第二次将值复制到缓冲区。 -* github的issue真的是个解决问题的好地方。segmentfault和stackoverflow也非常好用。 - - ------------------------------------------------------ -第二阶段 接口封装 - -## 1 接口封装 -```c++ - -//函数声明 -//签密函数 -void signcryption(string plaintext, bool *flag_signcrytion, string *ciphertext, - double *time_signcrytion); -//解签密函数 -void unsigncryption(string ciphertext, bool *flag_unsigncrytion, string *plaintext, - double *time_unsigncrytion, bool *flag_replay_attack, bool *flag_tamper_attack, string *timestamp); -//密文截获函数 -void intercept_cipher(string ciphertext, bool *flag_intercept, string *intercepted_ciphertext); -//密文篡改攻击函数 -void tamper_attack(string intercepted_ciphertext, bool *flag_do_tamper, string *ciphertext_new); -//消息重放攻击函数 -void replay_attack(string intercepted_ciphertext, bool *flag_do_replay, string *ciphertext); -``` - -## 2 接口测试 -* 使用nodejs封装了C++的接口，并使用addon_test对接口进行了测试。 - - ------------------------------------------------------- -第三阶段 界面优化和文档 - -## 1 主要内容 - -1. 添加题目√ -2. 修改成表格显示数据√ -3. 修改按钮的相对文职√ -4. 字体的大小和对其√ -5. 字体、字号√ -6. 表格的分布与自动换行√ -7. cmake编译调试√ -8. 公钥私钥的生成页面√ -9. 复习bootstrap√ -10. 修改配色方案√ -11. 修改背景√ -12. 色块转换与动态效果，添加动画√ -13. 图形标注，loading和其他图标√ -14. 功能实现，逻辑测试√ -15. 设置透明度√ -16. 设置美化界面显示的内容（表格和文字）√ -17. 模态框、警示框，用来显示异常信息√ -18. 使用collaspe动态显示图标内容× -19. 尝试使用jQuery简化js代码√ - -## 2 bug调试 - -段错误 -### 可能的原因 - -* 未初始化的指针和空指针 -* 堆栈内存溢出 - -### 解决办法 -* 联调 -* 堆栈扩充 -* 其他办法（代码空间释放） - -### 错误分析 - -* 结论1： - * unsigned调用比出错 - * 随着调用内容的减少，出错后裔 - * 由于堆栈溢出内容减少，出错后裔 -* 结论2： - * sign与unsign 具有相似性 - * sign无论调用多少次都不会出问题 - * unsgin只要调用1次就一定会报错 - * 问题一定处在代码内，而不是由于执行次数过多导致内存溢出。unsigned本身存在不贵的可能性 - * 在unsgin中，存在，在某种特殊条件下，会触发的段错误 -* 方法： - * nodejs的napi接口中出现问题 - * cmakejs编译选项调整出现问题 - * unsign函数本身出现问题 - -### 最终结果 -* 使用为自己在nodejs调用接口中，使用了较小的数组，导致数组长度溢出，引发了段错误。 -* 段错误很难定位，因为它报错的地方和犯错的地方，往往不在同一个地方。 -* 记住段错误，一定是引用了错误地址的数据造成的 - * 如在静态数据区写数据 - * 在不属于自己的内存段写数据。随机指针写数据，空指针写数据，溢出的数组写数据。 - - -------------------------------------------------------- -第四阶段 无人机元素和花里胡哨 - -## 1 要求 - -* 添加无人机元素。背景就改成动态的模拟空间的无人机飞行的网络图 -* 各个card改成半透明黑色背景，数据使用白色内容进行显示。 -* 可以动态修改card，collaspe的应用到位。 -* 添加一个card表示执行过程中的状态转换图。使用js代码修改使其能够动态地添加到状态转换图当中。执行过的步骤，执行中的步骤，未执行的步骤，使用不同的状态标注，像是打卡系统当前的执行流程，或者地铁站的线路点亮过程。 -* 添加一个card表示无人机当前的飞行状态。胡乱显示就好。主要包括无人机飞行的各个参数，无人机飞行的速度仪表盘，无人机的横向视角和纵向视角。参考下载的地图。 - -## 2 画图 - -* 可以画一个无人机通信过程演示图 -* 主要使用svg+jQuery动画实现。技术范式 -* 实现步骤 - 1. 静态绘制图形（地图背景，控制面板，控制台，无人机A，无人机B，攻击者，很多箭头） - 2. 添加动态效果（包传递过程） \ No newline at end of file diff --git a/工作日志/2021年10月10日-今日计划.md b/工作日志/2021年10月10日-今日计划.md deleted file mode 100644 index 33ed20d2..00000000 --- a/工作日志/2021年10月10日-今日计划.md +++ /dev/null @@ -1,24 +0,0 @@ -> 把名字改成了“还是要生活的”，小姨还是发现了。或许真的还有人在挂念自己。 终于又要开始了，虽然是十月份计划，但是开始与国庆节后的第一天。我想平衡好工作和生活的关系，无论是在学校的日子，还是以后工作后的，都要平衡。我想他们会永远的称为我的一部分，属于生活的那一部分。 -> 可悲的九月份一致在找工作，但是却没有全力以赴，在于张的相处中，重新让我认识到了，属于生活的那一部分，说实话，发自内心的感激。那天聊到，期望早日遇到一个能管住你的人。并不是那种违背意愿的约束，而是那种当你想去旅游，他会跟你一块规划一块欣赏风景的人；当你想去减肥，他会督促你一块跑步的人；当你想要去那家餐厅吃饭，他会腾出时间来看看那家餐厅的介绍和好吃的菜品的人。“管”并非违背意愿，而是那种愿意发自内心的关心，“管”是为了让你更好的做回自己。我也希望有一天，遇到一个愿意为她改变，同时又能成为真正的自己。 -> 感情总是脆弱的难以理解。我无法知晓他们开心、悲伤的原因，也不能从他们的一举一动中洞察他们心态的变化，更无法通过循循善诱的方法跟他们进行一次深入心底的长谈。总是目光呆滞，像不知所措的、反应慢半拍的傻子，说着“喔喔喔”之类的话。有种神奇的力量，一直在阻止我知道更多，学习更多，承担更多的责任。我总是把自己比作大马哈鱼，当这样的环境中缺少某个角色时，我就会主动承担，其实并不是因为我多么热爱所谓的责任和集体，而是因为我想逃避，从另一种角度来说，当这个环境中，存在某些角色时，我就可以变成一个透明的隐形人。 -> 关于玩耍，我觉得应该收一收，矫枉要过正，国庆节七天已经严重超出了自己的预期，玩的也太爽了。有那么多人陪着走路，散步，也太开心了。生日也不像以往那样看起来那么孤独。虽然本来打算过完悲伤的一天，我想即使是她应该也希望，我能开心的活着吧。我觉得，这可能是她唯一的心愿了。七天来，遇到了很多人，多年未见的，一直见面的，天南海北的朋友。我觉得应该想去玩，就去玩。减少精神内耗的时间，而不是一直在思考如何去做，忘记了去做。有些事可以不用思考清楚就开始，生活与学习一样，也许要灵感，不仅仅是完美无缺的计划。至少以后，可以不用那么在意，提前做好的准备。在路上，能多思考一些就好了。 -> 该学习了吧。我不后悔已经流逝过的时间，我只希望，自己能够在接下来的时间中，全力以赴。我觉得，我可以开始一波大脑清除计划了，让自己忘掉那些让自己纠结的不该去想的事情，终于可以开始了吗。 - -> 关于多人活动这种事，我发现，我永远无法成为那个纽带。连接两部分人，平衡好关系和时间，平衡好内容，太难了。大概能做到的只有阳叔、李仁杰、张玄吧。李浩过于牛逼，过人的智慧和幽默，恰到好处的表演，在粗俗与文明之间自由切换，表面傻逼实则有着深思远虑。hhhhhhhh。balance也太难了。 -> 生活中的事情，太多，总是思考不完。我知道，自己所剩的时间不多了，就算拼命可能在剩下的时间中也很难完成目标。从什么时候开始，觉得自己想变得很弱，找个人依靠。从什么时候开始，逐渐想为别人活着，为了自己，活下去的理由越来越不充分。反复横跳，我以前没有选择，现在又想当个好人了。 -> 也许该换个方式和别人交流了。降低姿态的说话方式，太让人讨厌了，让人觉得恶心。有趣，才是关键，而不是假笑、谄媚、奉承。不以物喜、不以己悲。平淡地讨论生活。自己的方式太容易受别人影响了，我发现了，跟我最近的那个人是什么样子，我就会成为他的样子，无论是现在，还是从前，我只有一个人的时候，才能做回正常的自我。所以，去接近自己喜欢的样子吧。暂时拒绝游戏，多出去走走；拒绝物化女性谈论女生；拒绝妄自菲薄，捧杀任何人。（？？？为啥？？？我感觉这是我生活中最大的快乐来源，你为啥，老想着，改变自己，觉得自己的方式不好呢？所以哪种方式更好呢？？？？？好恶心啊，你到底该怎么做。不破不立？瞎扯淡。我觉得想要谈论什么呢？我觉得什么有趣呢？离谱，啥都不知道，就知道否定自己现在的方式。所以能用什么代替呢？生活；过去、未来、当下；你的爱好们，虽然你一直在抨击我们的分享会。但是，你还是真的喜欢这个。） - -> 自觉点，体面的离开。关于十月份的思考就到此结束吧。我想我该开始了。从零开始。已经很久很久了。忘掉面试笔试的事情吧。尽力而为。踏马的，劳资焦虑打个篮球回来，还踏马能遇上这种事。真踏麻的恶心啊，怎么能有人这么恶心呢？其实也没啥，就这样而已。我觉得背后说说小秘密也无所谓，当我把它告诉别人的时候，就已经做好所有人的都知道的准备。但是踏马的另外两个人背后造谣，可真就离谱了。踏马的多大仇呢？你们两个人玩的开心就好了，被鞭我尸体好吧。我踏马的是真的烦。 -> 算了，无所谓，我不太喜欢这些与人相处的关系。我只是想做自己。开始认认真真学习。给老爹打个电话，对于自己不擅长的事情，就不要去做了。干嘛要社交呢？真踏马的有用吗？我需要朋友吗？没用。学习是一个人的事情。真踏马的烦。劳资这辈子都不会掺和超过两个人的场合。能再恶心一点吗。 - -> 经过昨天的玩耍，我明白了一件事，所有人中，只有自己是小肚鸡肠的那个。又一次尝试失败，那一天我突然明白了怀振的痛，在厕所哭泣的原因，hhhhhhh，踏马的搞笑了。既然自己成不了那个纽带，那就好好观察别人怎么做那个纽带吧。 -> 无论怎么样，我要成为那个，每天都能保持幽默的人。我发现，我跟一些人在一块的时候会选择闭麦，但是和另外一些人在一块的时候又能无话不谈。虽然看上笨拙，什么不懂，但是很积极的去，了解。 - -> 又又思考了很久的生活。发现我只能跟自己玩耍了。生活还是那样。开始工作吧。关于毕业的思考到此为止。我踏马的就是要当卷王。我是傻逼。我有很多想要做的事情，虽然菜，但我就是想去尝试。另外，我觉得，我现在还年轻，还精力旺盛。青岛的选调生错过了?中央单位的选调生也错过了？你可能吗？你有可能进吗？不可能，你当选调生，这一辈子屁大点的房子都买不起，我踏马确实想通过自己的努力和实例，实现买房子的事情。就是这样。用自己的实例，挣够了钱去买个自己喜欢的房子。北京的公务员确实不行，青岛的也不行，太稳定，我肯定不会选择。 -> 另外国企的话，到现在还是一个都没拿到，真的无聊。私企的话，已经拿到了几个，但是感觉谈不到理想的工资。还是靠自己的努力，踏踏实实的挣钱，最爽。学一堆有意思的东西，凭实力上位，这才是生活好吧。如果人寿、移动、电信、电网；农行、中行、工行、招行；IBM、Intel等都没过也就算了。还有那一堆券商机构投资公司，还要尝试一下吗？ - -> 踏马的，已经调整了两天了，感觉必须开始做毕设了。先看一下自己的毕设进度。要明白一些事情： -> 1. 能不能毕业是自己的事情。 -> 2. 不管能不能毕业，都要制定一份两个月内完成毕业的计划。 -> 3. 可以冲，可以稳。稳的话能拼尽全力吗？冲的话能够稳住吗？不会稳成了你划水的接口，冲的时候却力不从心。你没有准备好，即使加上周围所有的战力，你也不行。不，你现在没有选择了。我又百分之五十的把我，你会被动延毕。对自己有点数好吧。 -> 4. 说话对我来说是多余的没用的。我需要冷静下来做自己该做的事情。 \ No newline at end of file diff --git a/工作日志/2021年10月12日-今日计划.md b/工作日志/2021年10月12日-今日计划.md deleted file mode 100644 index 6623a957..00000000 --- a/工作日志/2021年10月12日-今日计划.md +++ /dev/null @@ -1,5 +0,0 @@ -## 自信 - -> 可选的论点 -> * 三个自信：道路自信、理论自信、制度自信、文化自信（可惜我不是党员，不了解共产党相关的东西） -> * 自信过度：数码宝贝？感觉也不是很合适。我不玩游戏 \ No newline at end of file diff --git a/工作日志/2021年10月1日-十月份计划.md b/工作日志/2021年10月1日-十月份计划.md deleted file mode 100644 index 48846d17..00000000 --- a/工作日志/2021年10月1日-十月份计划.md +++ /dev/null @@ -1,23 +0,0 @@ -## 计划 - -## 收获 - - - - - - - - -## 通知 - -### 【毕业答辩相关通知】 -1、“2019级硕士研究生毕业答辩情况统计”问卷星请所有同学务必在10月17日前完成填写，做为初审收论文以及后续答辩分组等安排的依据。（注意每位同学只填写一次，不要重复填写，填写有问题及时联系谢老师） -https://www.wjx.cn/vj/rRQxbVS.aspx -2、初审：10月27日上午以班为单位将纸版论文每人一份收齐后交到G844进行初审，预计11月12日返回结果 -3、答辩大致时间安排如下，请同学们积极和导师联系，提前做好答辩相关准备工作： -预计11月底组织论文查重（终稿电子版，重复率在10%以内方可进行后续答辩流程），送审工作 -12月初到12月中组织最终答辩 -有任何问题及时联系谢雨阳老师：82317630，G844 - - \ No newline at end of file diff --git a/工作日志/2021年10月28日-组会.md b/工作日志/2021年10月28日-组会.md deleted file mode 100644 index 1b56a11b..00000000 --- a/工作日志/2021年10月28日-组会.md +++ /dev/null @@ -1,3 +0,0 @@ -## PPT - -> 离谱，从国庆节后到现在，居然玩耍了这么久。以后的生活会是怎么样的呢？想想后续该做什么事情。世事艰难。 diff --git a/工作日志/2021年10月2日-不平等条约上的签名.md b/工作日志/2021年10月2日-不平等条约上的签名.md deleted file mode 100644 index bb08fba9..00000000 --- a/工作日志/2021年10月2日-不平等条约上的签名.md +++ /dev/null @@ -1,17 +0,0 @@ -> 论述 -> * 通过纪传体的方式，签订条约的双方代表的人物事迹。 -> * 为什么？特别想要提现人物与国家的命运纠缠在一起。人物与国家的辩证关系，国运带来的任务生涯的跌宕起伏。有的时候我们痛恨那个在条约上签字的小人，那个懦夫，那个丧权辱国的走狗。背后可能是一个孱弱不堪的政府。没有扶大厦于将倾的仁人志士，只有借国运一展宏图的幸运儿。何谓成就霸业？何谓飞黄腾达？只不过是在列车前进过程中，跑到了车头的位置，如果列车开始倒退，他们就是遗臭万年的莽夫。 - - - - -耳熟能详的条约 - - -清朝末年的不平等条约 - -鸦片战争的 南京条约 -沙俄与中国的 瑷珲条约 -八国联军侵华 辛丑条约 -中日甲午战争的 马关条约 - diff --git a/工作日志/2021年10月5日-今日计划.md b/工作日志/2021年10月5日-今日计划.md deleted file mode 100644 index 2d9f6dc8..00000000 --- a/工作日志/2021年10月5日-今日计划.md +++ /dev/null @@ -1,18 +0,0 @@ -## 计划 - -- [ ] 读完中期报告 -- [ ] 读完之前每个月的计划 -- [ ] 读完工程中所有的计划和安排 -- [ ] 重新运行所有的实验。在google colab中试一试。 - - - - - -## 收获 - -首先熟悉之前的工作。剩下的工作的话，没有猜错的话应该包括 -1. 恶意软件的处理 -2. 隐私保护的添加 -3. 服务注册与发现 -4. 图形界面操控 \ No newline at end of file diff --git a/工作日志/2021年11月17日-今日计划.md b/工作日志/2021年11月17日-今日计划.md deleted file mode 100644 index ef313993..00000000 --- a/工作日志/2021年11月17日-今日计划.md +++ /dev/null @@ -1,17 +0,0 @@ -## 任务 - -论文阅读（十篇） -* [x] 基于深度学习的Android恶意软件检测：成果与挑战 -* [x] 基于知识图谱的Android恶意家族多分类工具的设计和实现 -* [x] 基于自适应学习技术的小样本分类、表征和检测 -* [x] 基于PAC-Bayes的元学习算法研究 -* [x] 具有隐私保护的云端移动恶意软件检测系统 -* [x] Meta-Learning by Adjusting Priors Based on Extended PAC-Bayes Theory - - -## 收获 - -> 哪有那么多愁善感。简单的问题就用简单的方法解决好了。 -> 另外，我发现我终于可以认认真真，开始面对生活了。我想刚开始的热情已经退却了。我可以开始平平淡淡的生活了。绝不妥协，这一次，我就是要不用焦虑驱动自己学习。而是靠着理智和认真。我要现在就开始，在回家之前把所有的东西做完。有足够的能力和时间。开始吧。 -> 关于学习，关于做实验，关于这一个月的计划，明白就好。没有必要做的非常好。但是无论是模型还是特征提取都要有自己的特点。 -> woc，每天浪费这些时间，干嘛呢。真无聊啊。你觉得这样做的真的有意义吗。自己确实不应该在这样的事情上浪费时间了。好多事情，好想做事。 \ No newline at end of file diff --git a/工作日志/2021年11月22日-毕业设计备份.md b/工作日志/2021年11月22日-毕业设计备份.md deleted file mode 100644 index 884427b6..00000000 --- a/工作日志/2021年11月22日-毕业设计备份.md +++ /dev/null @@ -1,218 +0,0 @@ -# 基于联邦学习的恶意软件检测系统研究 - -## 第一章：绪论 - -### 1.1 研究背景和意义 - -1. 安卓系统应用。 -2. 恶意软件泛滥。 -3. 恶意软件检测。基于机器学习的恶意软件检测方案（巴拉巴拉介绍一对机器学习、深度学习在恶意软件检测领域的应用。）尽管机器学习服务取得了成功，但它们的有效性在很大程度上依赖于大量的数据。 -4. 隐私保护问题。 -5. 数据的需求和隐私保护的矛盾（当前恶意软件检测中存在的主要矛盾和问题）。数据成为限制机器学习算法的主要瓶颈。那么广大数据在哪里呢？肯定分散在用户设备上。所以我们提出了基于边缘学习联合学习的分布式机器学习方案。直接在拥有用户的本地设备上进行学习，获得机器学习模型，解决了数据量的问题和利用边缘设备的计算能力。同时传统的机器学习中，在数据搜集过程中侵犯隐私的问题。 -6. 最后提出基于联邦学习的恶意软件检测。结合恶意软件来说。数据的需求：数据隐私保护的需求、数据无标签问题的解决、数据非独立同分布训练模型、数据动态变化问题的解决。恶意软件数据隐私保护进一步提升（研究内容）。恶意软件数据非独立同分布的问题（研究内容）。 - -7. 针对以上背景，研究基于机器学习的恶意软件检测模型构建方案有十分重要的意义。这种意义主要体现在以下几个方面： - 1. 扩展了机器学习模型获取数据的范围。利用了边缘设备的计算能力。 - 2. 解决了集中式学习搜集数据困难、搜集数据过程中会侵犯用户隐私的问题。 - 3. 增强恶意软件检测的能力。增强隐私保护能力。 - -> 说实话，我主要是解决联邦学习中的问题，而非解决恶意软件检测的问题。为了解决数据中存在的问题，而非恶意软件相关的问题。如何让解决的问题与恶意软件检测进行强相关？而非与联邦学习强相关。 -> -> 原始数据+特征提取->训练数据+训练算法->训练模型->恶意软件检测。 -> -> 通过概述训练算法，解决训练数据中的需求和存在的问题，从而改善训练模型的准确率。而非直接更改模型，增强恶意软件检测的结果。需要把这个东西说明。 -> -> 以下是本文章的研究逻辑： -> -> 传统机器学习方法存在问题（研究背景）---->非独立同分布、隐私保护（研究的意义）---->研究联邦学习（研究方向）----->联邦学习中存在的一系列问题----->非独立同分布、隐私保护（研究目标）------>非独立同分布、隐私保护方法（研究内容） - -### 1.2 国内外研究现状 -#### 恶意软件的研究现状 - -1. 数据集方案（当前流行的主流数据集、恶意软件数据集） -2. 特征提取方案（） -3. 模型构建方案（） -4. 缺乏保护隐私的方案 - -#### 联邦学习的研究现状 - -* 联邦学习与非独立同分布问题 -* 联邦学习与隐私保护问题 -* 联邦学习系统构建 - - -1. 恶意软件检测的机器学习和联邦学习方案。 -2. 当前解决恶意软件数据隐私保护问题的方案——传统的数据隐私保护方法的研究（差分隐私、数据加密） -3. 当前解决恶意软件数据无标签问题的方案——恶意软件检测与半监督学习的方案（sephew、基准分类器） -4. 当前解决恶意软件数据非独立同分布问题的方案——现有的非独立同分布数据方案（prox？） -5. 联邦学习的隐私保护、半监督学习、非独立同分布等开放问题的解决方案。 - -#### 对比基线 -1. 恶意软件检测的机器学习和深度学习研究方案（第一层：针对恶意软件检测**领域**对比） -1. 恶意软件检测中数据扩展+隐私保护的研究方案（第二层：针对数据扩展和隐私保护等**需求**的对比） -2. 联邦学习的隐私保护、非独立同分布等开放问题的研究方案（第三层：针对隐私泄露问题、非独立同分布**问题**的对比） - -### 1.3 研究内容和研究目标 - -1. 联邦隐私保护学习方案——差分隐私、同态加密 -2. 联邦非独立同分布学习方案——联邦元学习 -3. 面向恶意软件检测的，基于联邦元学习和增强隐私保护能力的联邦学习框架 - -论文贡献（到时候再展开或者压缩内容。） -1. 实现了差分隐私，并通过实验验证了差分隐私对参数隐私的保护 -2. 使用了联邦元学习解决了非独立同分布问题 -3. 完成了相关的实验验证。证明了算法的有效性。通过对比，验证了系统的可用性和可扩展性。 -4. 构建了联邦学习框架和恶意软件检测系统。 - 1. 能够使用差分隐私保护用户的隐私， - 2. 能够针对非独立同分布场景，训练机器学习模型。 - 3. 一个恶意软件特征提取和分析工具.恶意软件检测系统包括特征提取模块和模型检测模块。 - 4. 提供了一个训练框架，以及一个可用的模型。 - -### 1.4 论文结构 - -## 第二章：理论基础和关键技术研究 - -### 2.1 联邦学习原理与联邦平均算法 -> 联邦学习的基础原理。联邦学习的实现方案。联邦学习的分类和数学表示。联邦学习中的开放问题。 -### 2.2 差分隐私的原理 - - -> 差分隐私、同态加密方法。实现了多方安全计算。 -### 2.3 非独立同分布原理 -> 非独立同分布的原理、表示方法（衡量标准）、产生的影响（论证非独立同分布是联邦学习解决问题中的关键问题。） -> 对非独立同分布的数学的描述。 -### 2.4 元学习原理 - - -### 2.5 数据处理 - -#### 2.5.1 恶意软件特征去提取 - -> 恶意软件主要分类、恶意软件主要分类的依据和数学表示（接口、行为？）、恶意软件主要的检测方法利用到的原理。 -> 哪些内容能够表现恶意软件 - -> 特征提取技术，特征降维方法。动静态特征的提取方法。 - -* 静态特征的提取 -* 动态特征的提取 -* 特征降维方法 - -#### 2.5.2 恶意软件特征选取 - - -#### 2.5.3 非独立同分布数据集的设置 - -### 2.6 神经网络模型 - - - - -## 第三章：基于贡献度和元学习的联邦学习算法 - -### 3.1 非独立同分布问题的建模 - - -### 3.2 基于贡献度的聚合方法 - -* 能够衡量用户的贡献度的方法 - - -### 3.3 基于贡献度和元学习的联邦学习算法 - - -## 第四章：基于差分隐私的联邦学习算法 - -### 4.1 威胁模型（数学公式推导） -### 4.2 基于差分隐私的联邦学习算法（算法，加入到整体的联邦学习框架中） -### 4.3 隐私保护的验证方法（从理论上证明，隐私保护的准确性） - - - -## 第五章：恶意软件检测算法的实验与结果 - - -### 5.1 实验环境 -### 5.2 实验设置 -### 5.3 实验结果 -### 5.4 实验结论 - - - -## 第六章：恶意软件检测系统构建 - -### 6.1 系统总体设计 - - -### 6.2 系统详细设计 -> 存在多个功能模块。按子系统讲解。需要起个合理的名字。 -> 服务端子系统 -> * 服务注册和发现模块 -> * 客户端选择模块 -> * 控制服务模块 -> * 聚合服务模块（提供多种聚合服务） -> * 训练服务模块（提供多种训练类型的聚合，不同端） -> -> 控制端子系统 -> * 训练控制模块 -> * -> -> 客户端子系统 -> * 服务访问模块 -> * 模型训练模块 - - -1. 特征提取模块 -2. 训练控制模块 -3. 网络通信模块 -4. 训练展示模块 -5. 实验结果对比模块 - -### 6.3 系统测试 -> 列出测试过程中的关键指标。 -1. 各个模块的功能测试 -2. 系统整体的集成测试 -3. 最终的界面展示 -## 第七章：结论 -> 3个研究内容。 -### 基于贡献度和元学习的联邦学习算法 - -### 基于差分隐私的联邦学习算法 - -### 基于微服务的恶意软件检测系统 - - ----------------------------- - - -## 补充：存在的问题 -（1）算法的稳定性存在问题，部分算法收敛过程中出现较大范围的不合理的抖动。 -（2）算法的最终准确率问题，部分算法无法收敛，由实验设置导致部分算法出现偏差，需要调参，进行更好的对比。 -（3）基于差分隐私的联邦学习方法进行实验。 -## 补充：尚未完成的工作 -（1）新的恶意软件数据集的数据处理工作。 -（2）针对非独立同分布问题的算法调试工作。需要调试参数，对比算法，画出实验结果对比的图形， -（3）基于差分隐私的联邦学习算法实现，并进行实验验证工作。 -（4）基于微服务技术的恶意软件检测系统中，实现服务的注册和发现。将前端控制和展示服务实现。 -## 补充：解决问题的思路和措施 -（1）查找相关的资料，对论文中提到的方法进行实现。 -（2）针对系统构建中出现的问题，进行详细设计和技术选型，编程实现，并分析效果。 -（3）对比别人的实验过程，借鉴实验的方法和参数的设置。 - ------------------------------------ - - -## 补充 - -### 相关要求 -1. 按照毕业论文的水准来写研究背景、研究目标、研究内容。把引用的文献写清楚。 -2. 已经完成的工作尽量详细点。按照毕业论文理论和实验部分的要求来写。 -3. 每一个技术或者内容的名字现在应该固定下来。不应该这么随意了。 -4. 对框架和系统部分进行区分。（是算法框架，是一种模式。系统是对这种模式的实现。） -5. 命名规范确定一下（基于联邦学习的恶意软件检测系统？面向恶意软件检测的联邦学习系统）搞明白啊，术语不统一自己也很凌乱。 - -### 术语规范 -1. 基于联邦学习的恶意软件检测方法、基于联邦学习的恶意软件检测系统 -2. （差分隐私+元学习+用户贡献度）联邦学习框架恶意软件检测方法/系统 -3. 基于差分隐私的联邦学习框架 -4. 基于用户贡献度和元学习的联邦学习框架 -5. 基于用户贡献度和联邦元学习的恶意软件检测方法 diff --git a/工作日志/2021年11月29日-今日计划.md b/工作日志/2021年11月29日-今日计划.md deleted file mode 100644 index f911ed6a..00000000 --- a/工作日志/2021年11月29日-今日计划.md +++ /dev/null @@ -1,15 +0,0 @@ -## 任务 - - - - -## 收获 - -1. 意志：觉得我现在做的是有意的，热情，惯性。 -2. 思维：注意力，远离干扰，离手机远点。 -3. 情感：开心、平淡。调节不良情绪，兴趣爱好，冥想日记，聊天。 -4. 体能：睡眠、运动、饮食。 - -由底层到高层的金字塔，逐渐加强。由高层到底层进行控制。 - -张雪峰罗翔大漠叔叔谭警官阿特 \ No newline at end of file diff --git a/工作日志/2021年11月4日-十一月份计划.md b/工作日志/2021年11月4日-十一月份计划.md deleted file mode 100644 index dd087e82..00000000 --- a/工作日志/2021年11月4日-十一月份计划.md +++ /dev/null @@ -1,37 +0,0 @@ -## 十一月份计划 - -> 参考 -> 四月份计划、五月份计划、七月份计划。 -> 开始执行具体的计划。 - - -### 数据处理12.8-12.12 - -* [x] 恶意软件论文阅读 9-12月的论文阅读。 -* [x] 数据集收集 -* [ ] 数据集特征提取和打标签 - -### 模型构建12.13-12.19 -* [ ] 模型建立。包括基本神经网络模型、卷积神经网络、图神经网络等。 -* [ ] 集中式机器学习。得到不错的模型里训练效果，并且对比各种顺境网络 - - -### 算法1：联邦学习实验12.20-12.31 -* [ ] 非独立同分布实验效果调整 -* [ ] 对个人的方法进行持续的改进 - -### 算法2：隐私保护实验01.01-01.09 - -* [ ] 隐私保护实验验证 -* [ ] 对该方法进行持续改进 - -### 系统构建01.09-01.26 - -> 关于系统构建的说明 - -* [ ] 服务注册与发现 -* [ ] 远程协同训练系统的实现 -* [ ] 前端界面实现 - - -### 论文专利12.12-1.1 diff --git a/工作日志/2021年11月5日-工作岗位.md b/工作日志/2021年11月5日-工作岗位.md deleted file mode 100644 index 91f70bb8..00000000 --- a/工作日志/2021年11月5日-工作岗位.md +++ /dev/null @@ -1,73 +0,0 @@ -## 个人分析 -> 有个人教会自己生活就好了，你还指望，她能帮你打理好工作，你有病吧。当个人吧，做点人事。 -> 总有一天，你会发现彼此都是普通人。 -### 需求 - -* 工资（40%） - * 总包40w以上，基础工资越高越好。 - * 年终奖+绩效奖金 -* 福利（10%） - * 户口（中等，可以走双一流学科，大部分企业应该都能够提供户口） - * 股票、签字费。可有可无 - * 五险一金（待遇基本一致） -* 平台（40%） - * 技术栈（java？C++？Go？） - * 业务内容 - * 发展前景 -* 环境（20%） - * 晋升空间 - * 工作环境（工位、饮食） - * 人文环境（加班、） - -## 需要考虑的公司 - -### IBM -* 岗位： -* 待遇： -* 优劣： -* 进度：拒绝 - - -### 美团 - -* 岗位： -* 待遇： -* 优劣： -* 进度： - -### 蚂蚁金服 - -* 岗位： -* 待遇： -* 优劣： -* 进度： - -### 字节跳动 - -* 岗位： -* 待遇： -* 优劣： -* 进度： - - -### 华为 - - - -* 岗位： -* 待遇： -* 优劣： -* 进度： - - -### 小米 - -* 岗位： - * 云计算-软件开发 -* 待遇： -* 优劣： -* 进度： - -* 完全明白我们的业务内容，估计也不会跑出这个范围。太偏业务了。想去做点底层技术，能够加深对技术理解的工作。 -* 大概能找到真正适合自己的地方。尝试一下吧。回来把这张表格填完。 -* 不要妄自菲薄，也不要过度用词。 \ No newline at end of file diff --git a/工作日志/2021年11月8日-今日计划.md b/工作日志/2021年11月8日-今日计划.md deleted file mode 100644 index ea9c20b1..00000000 --- a/工作日志/2021年11月8日-今日计划.md +++ /dev/null @@ -1,6 +0,0 @@ -## 任务 - - -## 收获 - -> \ No newline at end of file diff --git a/工作日志/2021年12月10日-今日计划.md b/工作日志/2021年12月10日-今日计划.md deleted file mode 100644 index 36463274..00000000 --- a/工作日志/2021年12月10日-今日计划.md +++ /dev/null @@ -1,4 +0,0 @@ -## 任务 -> 要回自己的位置完成这一系列的任务了。 - -* [x] drebin相关数据集整理完成。代码跑通。 \ No newline at end of file diff --git a/工作日志/2021年12月13日-今日计划.md b/工作日志/2021年12月13日-今日计划.md deleted file mode 100644 index 395c5b68..00000000 --- a/工作日志/2021年12月13日-今日计划.md +++ /dev/null @@ -1,10 +0,0 @@ -## 任务 - - -* [x] 电影整理和下载（规划最近想看的电影） -* [x] 手机照片和表情包的整理 -* [x] 双旦计划制定完成 -* [x] androguard教程今天看完 -* [x] 看完两个androguard的工程（现有的那个太老了） - -## 收获 diff --git a/工作日志/2021年12月16日-今日计划.md b/工作日志/2021年12月16日-今日计划.md deleted file mode 100644 index c80a4d4d..00000000 --- a/工作日志/2021年12月16日-今日计划.md +++ /dev/null @@ -1,10 +0,0 @@ -## 任务 - -工程阅读计划开始。 -* [ ] drebin-master -* [ ] HGdroid-Method -* [ ] - -## 收获 - -好激动啊，可以好好干活了。我觉得心情很好，也很期待有她的生活。 \ No newline at end of file diff --git a/工作日志/2021年12月28日-今日计划.md b/工作日志/2021年12月28日-今日计划.md deleted file mode 100644 index c3ae36ca..00000000 --- a/工作日志/2021年12月28日-今日计划.md +++ /dev/null @@ -1,12 +0,0 @@ -## 任务 -* [x] 论文阅读Drebin -* [X] 论文阅读Androzoo -* [x] 论文阅读CIC -* [ ] 论文阅读图神经网络 - - -## 收获 - -* 别人喂到嘴里的都不吃就是傻逼。开始吧。将谈恋爱和工作分开，处理好所有的事情。 -* 别把一手好牌打的稀烂 -* 现在需要做的是，大量阅读 恶意软件 检测和分类 的相关论文，然后复现他们的方法。在复现的基础上进行进一步的改进。我觉得图神经网络确实是一个不错的点。接下来就是大量搜集论文看论文，并像之前那样开始复现好了。 \ No newline at end of file diff --git a/工作日志/2021年12月29日-滑雪教程.md b/工作日志/2021年12月29日-滑雪教程.md deleted file mode 100644 index bbff7ca2..00000000 --- a/工作日志/2021年12月29日-滑雪教程.md +++ /dev/null @@ -1,81 +0,0 @@ -# 滑雪教程&跨年攻略 - - -## 物品装备 - -* 早餐、午餐（如果不晕车的话最好在车上吃完，中午午休可以吃准备好的午餐） -* 学具、雪服（可以考虑，担心不合身，自己穿好运动装）、滑雪镜25、手套5、头盔20 -* 晚餐，烤肉or其他 - - - -## 路线行程 -提前一天准备好物品。 -6:20 起床收拾东西，6.50准时出发。 -8:00 亮马桥地铁站C口出行 -9:30 到达，并用半个小时入场 -16:40 乘巴士前往北京（路上点好外卖） -18:15 返回，并找地方吃饭休息 -19:00 诶，就是玩 ------------------------------------------ - -## 跨年方案 - -回来的路上考虑。外卖可以考虑单点的酒吧酒水。 - -* 吃的话交给小玉想好了。 - * 可以炸鸡、烤肉 - * 可以搞个小蛋糕？就买小玉喜欢吃的那个吧 -* 小饮怡情 - * 威士忌（金宾波本、百龄坛，鉴别一下平价的美国威士忌和苏格兰威士忌的区别）+饮料（大桶可乐、雪碧、美年达、旺仔牛奶、绿茶红茶、红牛、咖啡、椰汁）+冰块 - * 威士忌+热蜂蜜水（难搞）+柠檬水 - * 两个小杯，一个大杯。鸡尾酒应该是没办法调制了，需要的材料有点多，超市又买不到。 -* 玩的话 - * 哔哩哔哩电影+跨年晚会 - - - -## 滑雪教程 - -### 认识 -1. 认识器材：雪板，滑雪杖。前后固定器。雪板的原理。 -2. 适应器材： - 1. 穿雪板，站在固定器旁边，先穿外侧脚。 - 2. 尝试原地重心前倾，小腿和全身重心都要斜向前。屁股可以抬高点。小腿前倾给雪板前方加压。这可能与平底站立最不同的地方。平地的时候重心压在脚上，而这个时候要压在雪板上。 - 3. 双手环抱。不能扭动脚腕。 - 4. 脱落判定。 -3. 平移上坡：八字脚移动。上坡，平行登坡和八字登坡。用侧边卡住雪地。 -4. 原地刹车：原地刹车练习。尽量保持上半身不动。 -5. 摔倒： - 1. 重心要低，非常低，逐渐降低，摔倒的冲击力会变小。 - 2. 必须侧面摔倒，不能扭转膝盖，不能前后摔，向坡上摔倒。 - 3. 主动摔倒。 - 4. 站立，可以先脱离雪板。 -6. 缆车。双板平行，雪仗拿好。 - -### 梨式教程 -1. 刹车加速：膝盖内扣，重心不要太前太后，略向前倾，主要是初学**重心的前后分配**。用侧边卡雪。平行加速。八字平行转换练习。 -2. 犁式转弯：重心转换，重心加在外侧脚。用重心和下半身控制，入弯的时候重心下降，给雪板加压，出弯的时候重心稍微升高，释放压力。 - -### 平行教程 -1. 静止平行：平行立刃可以非常高，不会伤膝盖，朝同一个方向立刃，刹车效果更强。感受静止的平行立刃，主要是学会用双板的外侧刃滑雪。梨式到平行的转换，山下脚永远力量强，收山上脚。主要练习**重心的左右分配** -2. 横滑降。使用横滑向山下运动。可以在教小玉的时候使用横滑降。 -3. 斜滑降：有一个斜的方向。下陡坡。 -4. 一千只脚：单脚横滑。都用山上侧的刃。斜桦或者横滑。 -5. 鹤弯：单脚下滑联系，让外侧退承重，抬起内测退。 -6. 海浪湾：双脚平行，加速减速，像波浪一样。小角度转弯，尝试平行的加减速。平行向下加速，平行垂直滚落线减速。 -7. J弯：更大角度的海浪湾。向下加速更快，垂直滚落线减速的时候，更大角度，朝上。 -8. 平行刹车：更大角度的J弯。迅速转换成刹车状态，J的收尾动作变成停止，称为更小的弯。 -9. 冰球刹车，利用平行刹车减速，不需要完全刹停有一点速度，可以继续启动。涉及到双板加压，释放压力的过程。 -10. C弯/S弯：双板平行。平行式的最终版联系。尝试让双腿记住平行式的外侧刃和内测刃感觉。 -11. 上下分离：横拿雪仗。让上半身保持静止，控制中心的稳定性。下半身的腿部动作，实现方向的转换。 -12. 压力释放cross over：主要练习的是平行双板下**重心的上下分配**。加压的时候，降低重心，引身向下。释放压力的时候，升高重心，向上引申。可以通过冰球刹车练习，甚至可以让双板离地。 -13. cross under：完全通过腿的动作，伸腿、曲腿实现加压和释放。 -14. 点杖：手部力量。这个，根本不用学好吧， - - - -### 花式教程 - -1. 无敌小回转 -2. 落叶飘 \ No newline at end of file diff --git a/工作日志/2021年12月6日-十二月计划.md b/工作日志/2021年12月6日-十二月计划.md deleted file mode 100644 index a68baa47..00000000 --- a/工作日志/2021年12月6日-十二月计划.md +++ /dev/null @@ -1,28 +0,0 @@ -# 十二月份计划 - -> 由于十月十一月休息了两个月。已经完全没有时间在进行放松了。所有的东西都已经稳定下来了。工作、感情。我觉得可以心无旁骛的认真工作了。考虑过自己是个什么样的人，喜欢用什么样的方式学习。想要开始拼命，好怀念那种心无旁骛拼命学习的感觉。 -> 需要投入大量的时间。每天保证至少有完整的是个番茄钟。每个番茄钟合理分配。 -> 工作十分艰难。小玉的数据集、数据集生成和特征处理、算法都基本完成了，而且有一些相似的实验可以参考。但是自己从头到尾，从数据处理到算法实现再到系统设计与实现，都只是一个初步的想法，距离完成还有很长的距离要走。所以必然要付出更多的时间。你应该紧张焦虑一些，不要把紧张焦虑传递给别人，而是push自己更好的前进。别再执迷不悟了，你已经没有任何时间用来玩耍了，可以用更多的时间来讨论学术问题，来一起学习。我觉得why学弟做的非常好，也许恋爱并不是花里胡哨的玩耍，还有一块学习、一块前进，将感情与工作结合起来。 -> 自己的问题自己解决。经过几次看病，我发现，自己已经没办法像个孩子一样博取同情和关爱了。以前总会有人悉心的给自己讲解一些东西，可以装傻卖萌装可怜，然后就有人来关心自己，帮自己解决问题，但是现在是个成年人了，也不像可爱的女孩子一样，具有天然的优势，必须得通过自己的说话的技巧、拳头的硬度来解决问题了。 -> 果然有一个个矛盾和无数的问题等着自己，只要我们还挨着彼此，就回跨越所有的障碍。 -> 十二月的计划，应该按照路程前进，别满脑子都是别的东西了。你的暗示只会把自己搞崩溃。 -> - - - -> 不想到最后一脸怂样地面对被人，不想总是一脸无辜的去请求别人的帮助。像个菜鸡弱者。一点都不争气。很烦这种状态。现在就很紧张。每天必须完成固定多的任务，才能回宿舍。可以送她到一半然后自己再工作一会。好害怕因为学习影响跟她的感情。接下来要按自己的节奏试试，用自己一直不想用的老办法。 -> 这个月还剩下二十天。看看自己的十一月份计划。把系统除外的东西做完把。尽量多地完成自己的算法，融合好自己的系统。把理论部分研究清楚。一月份把系统做的差不多，才能安心回家过年。兄弟，没时间了。为了毕业，为了自己也为了她。只有处理好自己的事情，才能让两个人的关系更加稳定，如果你每天都在单方向地传递自己的焦虑，肯定最后要失去一切。好好干活，可以不用每天想着怎么玩，可以交流一下怎么工作。想想之前跟w讨论工作的事情。 -> 一月份做完系统还要写完论文。只有这样才能安心回家过大年啊。 - - -> 关于今日分的感情思考。再想一会就去吃饭了经常在思考。怎样才能让感情变得自然一点，变成双向奔赴的一些东西。不懂时间根本不够好吧。我觉得感情上的事情就到此为止了把，没有必要思考了。我现在要想的是我的工作。简单点，发现生活的眼睛，别想着刻意的安排了。 - -> 关于今日份的感情思考。tmd感觉感情这种东西，能让自己虚脱。你干嘛之前那样，我开始后悔。只能是这样，她喜欢什么就喜欢什么把，我应该有自己的生活和爱好。我应该有自己的空间。做自己该做的事情。认识自己的朋友，跟他们出去玩玩，发朋友圈。而不是屏蔽所有的社交关系。 - -> 凭什么有那么多奇怪的要求，爱到深处自然浓，干嘛让所有的过程这么不自然，想要规划好，应该做的事情，她应该的表现，我应该的表现。这些多无聊啊，感情就是感性的过程，不需要思考那么多，跟着感觉走就好了。 - -> woc，ykl别傻逼了。搁这浪费时间呢。我觉得我不应该这样，还不如出去思考思考自己该做什么。去转转吧。去绿源走两圈，阳光挺好的。然后去吃饭。 - -> 大家都他妈的毕业了，剩下的没多少人了。算了算，最多还剩下一百个没有毕业的，也不算少数了，最近还是好好努力一把，把东西做出来。好激动，我觉得我马上就能把实验做完了。加油吧，殷康龙，过几天整理好。把所有的代码实现。 - -> tmd这怎么能学的下去。我现在应该全身心的投入到学习当中，而不是在这里瞎想。 diff --git a/工作日志/2021年1月13日-第三次组会.md b/工作日志/2021年1月13日-第三次组会.md deleted file mode 100644 index 5bc6aa58..00000000 --- a/工作日志/2021年1月13日-第三次组会.md +++ /dev/null @@ -1,4 +0,0 @@ -> 提纲 -> 1. 数据集内容 -> 2. 分析工具 -> 3. 分析方法 \ No newline at end of file diff --git a/工作日志/2021年1月4日-一月份安排.md b/工作日志/2021年1月4日-一月份安排.md deleted file mode 100644 index 0e96bb02..00000000 --- a/工作日志/2021年1月4日-一月份安排.md +++ /dev/null @@ -1,32 +0,0 @@ -## 第一周 - -### 主要任务 - -1. 恶意软件相关论文阅读 - 1. 数据集 - 2. 数据集的处理方法 - 3. 模型 - 4. 模型的训练方法 -2. 构建数据集 - -## 第二周 - -### 主要任务 - -1. 数据集处理 - 1. 处理方法 - 2. 自动处理 - -## 第三周 - -### 主要任务 - -1. TensorFlow学习 -2. 神经网络模型构建 -3. 进行单机训练 - -## 第四周 - -### 主要任务 - -1. 模型训练调优 diff --git a/工作日志/2021年2月24日-工作重述.md b/工作日志/2021年2月24日-工作重述.md deleted file mode 100644 index e7459836..00000000 --- a/工作日志/2021年2月24日-工作重述.md +++ /dev/null @@ -1,18 +0,0 @@ -## 工作安排 - -1. **技术调研**，三个方向的相关论文阅读技术范式确定。 -2. **基础知识**，实现机器学习+深度学习的基本算法。并看李宏毅的教程和西瓜书。 -3. **数据集和预处理**工作。相关数据集构建、反编译工具使用，完成恶意软件的代码分析工作。 -4. **特征提取** -5. **神经网络模型**的构建与本地训练。效果评估，验证机器学习算法的有效性 -6. **联邦学习框架**的实现。效果评估，验证联邦学习框架的准确率不会降低 -7. **威胁模型**的应用。验证威胁抵抗效果 -8. **半监督学习**的实现。验证半监督方法的有效性。 -9. **集中在线增量学习**的实现，验证算法的有效性。 -10. **联邦在线半监督**学习的实现。 -11. 检测效果最终的效果评估。 -12. 威胁信息生成 -13. 生成效果评估 - - -![](img/2021-02-24-10-49-35.png) \ No newline at end of file diff --git a/工作日志/2021年2月27日-三月份计划.md b/工作日志/2021年2月27日-三月份计划.md deleted file mode 100644 index 64ddefdd..00000000 --- a/工作日志/2021年2月27日-三月份计划.md +++ /dev/null @@ -1,113 +0,0 @@ -## 任务 - -### 毕设 - -- 读论文 -- 论文复现（一周时间） - -### 工作 -> [C++学习路线](https://www.zhihu.com/collection/589776737) -> -> 由于go与java不能兼容。go在某种程度上更加简洁高效，在新的业务中大有取代java的趋势。所以接下来的准备添加go的内容。 -- 制作简历（明天）√ - - [x] 简历说明 -- 知识复习——语言 - - C++（primer）（四周） - - [x] 基础语法 √ - - [x] 标准库 STL√ - - [x] 面向对象 √ - - [x] 设计模式（有道云笔记，源网址，gitee设计模式库，书）√ - - [ ] effective 系列 - - [ ] 系列视频（知乎上收藏的内容） - - [ ] 狂神linux系列 - - [ ] C++ coding系列 - - [ ] 看大佬写C++。(chermo) - - [x] 面试问题专项解决 - - ~~Java（四周）~~ - - [ ] ~~语法~~ - - [ ] ~~标准库-网络编程~~ - - [ ] ~~标准库-并行编程（多线程）~~ - - [ ] ~~标准库-IO编程~~ - - [ ] ~~javaEE 和 java web~~ - - 数据结构（一周） - - [ ] 《大话数据结构》 - - [ ] 《数据结构与算法分析》 - - [ ] 《算法图解》 - - [x] 数据结构笔记（线性、堆栈、树、图） - - 算法（一周） - - [x] 学习、复习枚举法 - - [x] 学习、复习分治法（把相关思想下的问题和算法补充完整） - - [x] 学习、复习动态规划 - - [x] 学习、复习贪心 - - [x] 学习、复习回溯剪枝 - - [x] 学习、复习分支限界 -- 知识复习——基础（一周） - - [x] 计算机网络 - - [x] 应用层 - - [x] 传输层 - - [x] 网络层 - - [x] 链路层 - - [x] 物理层 - - [x] 数据库 - - [x] mysql - - [x] 并行处理 - - [x] 基础知识 - - [x] 操作系统 - - [x] 进程管理 - - [x] 处理机管理 - - [x] 设备管理 - - [x] 文件管理 - - [x] 系统调用 -- 知识复习——框架 - - ~~Spring系列（四周）~~ - - [ ] ~~spring~~ - - [ ] ~~spring MVC~~ - - [ ] ~~spring boot~~ - - [ ] ~~redis~~ - - [ ] ~~mybatis~~ -- 编程实战 - - linux系统编程（四周） - - [ ] 网络编程（socket网络编程） - - [ ] 并行编程（多线程、多进程并发编程） - - [ ] IO编程（实现多种机制的IO方式select/poll/epoll/signal/async等） - - [ ] 系统编程（linux操作系统编程） - - C++通用库跨平台编程（两周） - - [ ] 网络编程（socket跨平台网络编程） - - [ ] 并行编程（多线程、多进程并发编程） -- 刷题 - - 力扣（学习、题库、讨论。侧重于刷算法类型的题目和相关讨论） - - 学习：3-5 本书的学习需要阅读的书籍如下 - - [ ] 数组、链表、队列、树（堆）、图(数据结构专项) - - [ ] 初级算法 - - [ ] 中级算法 - - [ ] 高级算法 - - 题库：然后按照热度刷题库 - - [X] 剑指 offer√ - - [x] 每日一题 - - 讨论：没事看讨论，主要是一些面经和基础知识，可以补充 - - 牛客网（学习、社区、求职基础知识的学习） - - 题库（知识用来刷题） - - [ ] 经典必刷题目 - - [ ] C++专项练习 - - [ ] JAVA 专项练习 - -### 问题（待处理） - -- [x] 关于递归的方式。头递归。尾递归。递归前和递归后的处理。递归前的处理，影响或许递归。递归后的处理，恢复之前的影响。那个应该是一个典型的递归搜索路径的问题。 -- [x] 关于树的处理。前序遍历中序遍历后续遍历。 -- [x] 关于位运算的特殊总结。 - -## 安排 - -- 知识复习——数据结构与算法 - - 明天早上，根据已经下载好的笔记，读博客已经收藏的博客，修改笔记。关键部分写代码。 -- 刷题——剑指 offer、经典必刷提、C++专项练习。 - - - -## 收获 -* 第一周时间完成了C++语法、C++标准库、C++面向对象的总结。 -* 第二周时间完成了数据结构的复习。用两天时间复习了基础的数据结构。然后开始刷题。上周二、周三。一边刷题。一边总结了数据结构相关的代码。一边对算法基础、递归迭代、深度广度搜索进行了总结。对具体的算法的总结还么有开始。 -* 第三周继续刷算法题。并对算法进行深入的总结。现在那些较难的算法（动态规划和图算法）还没有完成总结。还包括一些特殊的数据结构，例如单调栈的特性的总结。 -* 第四周，与第三周的事情交叉进行，主要画一天时间，复习了Python的相关内容。熟悉了Python、numpy、matplotlib。然后用剩下的时间学习了sklearn机器学习和pytorch深度学习。准备了寒假和开学后做的东西，进行组会。感觉剩下的东西有点多。想想这几天做的事情也没有那么多。还需要完成第三周交叉没有完成的算法的总结。 -* 第五周，主要对基础知识进行总结，包括算法的基础知识和理论知识。截止到4.5号。总共五周的时间。复习的内容包括计算机操作系统、数据库、计算机网络。包括算法的枚举法、分治法、动态规划、贪心、回溯法、分支限界、图算法。手写了Dijkstra、floyd、prim、kruscal等图算法，bellmanford等一系列的算法等以后再学习，手写了六个排序算法。基础理论知识包括数据库、计算机网络和操作系统。其中操作系统部分需要记忆和搞明白的东西比较多，主要包括三个点：进程/线程的同步和通信原理、进程/线程的同步和通信代码实现、设备IO的实现原理、设备IO的代码实现、网络通信的基本原理、网络通信的代码实现（socket编程） \ No newline at end of file diff --git a/工作日志/2021年3月15日-每日计划.md b/工作日志/2021年3月15日-每日计划.md deleted file mode 100644 index 9e0f8931..00000000 --- a/工作日志/2021年3月15日-每日计划.md +++ /dev/null @@ -1,9 +0,0 @@ -## 今天的计划 - -- [x] 刷完今天的十道题 √ - -## 今天的收获 - -* 在正则表达式匹配和整数匹配哪里。把正则表达式的相关内容整理了一遍。主要通过regex/regex_match/regex_search/smatch/sregex_ietrator五个类或方法来实现正则表达式的匹配。同时对C++支持的正则表达式规则有了认真的学习。 -* 流输入输出的方法。以前对各种get/put方法有很多凌乱。今天彻底确定了流对象的所有能用的操作。最基本的支持格式化的流输入输出运算符。getline函数能够提供到终止字符的输入。read/write是用来写缓冲区或者二进制数据的。get/put使用了读取一个字符的。其他的东西。都不用记忆也不用学。 -* 把优先队列相关的内容进行总结了一下。对容器相关的操作有了新的认识。优先队列的创建、使用方法。最主要的是。所有容器的通用的方法。那些贴图太难看了。日后用到或者有不明白的地方，再回来整理md形式的表格。另外。以后记忆函数，必须包括函数的参数和返回值。如果没有参数和返回值，根本不知道怎么用。因为C++ intelli提示太垃圾了。根本看不懂。 \ No newline at end of file diff --git a/工作日志/2021年3月16日-每日计划.md b/工作日志/2021年3月16日-每日计划.md deleted file mode 100644 index f22cdc64..00000000 --- a/工作日志/2021年3月16日-每日计划.md +++ /dev/null @@ -1,21 +0,0 @@ -## 今天的计划 - -- [x] 刷完十道题 - - -## 今天的收获 - -* 总结了算法问题的处理步骤：问题分析、策略选择、算法设计。对问题总共分为七大类（查找线性结构、搜索分支结构、排序、字符串、排列），数据结构总共分为四大类（数组链表、堆栈队列、树、图），算法思想总共分为九大类（蛮力法、分治法、动态规划、贪心、回溯剪枝、分支限界、随机化和近似算法、递归与迭代、深搜与广搜）。明确了算法思想并不是独立的关系，而是相互重叠又相互不同的关系。 -* 明确了算法的终极目标：次序、选择、重复。使用这三个东西的组合，处理各种有趣的问题。 -* 对递归思想和迭代思想进行了彻底的理解。 - * 递推关系式。正向递推关系式和反向递推关系式。数学推导法和归纳法。递归与迭代。 - * 明确了递归的分类包括单分支递归和多分支递归。 - * 明确了递归和迭代的相同点和不同点。二者都能处理重复的问题。但是递归能够处理多分支结构。迭代需要借助特殊的数据结构才能处理多分支的数据结构。如堆栈和队列。 - * 明确了递归和迭代构件的步骤。包括向下的接口（参数），向上的接口（返回值），递归的处理（递推式），递归前和递归后。循环的递推变量（递推式），重复处理，循环的终止条件。 -* 对递归和迭代、深搜和广搜与其他部分的关系进行了处理。 - * **蛮力法**（树图特殊数据结构）与**深搜广搜**。用来遍历求值。 - * **回溯剪枝与深搜**。用来遍历求路径。 - * **分支限界与广搜**。用来遍历求路径。 - * **分治法与递归迭代**。多分支递归，单分支递归迭代都行。 - * **动态规划只能与迭代结合**。因为有很多重复的子问题，所以不能使用递归。 - * **递归和迭代用来实现深搜广搜**。 diff --git a/工作日志/2021年3月17日-今日计划.md b/工作日志/2021年3月17日-今日计划.md deleted file mode 100644 index d2f8d4e2..00000000 --- a/工作日志/2021年3月17日-今日计划.md +++ /dev/null @@ -1,15 +0,0 @@ -# 计划 -- [x] 对刷题的内容进行总结。首先进行这个总结。(一半了) -- [x] 实现字符串分割和字符串格式化的方法（C++库string篇） -- [x] 学习、复习枚举法 -- [x] 学习C++容器。对容器的构造函数进行总结。 -- [x] 学习C++容器。对每个容器的基础操作进行总结。 -- [x] 学习C++模板算法。对算法的第三个参数进行总结。 -- [x] 需要重新看一下补码、原码相关的加减法操作。 -# 收获 - -* 学会了sort的第三个参数的应用 -* （学会了动态规划，进行了总结） -* 内存的直接copy要比循环赋值快的多。比如在vector.erase中删除一个元素。剩下的元素会直接通过内存拷贝的方式移动到前边。insert 后会直接内存拷贝移动到后边。 -* 例如数组初始化的时候。可以通过内存拷贝实现初始化。而非通过循环一个个赋值。vector中提供了统一元素复制的构造函数constructor(n,t)。通过assign(n,t)函数或者其他方式进行初始化，远远比循环初始化快的多得多。顺序容器中提供了范围插入的方法。 -* 应该对数组的迭代器（指向元素的指针）进行更熟练的使用。 \ No newline at end of file diff --git a/工作日志/2021年3月18日-今日计划.md b/工作日志/2021年3月18日-今日计划.md deleted file mode 100644 index 37ae7f30..00000000 --- a/工作日志/2021年3月18日-今日计划.md +++ /dev/null @@ -1,14 +0,0 @@ -## 计划 - -> 完成昨天的任务。 - -- [x] 学习、复习图算法，动手实现所有的图算法。 -- [x] ~~看完数据结构与算法的三本书！！！对相关的原理进行复习和总结。~~ -- [x] 学习机器学习的实现方案。毕设计划真正的开始执行。 -- [x] 关于字符串分割。字符串格式化方法的总结。转换成流，作为流对象处理。转换为容器。作为容器对象处理，使用泛型算法。 - - -## 收获 - -* 使用递归不能解决动态规划问题。适应为动态规划的子问题有重复。使用递归的方法。会导致重复计算的问题。 -* 使用回溯法解决迷宫问题。是因为回溯法和深度优先搜索，在某一时间，只处理一条路径。不需要记住多个搜索方案的搜索状态。如果是广度优先搜索，则需要记录当前所有的路径的另状态。 diff --git a/工作日志/2021年3月19日-四月份计划.md b/工作日志/2021年3月19日-四月份计划.md deleted file mode 100644 index 1d27d1e2..00000000 --- a/工作日志/2021年3月19日-四月份计划.md +++ /dev/null @@ -1,135 +0,0 @@ -## 任务 - -> 复习计划暂时搁置。开始机器学习的计划（第二篇）五月份学弟就要毕业了，也就是在四月份一个月要把一下的东西全部搞出来。 - -> 当前工作的主要的三个方向 -> -> 1. 机器学习算法实践。 -> 2. 联邦学习文章复现。 -> 3. 恶意软件数据处理。 -> -> - 静态数据处理 -> - 动态数据处理 - -### **机器学习算法实践（四周）** - -> 尝试各种机器学习算法，主要使用主流的算法框架。寻找网络教程，完成这一块，还有很多书。机器学习算法，应该由浅入深。不能像之前那样想先学会所有的原理，自己手动实现这些原理，然后使用别人的框架实现这些过程，在别人的基础上进行改进。当前应该吧顺序颠倒过来。从使用开始，逐渐理解底层的东西，然后做出适当的修改。 -> -> 1. ->使用算法框架或别人的代码解决问题 -> 2. ->理解该代码的底层逻辑 -> 3. ->理解机器学习算法的原理 -> 4. ->改进算法符合自己的预期目标。 - -- 机器学习分类 - - - [X] 《机器学习实战》（算法原理+numpy 实现） -- sklearn - - - [X] 学习基础用法 - - [X] 分类算法实现 - - [X] 恶意软件机器学习分类 -- tensorflow - - - [X] 学习 TensorFlow2.0 基础 - - [X] TensorFlow 恶意软件神经网络分类 - - [X] tensorflow federated学习 - - [X] TensorFlow 联邦学习实现 -- pytorch - - - [X] pytoch学习 - - [X] pytorch 恶意软件神经网络分类 - - [X] pysyft学习 - - [X] pysyft联邦学习实现 -- fate - - - [X] ~~学习fate的使用~~ - - [X] ~~使用fate完成开发~~ -- 复习(xmind+tutorial+api) - - - python系列复习 - - [X] python - - [X] numpy - - [X] matplotlib - - [X] pandas - - - [X] sklearn复习 - - [X] pytorch复习 - - [X] tensorflow复习 -- 复习（**视频教程**） - - - [X] pandas - - [ ] sklearn - - [ ] pytorch - - [ ] pysyft - - [X] tensorflow - -> 由于只是太多太乱，感觉需要二轮的复习。 -> -> 1. 首先，学习完成所有的内容，大致会用，完成第一次开发。 -> 2. 然后看论文，进行第二轮复习，完成第二轮开发。第二论复习主要使用xmind进行知识的整理和规划。第二轮开发主要是结合论文中的方法，对论文中方法进行复现。 - -### **恶意软件数据处理（四周）** - -> 针对恶意软件使用机器学习算法。尝试单机或者使用联邦学习解决恶意软件中的问题。 - -- 恶意软件数据的处理 - - [X] 静态数据处理 - - [X] 动态数据处理 -- 恶意软件分类 - - [X] sklearn - - [X] TensorFlow - - [X] pytorch -- 恶意软件+联邦学习 - - [X] tensorflow federated - - [X] pysyft - -## 安排 - -1. 某天sklearn一个机器学习小算法 -2. 某天一个联邦学习框架、深度学习框架 -3. 某天一篇联邦学习的文章。 -4. 某天数据集处理一小步。 - -## 目标 - -> 任务是目标的细化。 - -### 机器学习原理与实践教程 - -- 吴恩达机器学习教程 -- 吴恩达深度学习教程 -- 机器学习实战 -- 深度学习实战 - -### 机器学习的技术栈 - -> 原理已经差不多。接下来应该是学习技术。进行实践 - -- 语言基础 - - Python - - numpy - - scipy - - pandas - - matplotlib -- 机器学习基础 - - sklearn -- 深度学习基础 - - TensorFlow - - tensorflow federated - - pytorch - - pysyft - - fate - -## 计划 - -在笔记本上的阶段性安排： - -1. 第六周：机器学习技术栈的全部完成 -2. 第七周：基本数据处理-工程实现完成 -3. 第八周：彻底接受学弟的论文工作内容。完成基础三篇论文的复现工作。 - -## 收获 - -* 第六周（4.5-4.11）:本来应该完成的任务都没有完成。基础知识没有学习完，一直在准备面试笔试相关的东西。 -* 第七周（4.12-4.18）：已经收尾了本来应该完成的任务也一直没有完成。至少把之前的计划完成。四月份计划彻底解决。 -* 第八周（4.19-4.25） diff --git a/工作日志/2021年3月1日-感悟.md b/工作日志/2021年3月1日-感悟.md deleted file mode 100644 index d4fcbaad..00000000 --- a/工作日志/2021年3月1日-感悟.md +++ /dev/null @@ -1,17 +0,0 @@ -## 一个程序员的自我修养 - -有强烈的欲望想去准备好面试相关的事情。想要复习一下那些内容。天气也很好。雨后初晴，春天已经来了，强烈的感觉，羽绒服也该收起来了。想要去跑步。刚才睡觉的时候想了好多事，发现自己对赚钱？成功？实现自己的梦想的欲望，只是被自己隐藏起来了，并没有衰减。精心收藏在自己内心的某个角落。也许特别适合在这样一个天气，重新想起来。 -从今天开始，恢复正常的生活。 -还是会不间断的做梦，梦到她，总是总是总是出现在某个场景中，它的微笑，它的言语，它的宽容。果然世界上最宽容的人只能是她。原谅了自己所有的过错，如果只剩下最后一个选择权，她也会义无反顾。失去了生活中的她。她总会以某种形式出现在我的身边，再回到我的身边。大概，梦境成了我们最好的交流方法。 -这几天看了很多很多番剧。疯狂补番。 -动物狂想曲，老记成疯狂动物城。op和ed也太好听了吧。在黑夜中探索，看起来走了一条必然通向错误的路，不敢坚持也不想放弃，究竟怎样才能下定决心。已经两季了，黑暗之中的迷茫逐渐逐渐消失，或许，凭借自己的感觉，终究会走出这片阴影。外边的天空好棒啊。为什么这窗帘总是放下来，好想收上去看看外边的风景。剧情的设定令人匪夷所思，总是感觉极度的不适。食肉与食草的矛盾，作为明线贯穿始终，就像现实生活中那些因为对立而存在的事物——资本家与工人。他们因为天生的对立，永远无法站在对方的立场上说话。然而让他们共荣的方式只有一种，弱者凭借绝对的数量优势和道义优势登上统治者的舞台，强者天生的本能只能作为一种苟且的力量被隐藏在地下。唯有这种社会，能够保持两者共生，但却永远无法化解相互之间的矛盾，对立永远存在——弱者对于力量的恐惧，强者对于欲望的压抑。最平稳的共生环境，却是最危险的共生环境，相互忌惮，虚伪的平衡。一方坚守的是道义，却连本性都无法顾及；一方坚守的是规律和本性，却因为道义而禁声。而打破平衡的曙光，加剧对立？还是消除恐惧与道义的谴责？只有一个办法，男主与女主。作为弱者的一方，站到强者，作为强者的一方，称为弱者。鹿与狼的命运，成为彼此。当划分强弱的方法遭到动摇——食肉与食草，这种虚伪的平衡便不复存在。哲学番。 -另一个番剧是进击的巨人。最终季终于要结束的了，剧情按照剧本稳健的推进，一切都显得那么不可思议却仍在情理之中。最终的结局究竟是怎么样的，毁灭世界？还是简简单单的回归平静？有无数的猜测和演绎，不到最后一刻，大概我永远猜不到，艾伦到底是通过怎样的方法化解几千年的矛盾？从破墙开始，剧情就开始离谱；然后破墙的巨人竟然是人变得；岛上的人竟然都是巨人的后代？墙里边竟然也是巨人？最大的幕后黑手竟是我自己？王政篇彻底将食物链上的捕食者与实务之间的关系，变成了人与人之间弱肉强食的关系。矛盾的一次次转移，越来越复杂，然后越来越简单，最终彻底销毁矛盾存在的凭借，从根本上摧毁矛盾，而非解决的矛盾。动物狂想曲与进击的巨人在解决矛盾的方式上有异曲同工之妙。艾尔迪亚人与巨人的矛盾->与王权的矛盾->与马来的矛盾->与锤巨阴谋的矛盾->与非艾族的矛盾->（）->矛盾消除。食物链的矛盾，国家的阴谋，国家之间的利益，种族之间的仇恨。最后这个矛盾怎样在上升过程中逐渐破灭，实在令人期待。慢慢看吧，我愿称之为艺术。 -还看过其他的番剧吗？似乎有诶，本想看无职转生，现在都没了。如果前两个可以称之为哲学，那么咒术回战至今为止可能只是单纯地热血番。相对于以前的番剧，明显感觉没有那么流水线。是既JOJO之后，我觉得另类画风中的非常非常经典的一个。MAPPA作画的虎杖的也太帅了啊。还是最后简笔画的“海澜之家”片尾曲，真好听。而且，从他身上，能够感觉到的是那种洒脱和自信。与艾伦和狼人不一样，在他们身上总是有一种很沉重的包袱，那种包袱，随着剧情的越来越重，只是因为他们是主角，所以没有倒下，那种糟糕的压抑感啊，是看下去的理由，也是让自己陷入另类的悲伤的催化剂。只有虎杖，像鸣人一样寄居了力量，但却没有那种“拯救”什么东西的那种庞大的使命感，简单轻松的战斗，自信，不需要咆哮的自信，因为强大而产生的自信，即是死亡的那一段，也只是平淡的死亡。 -石纪元与工作细胞，因为脑洞。伍六七是因为画风。包括无职转生，等以后看完了再来评价就好了。 -最近还在看赘婿。话说最近在追的东西是不是有点多了。要不要做个时间表啊。最近的话还是只看咒术回战和紧急的巨人就好了，其他的暂时放放，等自己有时间再追。发现赘婿这种无聊爽文，还是挺让人上头的，多年之前看过一个武侠小说，就会莫名其妙想要看完，代入感很强。如果一个小说能够让读者想象成其中的一个角色，大概就能牢牢抓住一个人的心吧。这个人物应该与广泛地读者具有很强的相似性，并且其本身的经历和故事会非常又去，让读者错认为自己经历了角色的某些故事，产生“如果是我会这样做吧”这样的想法。我觉得之前让我觉得，如果我穿越到过去，学计算机的可能是最没用的这样的思考，说明这个小说就已经很成功了。关键是这爽文也太爽了吧，每次都是完胜，虽然假，但没有什么比这更爽的。任务塑造还行，男德学院这种东西，真好玩，是不是自己去的话也能像男主一样结交一大堆朋友？hhhh，这些奇怪的搞笑的设定确实挺有意思。 - -就这样吧，感觉干活，挣钱还是有意思。所以一开始提及的那个梦想成为什么了呢？要是像他们一样，成为一个老师、医生、律师，这样的说法，似乎还是非常明确的，可是自己呢？什么样的职业，在哪个城市，能做什么，又怎样的发展前景？完全不知道，只能说，为了挣钱？太捞了吧。以前想过为航天事业奉献一生，现在，似乎社会不给自己这个机会，而我也不是那块料，也懒得当个钻牛角尖的人了。当时还抱着一点点希望去西工大的，如今来了北航，或多或少，都跟航空航天沾点边。还有一段时间，想要去开飞机，后来也放弃了机会，连兵也没有当成，愣头青，如今反而羡慕起别人来？为什么呢？因为自己混的不如当时选择当兵的好。当人，也是因为拿到了自己想要的自由，却失去了很多很多。如果在军队的话可能balabala，有一堆自己现在没有的缺点，唯一的优势——自由，对自己来说也聊胜于无，自己把自己囚禁在一个小天地里面，也没有多认识几个朋友。 -果然很难专心地思考自己的事情，成年人的烦恼真多。家人、事业、学业、社会、朋友，交织在一块，乱七八糟，什么事情都不能专心。还有哪些威胁恐吓的话，给家里打个电话，一堆人满口胡言，一句实话也没有。太烦了。 -一个程序员，能改变世界吗？那些天才的程序员哪个不是数学天才？一个程序员能够有怎样的觉悟，才能做自己想做的事情。仅仅是为了钱吗？一个仅仅为了升职加薪的程序员？想想就很无聊啊。到现在为止，我们之中，最接近梦想的只有一个人，张康明。说实话，我们之中，四个人的性格，他的性格是最适合大学的，我是最不适应现在这种自由环境的。 -一个程序员该怎样改变世界？去做当个研究员？读博？这可能是唯一的办法？一个程序员的自我修养，或者说修炼。或许应该读读成功学的故事了。甚至连那种虚无缥缈的故事都不知道。像马斯克那样曲线救国。互联网，有趣的产品，有趣的信息，积累原始资本，实现星际移民和星际贸易。虽然跨度有点大。怎样才能成为有趣的人呢，好像去尝试阅读源代码，看看别人的源码阅读笔记。 -一个程序员的自我修养。先从生活开始，从习惯开始。 \ No newline at end of file diff --git a/工作日志/2021年3月20日-今日计划.md b/工作日志/2021年3月20日-今日计划.md deleted file mode 100644 index e36d10e4..00000000 --- a/工作日志/2021年3月20日-今日计划.md +++ /dev/null @@ -1,32 +0,0 @@ -## 计划 - -> C++11的新特性+C++标准库组合起来也太有意思了。可以创造无限可能啊。 - -> Python现在的发展也有点离谱。几天不看就不会用了。Python开发的工具也太多了。 - -> 学习机器学习AIbook+sklearn相关算法的实现。只学习分类的算法。分类算法（回归用来做线性预测。显然不符合自己的目标） - - -> 学习深度学习框架pytorch和TensorFlow。 -1. 每天sklearn一个机器学习小算法 - - [x] k-近邻算法（学习原理、sklearn实践 - - [x] 决策树（学习原理、sklearn实践 - - [x] 复习吴恩达机器学习笔记 - - [x] 复习吴恩达深度学习笔记 - - [x] 复习Python-numpy-scipy那一套 -2. 每天一个联邦学习框架 - - [x] pytorch学习 -3. 每天一篇联邦学习的文章。 - - [x] ~~deepAMD~~ -4. 每天数据集处理一小步。 - - [X] 获取2020年的两个超大型数据集，并存到云盘当中 - - [X] 获取CIC关于恶意软件分析的论文 - -https://www.cntofu.com/user/18.html -https://www.cntofu.com/book/27/docs/0.%E5%89%8D%E8%A8%80.md -https://www.cntofu.com/book/170/docs/2.md -https://www.jianshu.com/p/6ada34655862 -https://www.scikitlearn.com.cn/0.21.3/62/ -https://scikit-learn.org/stable/ -## 收获 - diff --git a/工作日志/2021年3月21日-今日计划.md b/工作日志/2021年3月21日-今日计划.md deleted file mode 100644 index 690defe6..00000000 --- a/工作日志/2021年3月21日-今日计划.md +++ /dev/null @@ -1,10 +0,0 @@ -1. 每天sklearn一个机器学习小算法 - - [x] 朴素贝叶斯（学习原理、sklearn实践 - - [x] 逻辑回归（学习原理、sklearn实践 -2. 每天一个联邦学习框架 - - [x] pytorch -3. 每天一篇联邦学习的文章。 - - [x] ~~联邦半监督学习~~ - - -> 明天实现动态数据处理的脚本 diff --git a/工作日志/2021年3月22日-今日计划.md b/工作日志/2021年3月22日-今日计划.md deleted file mode 100644 index 1f49fc36..00000000 --- a/工作日志/2021年3月22日-今日计划.md +++ /dev/null @@ -1,40 +0,0 @@ -## 计划 - -1. 每天sklearn一个机器学习小算法 - - [x] 支持向量机（学习原理、sklearn实践 - - [x] 集成方法（学习原理、sklearn实践 -2. 每天一个联邦学习框架 - - [x] pysyft学习 - - -## 收获 - -1. 对分类的所有方法包括原理和基本的原理实现numpy进行了总结。主要参考机器学习实践。主要包括以下六种分类方法。没有更多了。这里的机器学习算法，既包括模型，也包括模型的训练算法。 - 1. k近邻：基于邻居的机器学习算法：KNN - 2. 决策树：基于树和信息增益的机器学习算法：DT - 3. 朴素贝叶斯：基于贝叶斯定力的机器学习算法：NB - 4. 逻辑回归：基于回归的方式处理分类问题： - 5. 支持向量机：基于支持向量的机器学习算法： - 6. 集成方法：基于两种不同的集成方式。bagging和boosting。 -2. 对sklearn进行了学习。 - 1. 主要学习了sklearn的算法核心。这些算法不是单纯的以分类和回归两个类别来进行分类的。而是以算法的核心思想来进行分类的。比如基于邻居的既可以聚类也可以分类，基于树的可以分类也可以回归。即以算法的思想进行分包。而不是以算法处理的问题类别。包括neighbors/tree/naive_bayes/linear_model/svm/esemble六个机器学习核心。 - 1. neighbors在第二章基于邻居的方法中有说明sklearn.neighbors.KNNClassifier - 2. tree第四章前两节 sklearn.tree.DeceisionTreeClassifier - 3. naive_bayes第四章10节sklearn.naive_bayes.GaussianNB/MultinomialNB/BernoulliNB - 4. linear_model.logisticRegression第三章第7节sgdclassier第9节。sklearn.linear_model.logisticRegression - 5. svm第四章第5节sklearn.svm.SVC - 6. esemeble第四章34节只有randomforest。sklearn.esemble.RandomForestClassifier/AdaBoost - 2. 区分了随机梯度下降算法和以上方法的区别。以上方法都有其模型算法的核心。并非随机梯度下降。在linear_model.SGDClassifier中以logisticsRegression和SVM等算法为核心。进行梯度下降算法。梯度下降算法是一种模型训练算法，而非模型本身。默认是用SVM进行梯度下降，主要解决数据过大的问题。linear_model.SGDRegression主要是用SGD来处理回归问题。 - 3. 关于多分类问题的处理。主要包括两种方式onevsone和onevsall两种模式。sklearn.multiclass.OneVsRestClassifier/OneVsOneClassifier -3. 学习了模型预处理和评估的方法。主要包括以下两部分 - 1. sklearn中的Dataset加载和使用。sklear.datasets - 2. 数据的标准化和归一化（正则标准化和minmax标准化）sklearn.procession.minmax_scale/normalize - 3. 处理数据缺失值的方法sklearn.impute.kNNimpute... - 4. 构建词向量的方法。可以一键构建词向量。sklearn.feature_extraction.from_graph/from_text - 5. 数据降维的方法：PCA、SVD、因子分析法sklearn.decomposition.PCA/SVD - 6. 数据处理流的方法。sklearn.Pipeline.pipeline - 7. 模型评估的方法sklearn.metrics.roc/auc/f1_score - 8. 关于半监督的处理方式。主要包括标签传递算法等。sklearn.semi_supervised - 9. 模糊机器学习算法。让数据在数据周围进行微小的扰动。添加高斯模糊或者bayes模糊。sklearn.mixture - 10. 模型选择的方法。交叉验证sklearn.modelselection.kfold - 11. 特征选择的方法。sklearn.feature_selectiron.* diff --git a/工作日志/2021年3月23日-今日计划.md b/工作日志/2021年3月23日-今日计划.md deleted file mode 100644 index 6b37592b..00000000 --- a/工作日志/2021年3月23日-今日计划.md +++ /dev/null @@ -1,14 +0,0 @@ -## 计划 - -1. 每天一个联邦学习框架 - - [x] pysft学习 - - -## 收获 - -1. 用两天时间完成了pytorch的学习。应该是只会进行 基础的使用。相信这对我来说已经够用了。接下来主要是复现工作。 - 1. 定义神经网络：tensor - 2. 自动梯度计算：autograde - 3. 误差计算：loss - 4. 梯度下降：optim -2. 对我来说这些可能已经够了。tensorflow肯定是要学习的。有时间重新学习一下。怎么也得安排五天左右。如果有需要的话，可能TensorFlow的federated 框架对我们来说会更好用。需要自己编译底层的东西实现通信？而且tensorflow支持移动端。 diff --git a/工作日志/2021年3月24日-今日计划.md b/工作日志/2021年3月24日-今日计划.md deleted file mode 100644 index ab4d50c1..00000000 --- a/工作日志/2021年3月24日-今日计划.md +++ /dev/null @@ -1,8 +0,0 @@ -## 计划 - -- [x] pytorch动态数据分类 -- [x] sklearn静态数据分类 -- [x] pytorch静态数据分类 - - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年3月25日-今日计划.md b/工作日志/2021年3月25日-今日计划.md deleted file mode 100644 index e0081596..00000000 --- a/工作日志/2021年3月25日-今日计划.md +++ /dev/null @@ -1,14 +0,0 @@ -## 计划 - -1. 每天数据集处理一小步。 - - [x] 实现静态数据处理脚本 -2. 每天数据集处理一小步。 - - [x] 实现动态数据处理脚本 - -> 阅读完之前的论文 - - -## 收获 - -* 一道算法题： - * 单调栈。果然还是应该尝试各种奇怪的数据结构才能解决问题。 \ No newline at end of file diff --git a/工作日志/2021年3月26日-开组会.md b/工作日志/2021年3月26日-开组会.md deleted file mode 100644 index 03ade338..00000000 --- a/工作日志/2021年3月26日-开组会.md +++ /dev/null @@ -1,149 +0,0 @@ -# 今日计划 - -## 计划 - -> 执行之前的计划 -- [x] 整理会议记录发到群里。 - -## 收获 - - -# PPT准备 -## 目标 - -## 工程 - -### 数据获取 - -### 数据处理 - -### 机器学习 - - -### 深度学习 - -### 联邦学习 - - -## 研究 - -### 联邦半监督学习的实现方案 - - -### CIC恶意软件处理的方案 - - -### deepAMD的软件处理方案 - -## 计划 - -## 思考 - -需要从头开始在来一轮。现在已经对机器学习和深度学习的分类算法有了初步的认识。接下来一轮，主要从工程的角度，精细化过程。把每一个环节都搞明白。 - -# 会议记录 - -## 李春燕 - -### 威胁情报存在的问题 -1. 威胁情报共享的积极性不高。 -2. 激励机制。 - -### 已存在的研究方法 -1. 威胁情报知识形式化表述 -2. 基于区块链威胁情报共享的激励机制 -3. 威胁情报的组织。要求参与者提供TPP格式的情报。 -4. 将组织内的成员分为不同的角色。 -5. 威胁情报价值的衡量——柯布道格拉斯效用，蒙特卡洛方法。 - -### 研究思路 - -* 衡量威胁情报的价值。不一定是TPP格式的威胁情报。取决于威胁情报的质量。达到激励机制的公平性。 - -### 问答 - - -问：怎么衡量威胁情报的价值。 -答：通过柯布道格拉斯效用函数。 - -问：流行度高，威胁情报质量就好吗？ -答：流行度是作为一种辅助的因素。考虑相关性和时效性。 - -问：当前的情报评估的指标存在哪些偏差？ -答：准确性提高。与企业的相关性。 - -问：能不能搜集到一些威胁情报。高质量的威胁情报作为目标。 -答：需要搜集一些高质量的威胁情报啊。只能通过网络威胁情报的平台，找到开源社区的共享威胁情报。高质量的威胁情报没有共享，只能购买专业公司的相关资源。 - -问：什么是高质量。什么样的威胁情报会流行，什么样的威胁情报会急需。 -答：给出高质量的评估指标。如何衡量指标的价值。通过相关性推荐算法定向推送可能有价值的威胁情报。 - -问：高质量但不一定与传播对象具有相关性，或者对象不一定需要这样的东西。所以应该有一种流行度、相关性的评估。与行业特点有关系，与当前的舆情与话题有关系，与传播对象的特质有关系。需要对威胁情报做调研，搞清楚威胁情报到底是什么，需要有一些特例。所有的格式、所有的来源、威胁情报的学术定义和表达。威胁情报，的数据。 - -> 区块链和敏感信息推荐。貌似是一个不错的点。区块链是秘密共享。敏感信息会破坏隐私。敏感信息抽象化。 - - - -## 蒋昌南 - -### 进展 -* 聚合函数设计 - * 非独立同分布会导致权重发散。从而导致联邦学习的训练效果不如集中式的深度学习效果好。 - * 同时因为联邦学习对梯度采用一定程度的加密方法。会造成一定程度的数据损失。影响最终的效果。 - -### 计划 - -4月初：实现联邦学习的多分类。 - -### 问答 - -问：如何解决非独立同分布产生的问题。 -答：通过聚类方法。判断两个分布之间的距离。 - - -## 李文超 - -### 工作进展 - -### 方案模型 - -* 参数服务器、代理服务器、客户端 -* 防止参数服务器与代理服务器共谋。获取用户的梯度信息。使用代理重加密的方式，对数据进行加密。 - - -### 计划 - -4月份初：利用paillier密码系统的安全证明方式，进一步完成联邦学习下保护梯度隐私的抗共谋性的代理重加密方案的安全证明设计。 -4月中旬：针对同类型方案对比分析，完成matlab上PBC实验分析 -4月底：完成论文初稿。 - -### 问答 - -参数服务器与代理共谋情况下存在的问题。 -有想法赶紧实现。该发论文发论文，该申请专利申请专利。 - - - -## 殷康龙 -### 工作进展 -* 工程上的进展： - * 数据获取。 - * 数据处理：静态数据处理androguard处理。动态数据处理cooperdroid和cicflowmeter。 - * 机器学习、深度学习、联邦学习基础方案的实现。 -* 研究上的近战 - * LIM：联邦学习在恶意软件的研究领域应用的可行性。 - * DeepAMD：集中式深度学习恶意软件检测。 - * FSSL：联邦半监督学习的实现方案。 - -### 问答 - -威胁情报如何利用，怎么实现利用。 - - -于洋、王建斌 - -网络对抗装备建模技术。 - -* 如何建立模型 -* 有免疫共坑和抗攻击功能 -* 建立知识库 \ No newline at end of file diff --git a/工作日志/2021年3月27日-今日计划.md b/工作日志/2021年3月27日-今日计划.md deleted file mode 100644 index 838b69f7..00000000 --- a/工作日志/2021年3月27日-今日计划.md +++ /dev/null @@ -1,27 +0,0 @@ -## 计划 - -- [x] 单调栈的总结 -- [x] 双指针环的入接点总结 -- [x] 字符串分割与格式化方法总结 -- [x] 位运算与补码总结 -- [x] 大数运算 -- [x] n个骰子的点数 -- [x] 约瑟夫问题 -- [x] 手写所有排序 - - -## 收获 -* LeetCode的笔记终于整理完了。对各类算法题有了初步的认识。接下来数据结构与算法。主要整理各个算法思想下的典型问题。结合本科时候的笔记。彻底整理完成小尾巴。 -* 基础知识的复习要开始了。感觉已经满了很多。不仅仅有基础知识。 -* 还有自己的项目经历的整理。应该整理一份三到四个项目经历的说明文档。用到了那些技术。你在其中主要做了什么事情。 -* 联邦学习和恶意软件的进度。每天都要推进一些。至少应该在本周把基础框架和应用方法整理完成。 - - -* 相当于现在同时上：数据结构与算法、计算机网络、数据库、操作系统、机器学习。五门超级大的课程。确实很有挑战。加油吧。少年。清明节能回家吗？堪忧啊。生活总是这么让人头秃。。。 - - - - - - - diff --git a/工作日志/2021年3月29日-今日计划.md b/工作日志/2021年3月29日-今日计划.md deleted file mode 100644 index ce3731fe..00000000 --- a/工作日志/2021年3月29日-今日计划.md +++ /dev/null @@ -1,8 +0,0 @@ -## 计划 -> 每日计划包括三方面的内容：数据结构与算法、基础知识与项目经历、联邦学习与恶意软件 - -- [x] 数据结构预算法——蛮力法整理完成 -- [x] 基础知识与项目经历——操作系统整理开始part1 -- [x] 联邦学习与恶意软件——pysyft学习完成 - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年3月30日-今日计划.md b/工作日志/2021年3月30日-今日计划.md deleted file mode 100644 index 1699523a..00000000 --- a/工作日志/2021年3月30日-今日计划.md +++ /dev/null @@ -1,13 +0,0 @@ -## 计划 - -> 每日计划包括三方面的内容：数据结构与算法、基础知识与项目经历、联邦学习与恶意软件 - -- [X] 数据结构与算法——分治法整理完成 -- [X] 基础知识与项目经历——操作系统整理完成part2 -- [X] 联邦学习与恶意软件——TensorFlow学习开始part1 -- [X] 操作系统关键知识点记忆。进程、线程、IO、中断、同步异步、阻塞非阻塞、分段、分页等。 -- [X] 整理进程、线程同步与通信的方式。并对二者进行区别。 -- [X] 整理同步异步、阻塞非阻塞的知识。并找到主要的通信实现方式。如何实现阻塞、非阻塞通信、同步异步通信。 -- [X] 整理操作系统中涉及到的算法（页面调度、页面置换等） - -## 收获 diff --git a/工作日志/2021年3月31日-今日计划.md b/工作日志/2021年3月31日-今日计划.md deleted file mode 100644 index e6dc1383..00000000 --- a/工作日志/2021年3月31日-今日计划.md +++ /dev/null @@ -1,9 +0,0 @@ -## 计划 - -> 每日计划包括三方面的内容：数据结构与算法、基础知识与项目经历、联邦学习与恶意软件 - -- [x] 数据结构与算法——动态规划和贪心整理完成 -- [x] 基础知识与项目经历——数据库整理完成 -- [x] 联邦学习与恶意软件——TensorFlow学习完成part2 - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年4月10日-今日计划.md b/工作日志/2021年4月10日-今日计划.md deleted file mode 100644 index 99f88b10..00000000 --- a/工作日志/2021年4月10日-今日计划.md +++ /dev/null @@ -1,18 +0,0 @@ -## 计划 - -- [x] 设计模式复习 -- [x] vscode C++集成开发环境 - - -- TensorFlow之前的计划 -- pytorch之前的计划 - - - -## 收获 - -* 主要学习了各种设计模式。创建型设计模式包括单例模式（如何做到线程安全）、工厂方法、抽象工厂、生成器、原型模式等。用来创建指定的类的对象。 -* 结构型设计模式。主要包括适配器模式，用来封装一个类，以使其使用某个接口，一般是依赖一个具体类的对象，继承一个接口类。桥接模式、使用两个抽象的接口，实现两个角色的相互连接。比如电视有很多实现、遥控器有很多实现。他们之间只要通过接口中的一个对象连接在一块，电视的实现不需要知道使用的是哪个具体的遥控器，遥控器也不需要知道用哪个具体的电视。组合模式，通过**子类依赖多个父类的对象**，将父类的多个实现进行组合。装饰器模式，一般使用来丰富一个对象的内容，但是不是通过多重继承的方法，而是通过**子类依赖一个父类的对象**，在父类的某个实现上动态添加更多的功能。外观模式，主要提供一组类的统一的接口。享元模式主要是用来避免创建大量重复类型的对象，有一个享元工厂，根据想享元的状态判别是否存在相同状态的享元，如果存在就不会创建新的对象，而是直接使用线程的对象。 -* 行为型设计模式。这里主要提一部分。责任链模式，主要定义了一系列相互关联的类，用来流水线处理数据，与装饰器模式相似，动态添加一系列功能或者。迭代器主要是用来实现一个迭代器接口，可以用来next来访问下一个。用来迭代内部的空间。命令模式、解释模式、中介者模式、备忘录模式、观察者模式、装状态模式、策略模式、模板方法、访问者模式、空对象模式等以后再了解。 -* IO设计模式主要包括reactor和Proactor两种设计模式。前者是被动的，通过IO多路复用实现，多个阻塞IO，准备好后通过中断的方式通知线程处理数据。后者是用户自己实现的，维护一个队列，当数据准备好后，主动调用回调函数实现并行。 - diff --git a/工作日志/2021年4月12日-会议记录.md b/工作日志/2021年4月12日-会议记录.md deleted file mode 100644 index 2ea2ff6f..00000000 --- a/工作日志/2021年4月12日-会议记录.md +++ /dev/null @@ -1,91 +0,0 @@ -# 蒋 - -### 答辩内容 -* 威胁情报的定义 -* 威胁情报的分类层次。 -* 恶意样本的IOC情报描述。 -* IOC共享框架，泄露隐私的日志数据。保证情报共享，又能不泄露隐私。 -* 联邦学习的应用 -* 联邦学习的分类 - -### 现存的问题 -* 恶意样本的数据，打标签问题。 -* 梯度的隐私计算和聚合问题。 -* 多分布客户端的梯度的收敛和效率问题。 -* 梯度共享和激励问题 -* 梯度聚合的鲁棒性 - -### 问答 -* 夏：梯度的安全计算是针对情报领域的吗？威胁情报的梯度共享，具有什么样的特点。 -* 夏：给出形式化定义。经过调研，说明研究IOC的原因。 -* 夏：对金融领域和医学领域的例子吃透。 -* 夏：现有的威胁情报已经存在。然后利用威胁情报。实现现有的威胁情报的共享与利用。而不是生成威胁情报。 -* 蒋：威胁情报如果不存在隐私？生成威胁情报的数据存在隐私？夏：关键是威胁情报的利用。研究清楚。 -* 夏：论证采用的方案，是目前所有的方案中，最有效的方案。需要给出金融领域的某个案例的详细解释。 -* 夏：组织大家看论文，进行讨论。 -* 夏：将人的工作，转换成可以用计算机计算工作。 -* 夏：现在的规则共享方案？共享过程中存在的问题？把人的工作量转换为计算机的工作量？输入与输出搞清楚，黑盒是什么？ -* 夏：研究必须有阶段性成果。跟上当前最新的研究。不能过时啊。 - - -## 李春燕 - -### 主要内容：区块链和边缘计算 - -* 区块链边缘计算进行整合的动机。异构性、低时延、安全和隐私性。 -* 边缘计算的框架。云层-小型边缘计算基站-边缘设备 -* 研究现状-网络、存储、计算 - * 边缘计算的网络：数据通信和区块链通信进行结合。基于区块链的软件定义网络的边缘计算架构。 - * 边缘计算的存储：区块链外的数据存储，进行hash索引。可扩展的区块链数据库。 - * 边缘计算的计算：对计算资源进行调度。公平性与激励机制。 - -### 问答 - -* 夏：边缘计算与情报的关系。 -* 夏：边缘计算、移动计算、雾计算的关系与区别。以及边缘计算与区块链的关系 -* 李：本地数据与服务器数据进行通信，会存在数据完整性的问题。解决三个方面的问题：计算，算力与资源调度。存储，网络。 -* 夏：目前存在的具体问题。问题的定义，目标的定义。目前的解决方案，核心需要解决的问题，存在的问题，自己要解决的问题。 - -## 李文超 - -### 主要内容：联邦学习的梯度保护 -* 存在的问题：共享参数，对模型进行推理。 -* 方法：安全多方计算、差分隐私、同态加密。 -* 给出了具体的实现算法：加密解密。加权隐私，加密聚合。 -* 改进的方法：代理重加密进行数据访问授权访问方法。基于聚合方法可搜索加密技术分类。 - - -### 问答 -* 蒋：对联邦学习改进方案，非常可以。但是与应用场景的定义还没有结合。 -* 夏：支撑性工作，与蒋师兄的思路进行结合。基础知识普及。 -* 夏：梯度的隐私计算与一般的隐私计算的不同？当前的解决情况，梯度隐私保护存在的问题。通信保密和存储保密。 -* 夏：补信息论、控制论、形式语言自动化？。相关概念 - - - - -## 殷康龙 - -### 主要内容 - -* 有意义的数据是信息，25是数据不是信息，蒋昌南今年25，有意义了是信息，经过理解的是知识。 -要具体深入，要人家听明白。 -* IOC的自动利用过程。 - -* 一个是现在已有的情报共享系统工具熟悉，了解所有人的工具，聚合在系统中实现，openIOC，重点任务是怎么做系统。 -* 出门还是需要请假。工作日记上报。 - -### 论文阅读 -* 需要了解更多具体实现方案。 -* 对相关领域的调研太少了。不能只是学习基础知识了。看论文也很关键。 -* 领域调研！！！！！！！！！！！！ -* 对情报利用领域的调研太少了。 -* 还是需要自己的对相关领域的研究和工作。 -* 对场景相关的概念定义啊：情报啊，IOC等等，相关领域的所有概念。 - -### 威胁情报 -* 还需要对威胁情报进行更加详细的定义。 - -### 例子 -* 医学Patient Clustering Improves Efficiency of Federated Machine Learning to Predict Mortality and Hospital Stay Time Using Distributed Electronic Medical Records -* 金融领域具体实现的例子 \ No newline at end of file diff --git a/工作日志/2021年4月13日-今日计划.md b/工作日志/2021年4月13日-今日计划.md deleted file mode 100644 index ac780a1e..00000000 --- a/工作日志/2021年4月13日-今日计划.md +++ /dev/null @@ -1,12 +0,0 @@ -## 计划 - - -- [x] 参加腾讯面试 -- [x] 整理完成Union、Enum两个类型的数据 -- [x] 实现C++ string类 -- [x] 面向对象——虚函数：构造函数能够是虚函数、多态虚函数/纯虚函数知识补充。（感觉这个东西可放到C++基础中进行介绍了） -- [x] 面向对象——继承C++函数重载和运算符重载整理 -- [x] C字符串整理以及其他函数了解 - - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年4月16日-感悟.md b/工作日志/2021年4月16日-感悟.md deleted file mode 100644 index f4f3e379..00000000 --- a/工作日志/2021年4月16日-感悟.md +++ /dev/null @@ -1,15 +0,0 @@ -红色的耳机又找不到了。按理说，应该在自己的桌子上或者宿舍里。但感觉好久都没见到了。自从上次回家之后，就再也没有见过。好想开始学习啊。就看视频。看别人怎么操作。已经看说明文档看够了，是时候看点视频学习一下别人怎么一步一步操作了，远比楷书效率来的高。看视频更容易入门。看书更容易深入。 - -每次都是这样。一旦开始学习就拼命。一旦不知道怎么开始学习，就开始放纵。已经有四天没有做过任何事情了。最近毕设与面试的进度都陷入了停滞状态。 - -我接下来应该做什么。应该从什么开始做下去？每每到这个时候，总是这两个永恒的问题。每次陷入这种不知所措的境地。 - -好久没有像现在这样惬意了，在八九年前？还是十几年前？曾经有过相同的感觉，那时候的窗子，还是木头格子的，偶尔会有几篇碎掉的，用那种老化的塑料布贴在上边，似乎是从那种蔬菜大棚上退休的就塑料布，每次有点疯吹过就会呼哧呼哧地响，总会有闲人在上边戳几个窟窿，也不怕夏天的蚊蝇，那些虫子都是从正门大摇大摆地飞进来的。那时候看天空，可能什么都不想，也可能是天马行空地思考，也不会在乎接下来要干什么。玩吧，能有什么计划，从来都是几个人一拍即合的事情，或者走到哪玩到哪。也不是为了吃什么，也不是为了玩什么。单纯地遇到花花草草，遇到形形色色的人，遇到小水库大田野，就很快乐。看到有人放风筝就回家掏出自己的风筝来。 - -放风筝可能是世界上最放松的事情了。即是一天盯着天空，也没人觉得这个人有些奇怪。就几个人，坐在麦田的田垄上，春天的麦苗没有拔节，随便踩。刚开始的时候跑两步，等上了天，就可以吧手中的线全部放掉了。有的时候，觉得线不够长，就总是把好几个线团接起来。直到风筝在天上看起来已经很小，再远就要消失的是偶才肯罢休。 - -那时候仰望天空。不会叹气。我的卧室，刚出身的时候，我就睡在那里，那张床上。后来分床睡，我去了小床，后来分屋子睡，我去了西屋。再后来，我又回来了，爸妈买了新床，新装修的屋子睡觉，我又回到了一开始出生时跟爸妈睡在一块的那张床上。果然，那张床要比其他的床，更让人容易入睡。继承了妈妈睡眠不足的坏毛病。索性就晚睡晚起呗。大学之前妈妈总会催命一样一大早叫我起来学习。大学之后，就再也没有在早上叫醒我。我啥时候睡醒，啥时候吃饭。好习惯忘得一干二净。 - -感觉已经飘过了一大片云彩。是时候开始所谓的五月份计划了。把四月份计划的一部分剥离出来。论文阅读和论文复现应该属于五月份计划的内容。四月份计划三月份就开始执行了。三月份计划执行到四月份还没有完成。如今三四五月份计划，可以并行执行了。任务的切换果然需要消耗大量的精力，多线程不是并发解决问题的最优方案。IO多路复用（基于中断的）或者IO异步才是并行开发的最好方式。处理完一个再一个。 - -已经整整耽误了一周了。这是第七周的周五。计划中第六周就应该完成了技术栈的补充。第七周已经做完数据处理和基本的训练方式。应该回顾一下前几天的收获。补充一下前几周的计划。之前的学习任务都完成。然后真正地开始五月份计划。开始吧。 \ No newline at end of file diff --git a/工作日志/2021年4月17日-字节面试感悟.md b/工作日志/2021年4月17日-字节面试感悟.md deleted file mode 100644 index 4c587705..00000000 --- a/工作日志/2021年4月17日-字节面试感悟.md +++ /dev/null @@ -1,6 +0,0 @@ -# 菜 - -果然，自己还是会耿耿于怀。自己上次的说辞，没有一句话是对自己有利的。可能已经失去了最终的机会。我希望自己能够好好跟他们聊聊，实现自己的人生。 - -有时候明明都知道结果不好。却还是硬着头皮等靴子落地的声音。不到最后不死心，总是抱着奇怪的幻想，企图用意念改变既定的结果。现在等到的智能有一个结果。没办法从过去中走出来。 - diff --git a/工作日志/2021年4月19日-今日任务.md b/工作日志/2021年4月19日-今日任务.md deleted file mode 100644 index 3ee54451..00000000 --- a/工作日志/2021年4月19日-今日任务.md +++ /dev/null @@ -1,10 +0,0 @@ -## 计划 - -- [x] 看完C++面经 -- [x] 复习一遍面试的基础知识。 -- [x] ~~LeetCode三道题计划正式开启。~~ -- [x] tensorflow针对两个数据集的训练完成 -- [x] 蚂蚁金服4点的面试 -- [x] 快手6点的面试 - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年4月1日-今日计划.md b/工作日志/2021年4月1日-今日计划.md deleted file mode 100644 index 7ed3ffc0..00000000 --- a/工作日志/2021年4月1日-今日计划.md +++ /dev/null @@ -1,7 +0,0 @@ -## 计划 - -> 每日计划包括三方面的内容：数据结构与算法、基础知识与项目经历、联邦学习与恶意软件 - -- [x] 数据结构预算法——回溯剪枝和分支限界整理完成 -- [x] 基础知识与项目经历——计算机网络整理完成 -- [ ] 联邦学习与恶意软件——TensorFlow federated学习开始part1 diff --git a/工作日志/2021年4月20日-今日计划.md b/工作日志/2021年4月20日-今日计划.md deleted file mode 100644 index 17c6dfb7..00000000 --- a/工作日志/2021年4月20日-今日计划.md +++ /dev/null @@ -1,10 +0,0 @@ -## 安排 - -> 第八周任务：接受学弟的论文工作内容。完成基础三篇论文的复现工作。 - -- [x] 打理好生活（洗衣服、洗澡、准备开始跑步）。吃饭时间会宿舍洗衣服洗澡。 -- [x] 面试中相关问题的处理。协程？数据库性能优化？C++性能优化？服务器性能优化。 -- [x] 晚上回宿舍洗衣服。 - - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年4月21日-今日计划.md b/工作日志/2021年4月21日-今日计划.md deleted file mode 100644 index f6ddd1d9..00000000 --- a/工作日志/2021年4月21日-今日计划.md +++ /dev/null @@ -1,26 +0,0 @@ -## 安排 -> 果然时隔太久会忘记之前做过什么。现在的任务应该是从上到下，完成对上一次工作的会议。我发现现在的脑子很不清醒。下去去跑步。享受跑步的过程吧。出点汗。能够让自己更加清醒的工作。 - -* 第一轮：主要处理maldroid数据集 -* 第二轮：开始andmal数据集 -* 第三轮：完成数据的生成 - -### sklearn - -- [x] 复习教程（包括tutorial、API、code） - -### pytorch - -- [x] 复习教程（包括tutorial、API、code） -- [x] pytorch 数据流水线技术 -- [x] 学习pysyft框架并应用 - - -### TensorFlow - -- [x] 复习教程（包括tutorial、API、code） -- [x] TensorFlow 数据流水线技术 -- [x] ~~学习TensorFlow框架并应用~~ -- [x] ~~学习TensorFlow federated框架并应用~~ - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年4月25日-感悟.md b/工作日志/2021年4月25日-感悟.md deleted file mode 100644 index 3802ff7d..00000000 --- a/工作日志/2021年4月25日-感悟.md +++ /dev/null @@ -1,21 +0,0 @@ -果然，最让人头疼的永远是感情问题。没有做好准备之前，总是不敢开始行动。 - -现在是最舒适的季节。应该全身心的投入到科研当中。 - -我觉得我是实验室最菜的人，贡献度最少的人。 - -幻想中的场景，总是美好的。 - -陷入怪圈，不敢行动。总觉得有愧与人。不想伤害别人，最后两个人都遍体鳞伤。 - -做一个有超强执行力的人。葛优躺对身体对精神都不好。 - -老坐着，屁股也太难受了吧。 - -好恶心。 - -决定吧。我应该有很多朋友。但我应该没有朋友。 - -出去走一圈吧。你需要更多的空间。 - -好想让时间静止啊。这样就会无穷的时间用来发呆了 diff --git a/工作日志/2021年4月27日-今日计划.md b/工作日志/2021年4月27日-今日计划.md deleted file mode 100644 index 2cfd0c2e..00000000 --- a/工作日志/2021年4月27日-今日计划.md +++ /dev/null @@ -1,25 +0,0 @@ -## 计划 - -- [x] pysyft框架学习（一个小时） -- [x] pysyft框架实验（一个小时）快点搞完这个吧，弄完这个就可以真正的开始论文的时间了。五一劳动节，需要多花点时间，补一下拉下的进度了。 -- [x] 整理相关的论文（） - - -## 收获 - - -## 感悟 - -三十年也太快了。一年又一年。昨天似乎还刚刚参加完大一的军训满怀期待地与室友们谈天说地。而今天，大家已经不再是少年，也不再包容。 - -以前总说，社会磨去了自己一个人的棱角。让一个人失去了改变自己改变世界的梦想，变成了一个有一个生活在舒适的小圈子里的享受这小幸福的普通人。总感觉随着岁月流逝，一个人的轮廓越来越清晰。中学的我们，总期待着成为所有人的好朋友，总想着在德智体美劳全方面发展，而进入大学后，渐渐发现，自己有讨厌的人，有喜欢的人，有擅长的方向，有不适合的方向。自己不再是一枚未经雕琢的石头，所有的棱角和边界，越来越明显。也许因为自由，因为选择的自由，因为有限的精力，让我们做出了属于自己的选择，分化成了不同的人。那些开放结局的游戏，如果能做到70亿种不同的结局，也许，就跟现实世界没有什么区别了。 - -我想我需要花点时间降低一下自己的欲望，对游戏对生活之外的东西的欲望。明明知道看看书、跑跑步对自己有利，却每次都选择看些没用的视频、打些游戏，直到时间来不及了才开始动身。我不想这样了。 - -加油吧，少年，应该开始做东西了。我想出去走一圈。就走一圈，然后回来好好学习。等五点吧。 -legends never die. - -那些通用的话题都是提前准备好吗。我的记忆力太差了，已经什么 - - -好喜欢现在的感觉，直到自己要去做什么。知道自己要怎么做，缺的只是时间，和开始的理由。我想我应该可以开始奋斗了。知识没想到四月份已经过去大半。加油吧，少年。 \ No newline at end of file diff --git a/工作日志/2021年4月28日-毕设汇报.md b/工作日志/2021年4月28日-毕设汇报.md deleted file mode 100644 index 7d9525b6..00000000 --- a/工作日志/2021年4月28日-毕设汇报.md +++ /dev/null @@ -1,42 +0,0 @@ -# PPT准备 -## 目标 -> 回顾一下开题报告。需要完成的任务。 - - -## 概述 -> 当前主要的工作进展概述。 - -1. 研究上的进展 - 1. 恶意软件检测的研究与解决方案。 - 2. 联邦半监督学习的研究与解决方案。 - 3. 非独立同分布问题的研究与解决方案。 -2. 工程上的进展 - 1. 数据获取 - 2. 数据处理 - 3. 机器学习 - 4. 神经网络 - 5. 联邦学习（框架的研究与实现） - - -## 研究 - -### 联邦半监督学习的实现方案 - - -### CIC恶意软件处理的方案 - - -### deepAMD的软件处理方案 - -## 工程 - -### 数据获取 - -### 数据处理 - -### 机器学习 - -### 深度学习 - -### 联邦学习 - diff --git a/工作日志/2021年4月29日-会议记录.md b/工作日志/2021年4月29日-会议记录.md deleted file mode 100644 index 00736daa..00000000 --- a/工作日志/2021年4月29日-会议记录.md +++ /dev/null @@ -1,10 +0,0 @@ -研究现状，国内外。别人如何解决问题。方法不完善，准确率不高。主要研究的方向。 - -设计实验，针对目前存在的问题，采取的技术。 - -恶意软件检测中问题的明确。有可以对比的对象。隐私保护的话，保护的对象、范围？保护的方法？ - -同类的对比。文献综述需要明确相关研究工作作出的分析。 -技术选型。文献综述，不是技术选型。 - -理论上 \ No newline at end of file diff --git a/工作日志/2021年4月2日-今日计划.md b/工作日志/2021年4月2日-今日计划.md deleted file mode 100644 index 172f29f5..00000000 --- a/工作日志/2021年4月2日-今日计划.md +++ /dev/null @@ -1,7 +0,0 @@ -## 计划 - -> 每日计划包括三方面的内容：数据结构与算法、基础知识与项目经历、联邦学习与恶意软件 - -- [x] 数据结构预算法——图算法和随机化算法整理完成 -- [x] 基础知识与项目经历——项目经历整理完成 -- [x] 联邦学习与恶意软件——TensorFlow federated学习完成part2 diff --git a/工作日志/2021年4月6日-今日计划.md b/工作日志/2021年4月6日-今日计划.md deleted file mode 100644 index a61aab56..00000000 --- a/工作日志/2021年4月6日-今日计划.md +++ /dev/null @@ -1,35 +0,0 @@ -## 安排 -> 最后一天用来补之前的任务。绝对不可能再拖下去了。明天就要开始全新的计划。 -- [x] 五种IO模型和epoll机制 -- [x] 同步异步、阻塞非阻塞：定义及实现 - - -## 收获 -* 对网络编程和并行编程的内容进行了复习。 - * 通信原理：Linux的五种IO模型。阻塞IO、非阻塞IO、IO复用、信号、异步IO。前四种是同步，最后是异步，第二阶段从内核到用户复制数据是否阻塞。1、3是阻塞、2、4是非阻塞，第一阶段是否进行阻塞。 - * Linux网络编程：Linux socket编程。主要通过bind、accept、socket、listen、read、send实现 - * Linux并行编程：同步：pthread/各种lock。通信：pipe/FIFO - * Linux IO编程：file、epoll - * C++网络编程：boost-asio - * C++并行编程：C++多线程机制。C++线程同步机制：Future/Async、thread/promise、mutex/guard_lock/unique_lock/condition_variable信号量（互斥锁）与条件变量 - -* Linux系统编程还其本身大量的网络编程和并行编程实现方案。 -* C++的标准库和其他库也封装了网络编程和并行编程方案。 -* 网络编程和并行编程本质上是一种东西。并行编程是实现多线程、线程同步、线程通信。网络编程是实现两个远程线程的同步和通信。 - - -* 对几个概念的理解 - * 网络编程 - * 网络多进程、多线程。进程/线程的同步和通信。socket实现。是并发编程的一种形式。 - * 并发编程 - * 本地多进程、多线程。包含进程/线程同步、进程/线程通信。 - * 进程同步 - * 属于并发编程的一个环节 - * 进程通信 - * 属于并发编程的一个环节 - * IO - * 本地设备IO机制。同步、异步、阻塞、非阻塞、IO复用等。 -* 几个方案用来实现以上哪些内容。 - * socket 实现网络编程。 - * 信号量、管道、信号、消息队列：进程同步与进程通信 - * select/poll/epoll IO方式 diff --git a/工作日志/2021年4月7日-简历说明.md b/工作日志/2021年4月7日-简历说明.md deleted file mode 100644 index 7d0d8b84..00000000 --- a/工作日志/2021年4月7日-简历说明.md +++ /dev/null @@ -1,114 +0,0 @@ -## 1 教育经历 -你好。我叫殷康龙，现就读于北京航空航天大学计算机学院，主要研究联邦学习在恶意软件检测领域的应用。本科就读于西北工业大学软件与微电子学院，主修软件工程。 - -在学校主要学习了数据结构与算法、C++程序设计、JavaEE企业级开发、面向对象程序设计、编译原理等课程，综合测评成绩在250人中排名第8。 - -## 2 校园经历 - -在学校里积极参加社团和活动。曾任软微学院科创部干事，参与组织一行代码大赛和程序设计比赛。曾任西工大新闻中心副部长，负责开发新文中心的功能网站，培训技术人员，维护西工大官方微信。 - - -## 4 主要成果 - -* 两次学校一等奖学金，一次华为奖学金，一次国家励志奖学金，一次电子工业出版社助学金，“优秀共青团员”称号 -* 2016-2017年连续两届FIRA机器人世界杯SimuRoSot项目国际特等奖（冠军），Air Challenge项目国际一等奖（亚军） -* 2017中国机器人大赛空中机器人-无人机大战水果项目一等奖 -* 2019年获得国家级大学生创新项目《基于超宽带定位技术的无人机目标追踪系统》和《基于网络爬虫和数据分析的高校信息整合系统》优秀结题 -* 获得《面向学生的校园信息交流系统V1.0》《基于scrapy框架的校园信息爬虫系统》《基于网络爬虫和数据分析的高校信息整合系统》计算机软件著作权 - -## 3 项目经历 - -> 项目概述、主要工作、最终成果 - -### 竞技策略开发——仿真5VS5SimuRosot(√上传) -* 项目概述：15个人的开发团队，长期开发项目，C++、JAVA。工程项目主要包括数据处理模块、前场、后场、边路、底线、特殊策略、定位球策略等，主要用于参加5V5 simurosot的国内比赛和国外比赛。 -* 主要工作：负责开发前场的相关策略，主要包括策略选择模块（优势前场、保守前场、边路前场）、角色选择和切换模块（角色的稳定性，进入退出分开控制。）、目标计算模块（保持相对的阵型，减少阵型的抖动）、移动跑位模块、射门模块。使用PID控制方法对机器人控制，增强了前场的稳定性。使用JAVA为团队开发了数据测试平台，实现了对数据仿真、策略测试、可视化。。搭建团队开发的SVN版本控制系统，方便整个团队项目开发和维护。 -* 关键技术：开发测试平台主要使用java swing开发跨平台图形界面，提供了一系列GUI组件。主要包括数据导入模块、动态演示模块、数据显示模块。使用java io random_accessfile读取并解析file文件。使用java thread实现数据加载与数据展示的并行过程。通过事件监听与响应机制，实现对数据仿真动态演示过程的控制，包括仿真速度调节和仿真进度调节。使用javadoc生成标准的java文档供后续开发使用，方便开发维护。 -![](image/2021-04-06-21-33-39.png) -* 最终成果：暑假期间带领团队前往日照参加了2017中国机器人大赛，前往台湾 参加了FIRA机器人世界杯，取得多项冠军。 - -### 大创项目——基于网络爬虫和数据分析的高校信息整合系统(√上传) -* 项目概述：5个人，Python、MySQL。带领团队申请了《基于超宽带定位技术的无人机目标追踪系统》《基于网络爬虫和数据分析的高校信息整合系统》两个国家级大创项目，后者主要是利用爬虫综合网络信息，搭建web服务器，对数据进行二次处理，使用机器学习算法提供面向用户提供文章推荐功能、标签云索引功能和分类浏览功能，面向信息发布者提供了热点倾向功能、数据分析功能。 -* 主要工作：项目架构、服务器搭建，包括爬虫模块（数据解析模块xpath、URL获取与去重模块）、服务器模块（MySQL数据库设计、Json数据封装）、Android客户端（数据请求模块HTTP请求、数据展示）、数据处理模块。通过Scrapy完成网络信息爬虫，构建了Mysql数据库，使用Django后端框架和Bootstrap前端框架开发了项目网站，使用大数据的算法对信息分析处理，并将整个项目部署到腾讯云提供的CentOS服务器上。使用Github进行代码管理。 - -![](image/2021-04-06-21-18-56.png) -* 关键技术：scrapy框架介绍。使用request模块进行爬虫，通过调度去缓存下一条URL，控制网站访问的频率；使用xpath解析数据内容并将数据存储到mysql数据库中。 -> * （1）Scrapy引擎打开，向爬虫模块请求其需要爬取的起始URLs -> * （2）Scrapy引擎从爬虫模块那里获取到需要爬取的起始URLs，将它们放入调度器模块，作为待爬取的URL Requests； -> * （3）Scrapy 引擎向调度器模块发出请求，获取下一个待爬取页面的URL； -> * （4）调度器模块返回下一个待爬取页面的URL给Scrapy 引擎，Scrapy 引擎则将该 URL 经下载中间件模块（请求方向）转发给下载器； -> * （5）当下载器模块完成页面下载后，会生成一个该页面所对应的 HTTP Response，并将其经下载中间件（响应方向）发送给Scrapy 引擎； -> * （6）Scrapy 引擎从下载器模块处接收到HTTP Response 后，会将其经爬虫中间件模块（输入方向）发送给爬虫模块处理； -> * （7）爬虫模块处理接收到的 HTTP Response，并返回从中爬取到的Items及需要跟进的新的 URLs 给 Scrapy 引擎； -> * （8）Scrapy 引擎将（爬虫模块返回的）Items 转发给数据流水线模块，同时将（爬虫模块返回的）URLs 转发给调度器； -> * （9）以上 2~8 的过程会一直重复执行，直到调度器模块中没有 URL Requests 时，Scrapy 引擎关闭，爬虫停止。 - -![](image/2021-04-06-21-06-32.png) -* 关键技术：Django框架。使用Apache服务器，处理http请求。Django框架，MVC（model-view-control）的代码架构模式。从数据库中获取数据，封装成json格式，最后将响应的数据传递给android客户端。 -![](image/2021-04-06-21-17-24.png) -![](image/2021-04-06-21-58-13.png) -* 关键技术：数据处理算法。 - * 标签计算算法：jieba分词统计词频，TF-IDF算法进行词频统计，去除无关词汇，字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 - * 分类算法：学科竞赛、科研信息、行政信息、招生信息、招聘就业、校园活动、升学留学、生活娱乐这八类，使用朴素贝叶斯分类器进行分类。（基于贝叶斯公式，可以试图讲解贝叶斯公式） - * 混合推荐算法：基于协同过滤算法提取项目的基本特征（人，文章的特征，通过人阅读的其他文章给出特征，通过相似的人看的其他电影打上相似的标签）。系统采用的ＫＮＮ算法目的在于匹配项目中Ｋ个相似度最高的项目，作为预测推荐输出到用具接口。 -* 最终成果：两个国家级大创项目均获得优秀结题。 - -### 电子钱包JavaEE企业及开发项目(----丢失) - -* 项目概述：在中科金财上市公司参与电子钱包项目的实习。 -* 负责使用Spring框架和mybatis实现数据库的访问和数据处理。 - - -### 无人机项目(√上传一半，丢失一半) - -* 项目概述：无人机加密通信项目开发。 -* 主要工作：主要是在Android平台（DJ无人机的地面站android手机开发），使用Java多线程和Socket编程，实现无人机之间的通信连接。主要通过UDP网络通信、心跳测试保持连接、回调处理等方式实现线程通信。在加密通信过程中，使用C++开发加密仿真环境。使用nodejs+electron对通信过程进行可视化。使用网页技术HTML、CSS、JavaScript做前端，使用C++做为本地的后端。通过封装C++通信的代码，提供C++通信接口，供nodejs调用。（代码的封装，接口提供，） -* 主要成果：完成实验室项目验收。 - - - -### ~~补充项目——软件与微电子学院学生信息系统。PHPweb开发~~(----丢失) -* 项目概述：20个人组成的团队，PHP、MySQL。系统主要包括任务管理系统、证书认证系统、请销假平台、项目管理、活动，会议记录、党建系统、文件管理系统、就业记录等子系统。使用PHP作为后端开发脚本，使用MVCyii框架进行开发。 -* 主要工作：构建数据库。使用yii框架实现请销假平台，包括表单管理和MySQL数据库访问。yii框架是MVC结构。由controller处理逻辑内容，model封装数据库访问，view视图作为界面，用来渲染数据，发送到前端。 -![](image/2021-04-06-20-19-05.png) -* 最终成果：开发完成暑期项目实践，项目成功验收。 - - -### ~~补充项目——企业级开发JavaEE项目考试系统~~(√上传) -> 因为是java项目，等日后学完java再写 - -### ~~补充项目——windows通信编程。多人聊天室~~(√上传) -* 项目概述：单人项目开发。 -* 主要工作：MFC开发界面、windows网络通信。 -* 主要成果：课设。 - -### ~~补充项目——TensorFlowIO优化~~(√上传) - -* 项目概述：分析TensorFlow源代码，对源代码进行修改重新编译。使用mmap方法，优化TensorFlow数据加载过程中的IO操作。 -* 主要工作：阅读源代码分析TensorFlow架构，使用多线程以流的方式读取多个文件。mmap封装大文件读取过程。编译并测试TensorFlow最后的优化效果。 - -![](image/2021-04-06-23-26-50.png) -1. 首先阅读了TensorFlow的源代码以及相关的研究资料，对TensorFlow的代码架构进行分析。 -2. 第一层设备通信层，负责网络通信和设备管理。设备管理模块可以实现TensorFlow的异构性，提供了对不同平台不同设备的支持，统一封装成相同的接口，使得上层模块在调用过程中，不必考虑具体的底层实现。通信模块主要通过两种协议实现不同设备之间的通信过程，分别是gRPC协议和RDMA协议。 -3. 第二层内核实现层，实现了核心算子（Operation）与张量（Tensor）的操作。所有的算子都是以张量为操作对象，依赖底层实现张量的内存分配和计算。 -4. 第三层图计算层，实现了计算图（Graph），包括本地计算流图和分布式的计算流图的实现。主要实现了计算图的创建、编译、优化和执行的细节。计算图中的每个节点都是内核实现层中的算子，计算图中的每条边代表内核实现层中的张量。 -5. 第四层API接口层，TensorFlow提供了原始的C API的实现，方便其他语言和平台进行调用。通过C API进一步实现其他语言的API，方便不同语言开发者选择熟悉的语言构建计算图。 -6. 第五层应用层，不同的编程语言通过API接口层调用TensorFlow的内核，实现相关的模型和应用。 - -![](image/2021-04-06-23-28-22.png) - -1. 使用linux的mmap方法申请内存空间，建立内存映射。 -2. 使用platform模块，对底层方法进行封装，实现异常情况处理，并记录内存映射的地址及相关信息，提供上层接口 -3. 利用platform模块提供的内存映射接口，创建读取器，复写父类中的数据读取方法。创建一个读取数据的算子，并注册到内核当中，提供其他语言的接口。 -4. 编写前端，调用内核新方法，使用MmapReader模型进行数据读取。 -5. 重新编译 - -* 最终成果：毕业答辩顺利完成。 - - -## 5 个人能力和性格 - -1. C++后端开发、Java后端开发、Mysql数据库 -2. 学习能力较强。 -3. 乐观积极。热衷于开发 - diff --git a/工作日志/2021年4月8日-简历投递记录.md b/工作日志/2021年4月8日-简历投递记录.md deleted file mode 100644 index beee7275..00000000 --- a/工作日志/2021年4月8日-简历投递记录.md +++ /dev/null @@ -1,133 +0,0 @@ - -> 一期简历 - -## ~~腾讯实习~~ - -* 岗位：后端开发——微信事业群 -* 技术要求： - * C/C++/Java开发语言； - * TCP/UDP网络协议及相关编程、进程间通讯编程； - * 专业软件知识，包括算法、操作系统、软件工程、设计模式、数据结构、数据库系统、网络安全等。 - * Python、Shell、Perl等脚本语言； - * MySQL及SQL语言、编程； - * NoSQL, Key-value存储原理。 - * (加分项)分布式系统设计与开发、负载均衡技术，系统容灾设计，高可用系统等知识。 -* 流程 - - [x] 简历投递 join.qq.com - - [x] 2021年4月8日16:00 1面。准备以上内容。 - - [x] 2021年4月9日10:30 1面。面试改到北京了 - - [x] 2021-04-13 10:30 2面。面试，项目与基础知识 - - [x] ~~04-18 20:00:00 -- 22:00:00 笔试~~ -> 但是TMD之前的面试进度还在。没办法参加第二次面试了，早知道，直接换个事业群，换一波人说不定还好说话。妈卖批。别是上一个boss - -## ~~商汤科技~~ - -* 岗位：研究院-后端研发工程师 -* 技术要求： - * 熟练使用C/C++、Python、Go中至少一种编程语言； - * 熟练使用MySQL，PostgreSQL、Redis等主流的关系型、非关系型数据库； - * 具有扎实的计算机科学素养，对计算机组成，数据结构和算法，操作系统和编译原理有良好的理解； - * 具备阅读英文文档和开源源码的能力和习惯，能基于需求对开源组件进行快速选型和运用； - * 具有优秀的分析问题和解决问题的能力，以及良好的沟通能力和团队合作能力。 - * 具备使用Vue/Angular/React等前端框架进行简单前端开发的能力； - * 有机器学习基础，含深度学习，掌握PyTorch、TensorFlow、MXNet、Caffe等深度学习框架之一； - * ~~对UE4/Unity/Blender/Maya等3D动画、游戏工具有过使用经验；~~ -* 流程 - - [x] 简历投递https://hr.sensetime.com/SU604c56f9bef57c3d1a752c60/pb/account.html#/myDeliver - - -## ~~拼多多~~ -> 只有上海的岗位 - -## ~~深睿医疗~~ -* 岗位：后端研发 -* 技术要求： -* 流程： - - [x] 发送简历到邮箱gongjiayi@deepwise.com - -## 字节跳动 - -* 岗位1：后端开发工程师-基础架构（实习） -* 技术要求 - * 热爱计算机科学和互联网技术，精通至少一门编程语言，包括但不仅限于：Java、C、C++、PHP、 Python、Golang等； - * 掌握扎实的计算机基础知识，深入理解数据结构、算法和操作系统知识； - * 有云计算、分布式存储、研发平台类项目经历优先。 -* 岗位2：后端开发实习生-产品研发 -* 技术要求： - * 掌握PHP、Go、Java、Python、C/C++等任意一门编程语言；Go/C++语言优先； - * 熟悉MySQL的使用与优化；熟悉Redis/Mongodb/Memcache等NoSQL技术的优先； -* 流程 - - [x] 简历投递https://jobs.bytedance.com/campus/position/application - - [x] 2021-04-11 15:00 1面。北京字节跳动。 - - [x] 2021-04-14 11:00 3面。 - - [ ] 结果未知，生死未卜 - -## 阿里巴巴 -* 岗位：研发工程师C++ -* 技术要求： - * 或许，你熟悉Unix/Linux/Win32环境下编程，并有相关开发经验，熟练使用调试工具，并熟悉某种脚本语言； - * 或许，你熟悉网络编程和多线程编程，对TCP/IP，HTTP等网络协议有很深的理解； - * 或许，你享受底层技术，在kernel的源代码中纵横驰骋； - * 或许，你并不熟悉C，C++，但是你不畏挑战，喜欢钻研，能够用你亮眼的成果证明自己超强的学习能力； - * 或许，你参加过大学生数学建模竞赛，“挑战杯”，机器人足球比赛等； -* 投递 - - [x] 简历投递https://campus.alibaba.com/myJobApply.htm - - [x] 素质测评 - - [x] 2021年04月09日 19:00 - 2021年04月09日 20:00。完球了没人捞我的专利，待会问问师兄。 - - [x] 2021年4月19日 16:00 一面。终于还是来了。还是要好好准备的。把所有的问题复习一遍。估计很难进。 - - [ ] 2021年4月23日 15:00 三面。 - -> 二期简历 - -------------- - -## 华为实习 - -* 岗位：软件开发实习生 -* 岗位要求： - 1. 计算机、软件、通信等相关专业本科及以上学历； - 2. 热爱编程，基础扎实，熟悉掌握但不限于JAVA/C++/C/Python/JS/HTML/GO等编程语言中的一种或数种，有良好的编程习惯； - 3. 具备独立工作能力和解决问题的能力、善于沟通，乐于合作，热衷新技术，善于总结分享，喜欢动手实践； - 4. 对数据结构、算法有一定了解； - 5. 优选条件：熟悉TCP/IP协议及互联网常见应用和协议的原理；有IT应用软件、互联网软件、IOS/安卓等相关产品开发经验，不满足于课堂所学，在校期间积极参加校内外软件编程大赛或积极参于编程开源社区组织；熟悉JS/AS/AJAX/HTML5/CSS等前端开发技术。 -* 流程 - - [x] 简历投递https://career.huawei.com/reccampportal/portal5/user-index.html - - -## 美团 -* 岗位：后端开发工程师 -* 岗位要求 - 1. 掌握一种以上的开发语言，包括但不限于Java、C、C++、Python、Golang等；了解MySQL等基本使用，熟练使用SQL语句；会常用的shell命令； - 2. 具有扎实的数据结构、操作系统、数据库、算法、网络等计算机基础知识； - 3. 优秀的学习能力和自驱力，对新技术有强烈的求知精神，能深入代码研究，能通过英文论文等第一手资料了解业界新技术，积极学习新技术提升自我、提升团队； - 4. 优秀的逻辑思维能力，特别是流程梳理能力和建模能力，善于从复杂系统表象中分析问题。具有较强的解决问题能力，对解决复杂问题充满激情； - 5. 善于交流，有良好的团队合作精神和协调沟通能力，有一定推动能力。 -* 流程 - - [x] 简历投递https://campus.meituan.com/apply-record - - [ ] 2021-04-25 10:00 星期天 在线笔试。登录路径：https://meituan.acmcoder.com/cand/login?8nuw9pj4登录帐号：meituan登录密码：haurna - -## 快手 - -* 岗位:C++ 搜索推荐实习生。基础架构中心实习生 -* 岗位要求 - 1. 本科及以上学历，计算机相关专业优先； - 2. 熟悉C/C++或Rust，有扎实的计算机基础，对数据结构、算法基础有深入理解； - 3. 熟悉面向对象的设计思想，了解软件开发流程； - 4. 有实际项目经验或互联网公司实习经历者优先，有OI、ICPC等竞赛经验者优先； - 5. 热爱互联网，对互联网产品和技术有浓厚的兴趣，热衷于追求技术极致与创新； - 6. 具有良好的沟通能力和团队合作精神、优秀的分析问题和解决问题的能力。 -* 流程 - - [x] 简历投递https://zhaopin.kuaishou.cn/recruit/e/#/official/my-apply/ - - [x] 2021-04-19 18:00:00 1面 -## 网易 -* 岗位：C++开发实习生 -* 岗位要求 - 1. 不管学的是什么专业，都有一颗对互联网无比热爱，愿意为之付出的心； - 2. 就是喜欢C. C++这个程序语言，还就爱拿它做项目开发； - 3. 对网络编程有研究，基本的gdb调试能力？内存泄漏，越界读写等常见问题？对你来说都不是问题； - 4. 作为一个优秀的程序员，有良好的服务器端编程能力和编程习惯，相关模块设计. 文档编写都是小case； - 5. 十八般武艺样样精通，掌握多线程并发编程技术，掌握各种数据结构和算法； - 6. 熟悉windows/linux编程环境，如果有MySQL开发经验那就再 好 不 过 啦！！！ -* 流程 - - [x] 简历投递https://campus.163.com/app/personal/apply - diff --git a/工作日志/2021年4月9日-实习复习计划.md b/工作日志/2021年4月9日-实习复习计划.md deleted file mode 100644 index 266c311e..00000000 --- a/工作日志/2021年4月9日-实习复习计划.md +++ /dev/null @@ -1,24 +0,0 @@ -## 计划 - -### **腾讯面试前复习** -- 基础知识复习 - - [x] 数据库 - - [x] 计算机网络 - - [x] 操作系统（最后一遍搞清楚同步通信、IO过程相关的问题提） - - [x] C++ - - [x] 项目经历 - - [x] 把所有项目上传到gitee - - [x] github项目整理 -- 腾讯要求复习 - - [x] nosql/redis非关系型数据库 - - ~~Hadoop/spark 分布式数据处理(没时间了，等下一轮吧)~~ -- 腾讯面经复习 - - [x] 针对腾讯的面试笔试问题进行复习 - -### **毕设计划第二次启动** -- 论文整理 -- [x] 桌面上的论文整理完成 -- [x] 把所有的时间节点整理一下 -- [x] 那个文件夹内有用的东西留一下（笔记） - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年5月10日-深入研究pysyft.md b/工作日志/2021年5月10日-深入研究pysyft.md deleted file mode 100644 index 0cdc20c5..00000000 --- a/工作日志/2021年5月10日-深入研究pysyft.md +++ /dev/null @@ -1,9 +0,0 @@ -## 计划 -> 需要深入阅读了理解0.2.4版本的pysyft框架。 -> 包括其指针、计划、加密、worker（仿真与实现）。我发现这些代码的设计都非常优秀。日后方便自己完成整个系统。 - - - - - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年5月11日-感悟.md b/工作日志/2021年5月11日-感悟.md deleted file mode 100644 index 30b78a2a..00000000 --- a/工作日志/2021年5月11日-感悟.md +++ /dev/null @@ -1,36 +0,0 @@ -## 计划 - -> 感觉金融经济学还是挺有意思的。 -> 试着考一下相关的证。 - - -### 金融经济学 -> 基础金融经济规律 - -### 法学 -> 基础法律 - -### 医学 - -> 基础医学 - -### 计算机——office -> 学会word、PPT、Excel的用法 -> 学会Python、numpy、pandas、matplotlib数据分析和处理方法 - -## 收获 - -第七次人口普查结果出来了，希望国家更好，希望人民幸福。虽然有很多说不清楚，觉得很奇怪的地方。但总感觉这个社会压抑了太多的情绪，最后，每个人的思想都变得畸形，扭曲。 - -算了，这个世界大概就是这样。我觉得过于关注社会和国家的大事，容易让自己失去奋斗的动力。觉得黑暗，觉得无法找到前进的方向，觉得努力最后也不过就是那样，觉得没办法实现自己的人生目标。知道的越多，反而对自己没有任何好处。 - -从今天开始，彻底放弃对国内外新闻的关注，那些东西，真不是我能把握得住的。道听途说就行，做好自己分内的事情，能够毕业就行。活下去，活的有意义一些，就是自己的目标。 - - -为啥非得把开始学习与这种无用的东西挂钩。烦死了。我现在需要把膏药运回宿舍。然后去买点东西吃个饭。 -感觉好烦啊。周末玩的欲望，胜过一切。五月份又是无语的半个月。 - -总之还是从今天开始认真学习把。时间。。。确实不够了。六月末之前完成中期答辩。这是学长说的。完成这一阶段的任务，就要开始写 -1. 毕设论文 -2. 小论文 -3. 最后的展示工程（或者说一个近似仿真的系统，怎么也得一两个月） \ No newline at end of file diff --git a/工作日志/2021年5月1日-五月份计划.md b/工作日志/2021年5月1日-五月份计划.md deleted file mode 100644 index 6cd0cb47..00000000 --- a/工作日志/2021年5月1日-五月份计划.md +++ /dev/null @@ -1,116 +0,0 @@ -## 1 任务 - -> 通过撰写论文驱动自己执行接下来的任务。研究任务->工程任务 - -- [x] 1 阅读论文（研究任务），主要包括四个方面的论文：恶意软件、联邦学习、非独立同分布、隐私保护。 -- [x] 2 完成实验（实验任务），找到一种衡量非独立同分布的方法(分布不平衡的程度。完成毕设论文中设计的半监督实验，非独立同分布的实验，并横向纵向对比实验结果。 - -- [x] 3 完成小论文和毕设论文的框架，以及大部分内容，实验和实验结果空着，等以后完成。 -- [ ] 4 构建展示系统（工程任务）。做成一个可以用来展示的网站。可视化操作和训练过程。 - -## 2 研究任务（完成毕设论文） - -> 四月份计划主要进行基础知识的学习和复习。完成了初步的数据处理。接下来的主要任务是阅读论文并完成论文复现计划。 -> 开始执行五月份计划，与四月份计划进行衔接。完成工程上与学术上的推进工作。 -> 别人都靠不住的，万事都要靠自己。接下来开始搞论文应该也能搞完。三个月实习加论文，搞完。五六七。 -> 抓紧吧基础的工程弄完，然后开始搞论文，然后在搞回工程。实现最终的系统。 -> 我们是合作关系，而不是上下级关系。别懈怠了。 - -### 2.1 阅读论文（两周） - -> （100篇计划）蒋师兄前前后后分享了估计也有一百篇了，现在重新开始读论文，在复现文章的同时进行广泛的阅读。利用citavi这个工具。 -### 2.2 完成实验（四周） -### 2.2 撰写论文（四周） - -## 3 工程任务（完成目标系统） - -> 需要确定最终实现到什么程度。如果还是单机多线程仿真的，大可不必进行大量修改。在本地通过socket多线程通信进行仿真即可。没有必要考虑网页端的训练（用户将模型下载到Chrome浏览器中，在Chrome浏览器中进行梯度下降？大可不必。第一步应该是首先实现本地浏览器调用本地后端的程序进行仿真。然后尝试远程浏览器，建立socket通信，进行真实系统仿真。而且远程系统，必须也有相关的Python环境才行，或者直接在浏览器中使用JavaScript进行梯度下降。） - -> 对于单机仿真环境：前端调用后端的训练线程，实现联邦学习。 - -> 对于多机真实环境：前端直接下载模型，在浏览器中进行梯度下降，实现联邦学习过程。 - -### 3.1 初级阶段（五月份） - -> 主要实现本地线程级别的仿真。用来完成研究中的实验和计划 -> 该仿真实验主要是了验证论文，发论文。 - - -> 尝试掌握最新的联邦学习框架（既然选择了pysyft，就不要考虑tensorflow了。pysyft的生态可能更好，而且做起来简单。主要是tensorflow框架过于庞大，很多东西虽然规范很好用起来方便，但是训练过程着实过于麻烦。使用Keras还好。如果想要修改底层必然会耗费大量精力。tensorflow能够使用js在网页中完成训练，pytorch也能够使用js在网页中完成训练。pytorch也能在android端完成训练。） - -> pytorch本地仿真实验。因为最后要搭建一个联邦学习系统，所以这里存在一个严重的问题，如果使用pysyft中集成的远程调用方法。有很多细节没办法进行控制。而且pysyft最近的支持度明显下降，已经无法使用了。需要自己实现远程调用和容器部署方便进行论文答辩。在这里pytorch只作为一种计算核心。当然也可以完全脱离pytorch进行梯度下降。 - - -- [X] pysyft线程级别仿真。明白了其工作原理，并实现了多端异步训练。在自己实现多端仿真的时候可以借用一下这里边的实现方式。 -- [x] pytorch本地单线程仿真。也可以开启多线程进行异步训练。客户端和服务器之间通过共享内存实现数据传输。FedMetaMal工程。 -- [ ] 复现联邦学习的论文。完成所有的联邦学习相关的实验。用于小论文的发表。 - -### 3.2 中级阶段（六月份） - -> 主要对pysyft框架中的内容进行理解和修改。 -> 构建pysyft对联邦学习的远程仿真实现。实现多端协同仿真，实现可视化界面。 - -> 主要对FedMetaMal进行扩展。实现多机版本的训练过程。 - -- [ ] FedMetaMal进行技术选型，实现多机训练的技术方案。主要是通过grpc等rpc框架进行远程调用。而非使用pysyft中集成好的远程调用。它那个过于难以理解。 -- [ ] 使用docker容器和socket编程，实现多端协同训练。（从仿真向现实场景过渡。） -- [ ] 使用docker容器，优化部署过程，实现windows/linux/android场景下的跨平台实验。（向现实场景过度。） - -### 3.3 最终阶段（八月份） - -> 构建系统。主要是为了最终的毕业服务。 -- 技术选项 - - [ ] 使用web服务器，实现可视化。包括可视化训练过程的控制、可视化展示训练过程和训练结果。（大概花一个月时间，本质上为了毕业，能够形成一个看起来很漂亮的系统）。也可以不是CS模式。因为服务器和客户端不一定非得提供成web服务，也可以是其他的非web服务。尝试使用electron-js-python 实现本地客户端或者远程客户端。（优势是客户端可以在本地也可以在远程，相比webkit只能做本地训练有很强的优势）我觉得这个方案非常强。 - - [ ] 这个服务器既可以用来控制训练过程，参与到训练中。也可以用来展示训练过程。也可以用来测试训练模型。固化训练模型。使用统一的一套通信方案。也可以使用同一的rpc方案。或者不同的前后端分离技术。提供grpc接口而不是http接口！！！ 在实现上应该差不多。 - -- 前端： - - - [ ] 训练控制模块（训练过程的配置。选择训练客户端、选择控制客户端，设置训练的参数。加号按钮，在本地网页上进行选择。） - - [ ] 训练过程模块（训练过程中的日志和状态变化图。） - - [ ] 模型展示模块（用来展示训练结果，可视化训练模型） - - [ ] 恶意软件检测模块。（参考手写体ONNX.js的网页，简单好用） -- 后端： - - - [ ] 通信模块（参与者，与参与者之间通信的实现。可以通过报名和注册的方式参与其中。） - - [ ] 训练模块（联邦学习引擎，主要通过联邦学习的方法，训练一个恶意软件模型） - - [ ] 应用模块（恶意软件检测引擎，包括大量的恶意软件处理模块） - -> 如果在实习过程中学了spring那一套，就用spring来写后端。如果没有学spring那一套。就用Python-Django那一套来写后端，正好与算法部分也十分契合。 -> 需要实现跨平台socket通信。如果弄完这个，发一篇论文不怕比不了也。 - -考虑使用一下技术展示成果： - -- html css javascrip -- bootstrap vue.js chart.js -- python django -- pytorch pysyft websocket - -## 4 计划(六月份开始) - -### 4.1 每日计划 - -* 上午：1篇论文 -* 下午：1篇论文 -* 晚上：2篇论文 - -如何看论文： - -[阅读论文的方法](2020年11月2日-论文阅读工具.md) - -### 4.2 每周计划 - -* 6月第1周：读论文 -* 6月第2周： -* 6月第3周： -* 6月第4周： - -> 这样一看似乎真的没有时间。自己不过也只剩一个月的时间做完毕设了。 - -### 4.3 每月计划 - -* 五月份计划 -* 六月份计划 -* 七月份计划 -* 八月份计划 - -## 5 收获 diff --git a/工作日志/2021年5月6日-今日计划.md b/工作日志/2021年5月6日-今日计划.md deleted file mode 100644 index efbef443..00000000 --- a/工作日志/2021年5月6日-今日计划.md +++ /dev/null @@ -1,31 +0,0 @@ -## 任务 - - - -* [X] 四月份计划——tensorflow federated -* [X] 四月份计划——pytorch——pysyft - - * [x] 官方教程 - * [x] 相关博客实践 - - * [x] 学弟的代码 - * [x] 自己实现 - - -* [x] 四月份计划——pytorch——basic教程（整理完教程，API文档layer、loss、optimizer整理完成，看视频吧） -* [x] ~~四月份计划——pytorch——分布式教程(包括教程和API文章整理)~~ - -* [x] ~~四月份计划——pytorch——android教程（包括教程和API文章整理）~~ -* [x] 四月份计划——pytorch——APIdoc - -## 收获 - -1. 我发现python机器学习这一套在linux下更好运行，windows配置环境果然要麻烦一百倍。从今天开始将主要的工作环境转移到linux上边。算法的运行和学习都在linux上执行。去Windows上做一下收尾工作。 -2. 当前的主要任务包括两个，一个是四月份未完成的计划。一个是五月份新开始的计划。 -3. tensorflow federated已经学习完成了，能够完成基本的联邦学习过程。因为与学弟合作的部分还是pytorch。今后最好使用pytorch进行开发吧。除非由绝对的优势，不会回到tensorflow上了。 -4. 学习了很多新的Python知识、掌握了pysyft框架的基本使用方法和一系列原理。主要目标有两个：**使用、修改**。 - - 1. Python的模块loggin、asynicio、argparse等、第三方模块websocket， - 2. pysyft的原理。worker通信原理和websocket实现（send、receive、client、server）、远程计算的实现（plan，protocol）、加密算法的实现（MFC同态加密）、联邦平均算法的实现（util.fed_avg(models)) - 3. pytorch的模块的使用。torch.nn,torch.function,torch.jit(实现了代码的序列化) -5. 从周一拖到现在，本来应该是上周的计划，到现在刚做完。问题就是，为什么random.shuffle效率会提升？？？？？？？太离谱了。总算是完成第一阶段集中式的问题了。今天怎么也得完成5月6号的任务。 diff --git a/工作日志/2021年5月7日-今日计划.md b/工作日志/2021年5月7日-今日计划.md deleted file mode 100644 index ddc8919b..00000000 --- a/工作日志/2021年5月7日-今日计划.md +++ /dev/null @@ -1,9 +0,0 @@ -## 计划 - -- [X] 四月份计划——pytorch 数据集训练 -- [X] 四月份计划——pysyft fake_federated_learning 数据集训练（直接使用学弟的代码，或者尝试写一点也行）感觉没什么必要，但是也可以根据 - - [x] 尝试自己使用pysyft框架，前几个章节给出的方法复现以下内容。 -- [X] 四月份计划——pysyft websocket数据集的训练 - - [x] 实现websocket的可扩展性。能够动态增加客户端的数量。 - -## 收获 diff --git a/工作日志/2021年5月9日-今日计划.md b/工作日志/2021年5月9日-今日计划.md deleted file mode 100644 index 844a5ece..00000000 --- a/工作日志/2021年5月9日-今日计划.md +++ /dev/null @@ -1,6 +0,0 @@ -## 计划 - -- [ ] 五月份计划——静态数据处理脚本 -- [ ] 五月份计划——动态数据处理脚本 - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年6月12日-今日计划.md b/工作日志/2021年6月12日-今日计划.md deleted file mode 100644 index 16231742..00000000 --- a/工作日志/2021年6月12日-今日计划.md +++ /dev/null @@ -1,37 +0,0 @@ -## 任务 - - -- [x] 1. Personalized Cross-Silo Federated Learning on Non-IID Data -- [ ] 2. 之前在群里讨论的非独立同分布问题的文章。 - - - - - - -- [ ] A generic framework for privacy preserving deep learning -- [ ] FEDFMC: SEQUENTIAL EFFICIENT FEDERATED LEARNING ON NON-IID DATA - -## 收获 - - - -* 论文阅读的五个方面 - * 管理组织 - * keywords - * categories - * groups - * 信息数据 - * title/authro/year - * priodical/conference - * 阅读笔记 - * quotations - * comments - * 归纳总结 - * 方法 - * 模型 - * 结论 - * 问题 - * 相关这了 - * local file - * internet address \ No newline at end of file diff --git a/工作日志/2021年6月15日-恶意流量.md b/工作日志/2021年6月15日-恶意流量.md deleted file mode 100644 index db1b8d48..00000000 --- a/工作日志/2021年6月15日-恶意流量.md +++ /dev/null @@ -1,58 +0,0 @@ -## 会议内容 - -### 相关加密协议 -https:// -http:// -SSL:// - -### 目标 - -* 加密/解密 恶意流量 -* 分析恶意流量 - -### 相关资料 -有一篇综述 - -流量加密类型 -* 应用层加密 -* 网络层加密 - -动态流量识别 - -* 可以用来借鉴恶意软件的恶意流量识别。 - - - -### 研究内容 - -1. 恶意软件的表征。 -2. 恶意流量的表征。 - -DPI表征。 - -机器学习表征。 - -xgb - - -### 恶意软件分类的事情： - -* 行为类型。实现针对系统的破坏和入侵行为。构成恶意软家族，利用相同的漏洞或者操作模式，对系统进行入侵和破坏。 -* 恶意目标。实现针对使用者的侵害和损伤行为。一般是在系统破坏和入侵以后，针对系统使用者试行的行为的内容。包括勒索行为、恶意广告、正常使用阻碍、数据隐私窃取等等。 - - -### 关联方法 - -* 公害行为之间的关联。上下游，提供 -* 行为主体的关联。 -* 行为内容的关联。生成知识主体。建立关联。七国峰会----九个领导人的照片。 - -## 个人任务 - -### TLS - -* 搞明白SSL和TLS。这些协议是怎么运行的。做一些调研。 -* 易俊凯。TLS1.3和1.2的区别 -* Http、https协议怎么加密。 - -## \ No newline at end of file diff --git a/工作日志/2021年6月1日-六月份计划.md b/工作日志/2021年6月1日-六月份计划.md deleted file mode 100644 index fec3bca5..00000000 --- a/工作日志/2021年6月1日-六月份计划.md +++ /dev/null @@ -1,22 +0,0 @@ -> 六月份已经过去了。乱七八糟。 - - - - -## 总结 -* 与高中同学背景聚会。去交通大学玩耍。还挺他们唱歌，自己终于也能跟着志鹏哼两句了。 -* 后来汉卿来了，打第一次篮球脚扭了。 -* 汉卿、李静、我、玄哥？一款在胡同小馆吃饭。瞎扯 -* 跟玄哥、志鹏、平子吃了一次两份去吃了一次两份，在肯德基里完了一晚上的剧本杀，居然是个凶手累的一批。 -* 康明、刘迪、东哥。多年未见的老朋友终于又一次聚在了一块。去做了各种各样的过山车，真的好玩。真想给你讲述一下那样的经历。 -* 回家了一趟，感慨万千。见了茹姐。 - - -> 过了六月就已经是下半年了。我发现这半年来。自己的状态有所好转。但是没有以前的热情了。我想回到从前，对生活的充满期待，而不是因为焦虑不得不去做这些事情。是因为对未来的期待。 -> 果然，不能抱着侥幸的心里，不能过分在乎别人对自己的目光。太过焦虑了，过分厌烦。气死了。果然这样什么事情都处理不好。本来就应该回宿舍，既不会过分担心发生的事情。 -> 六月份应该是诸事顺利的日子，但是我发现。被乱七八糟的事情搞得很难受。六月份的冲动已经消失了。 -> 我需要想一个让自己能记得住的口号和方法。重读自己的日记。找到正确的方法。争取在八月份之前，返回工作岗位。 - - - - diff --git a/工作日志/2021年6月21日-网络公害流量.md b/工作日志/2021年6月21日-网络公害流量.md deleted file mode 100644 index a11a6a8d..00000000 --- a/工作日志/2021年6月21日-网络公害流量.md +++ /dev/null @@ -1,84 +0,0 @@ -## 黄赌毒 -### 网络公害流量的定义 -（几乎找不到相关的定义。根据公害的定义和一些资料可以做出如下介绍。凡影响三人以上并侵害他们作为公众成员而应享有的权益的妨扰为“公众性妨扰”，简称“公害”。） - - -网络公害流量泛指干扰和破坏正常网络活动、侵害公众网络权益的内容，通常伴随着网络公害行为产生。网络公害行为包括窃取用户信息、恶意广告、金融诈骗、传播黄赌毒、网络诈骗和勒索、恶意安装和卸载软件、网络监听、网络霸权、网络攻击、非法交易。严重干扰用户的日常工作、数据安全和个人隐私。 - -* 网络霸权：希望只有自己发言，其他人等，要么和自己的语意一致，要么闭嘴。 -* 网络窃密、网络暴力、网络侵权、网络暴恐、网络攻击。 -* 恶意流量是指通过网络创建或接收的任何可疑链接、文件或连接。恶意流量是一种造成事件的威胁，可能会影响组织的安全，也可能会危害您的个人计算机。 -* 恶意软件或恶意软件会渗透并控制计算机系统或移动设备，以窃取有价值的信息或损坏数据。恶意软件有很多种，它们在执行攻击时可以相互补充。广告软件、后门/远程访问木马（RAT）、僵尸网络、间谍软件、木马蠕虫 -* 恶意爬虫、自动机、模拟器等产生，伪造真实用户发起的请求，都属于恶意机器流量（Bad Bots）。恶意流量的存在严重危害了互联网的健康发展。这些流量通过在应用层攻击网站、APP或是API，以达到获利的目的，同时也会对企业造成经济上的巨大损失。恶意流量具有三大特点：攻击普遍性、攻击持续性、攻击目的性。 - - -### 网络犯罪 -* 涉及基本罪，侵犯的个人或企业隐私，比如在攻击完整的数字托管保存的信息和使用非法获得的数字信息敲诈一个公司或个人。此外，身份盗窃的犯罪活动也在不断增加。包括基于交易的犯罪，例如欺诈、贩卖儿童色情制品、数字盗版、洗钱和伪造。 -* 涉及企图破坏互联网实际运作的犯罪。这些范围从垃圾邮件、黑客攻击和针对特定站点的拒绝服务攻击到网络恐怖主义——即利用互联网引起公众骚乱甚至死亡。 - - * 电子邮件和网络欺诈。 - * 身份欺诈（个人信息被盗和使用）。 - * 盗窃财务或卡支付数据。 - * 盗窃和出售公司数据。 - * 网络勒索（索要金钱以防止受到威胁的攻击）。 - * 勒索软件攻击（一种网络勒索）。 - * Cryptojacking（黑客使用他们不拥有的资源挖掘加密货币）。 - * 网络间谍（黑客访问政府或公司数据的地方）。 -### 产业链 - -编写恶意代码、散发恶意代码、收集/控制受害主机、利用受害主机赚钱和地下交易平台.其中,散发恶意代码的方式有垃圾邮件、网站和聊天工具等,收集/控制受害主机的方式有僵尸网络和木马网络,利用受害主机赚钱的方式有受雇从事针对竞争对手的网络病毒攻击、散发商业垃圾邮件、构建钓鱼网站、制造虚假流量、盗取和售卖账号密码和隐私信息 - - -### 黄赌毒网站特点 - -* 网站重定向。劫持网站，篡改网页。重定向到特定的恶意网址。 -* 欺骗搜索引擎。bot。让搜索引擎误以为是正常网站。 -* 诱导下载APP。使用专用加密协议向用户推送恶意内容。 -* 国外运营，逃避监管。 -* 仅靠技术不足以区分不同犯罪活动领域之间可能存在的任何区别。必须结合内容。 - -### 网络公害流量有什么特点（可以从哪些角度） - -* 内容与技术融合。例如赌博总是与黄色内容、恶意广告结合在一块发布。而且赌博越来越与社交媒体、网络游戏等内容融合。 - -### 网络公害加密流量的特征 -* 解密前的报头特征 -``` -2.3.1 会话的统计特征分析 - (1)包数量的特征 - (2)包长序列的特征 - (3)会话持续时间的特征 - (4)数据包顺序与大小特征 -2.3.2 TLS协议特征分析 - (1)加密套件使用的特征 - (2)扩展加密套件使用的特征 -2.3.3 服务器证书特征 -2.3.4 服务器域名特征 -``` - -* 解密后的负载特征 - -## 网络公安 - -### 公安如何侦察 -* 内容审核。各平台也要加强审核力度，强化底线思维和社会责任感，谨防自身成为毒流量生长传播的温床，与政府部门、媒体、网民等社会各界携手营造清朗的网络空间。 -* 网络违法犯罪举报。 -* 搜索引擎一般是不收录的。 - - -### 分析步骤 - -* 网络流量====>网络信息内容 - - - - - -## 2021年6月22日会议记录 - -### - -* 交互的行为特征 -* 公害流量知识库 - * 上层的API调用层 - * 下层的网络通信层 \ No newline at end of file diff --git a/工作日志/2021年6月2日-今日计划.md b/工作日志/2021年6月2日-今日计划.md deleted file mode 100644 index b8cab6c4..00000000 --- a/工作日志/2021年6月2日-今日计划.md +++ /dev/null @@ -1,9 +0,0 @@ -## 计划 - -- [X] 五月份计划——ida 实现 -- [X] 五月份计划——prox实现 - -## 收获 - -* 学习了websocket的使用，了解了Python异步通信编程。可以考虑使用Django快速构建本地的一个网站，用来展示和控制联邦学习过程。 -* 参数服务器与客户端通信只能使用权重来更新服务器上的模型。因为，如果使用梯度的话，必须每个epoch或者每一个batchsize都要上传grad。但是在训练过程中，可以经过多个epoch或者batchsize后，上传权重，进行合并。 diff --git a/工作日志/2021年6月3日-今日计划.md b/工作日志/2021年6月3日-今日计划.md deleted file mode 100644 index eee53c23..00000000 --- a/工作日志/2021年6月3日-今日计划.md +++ /dev/null @@ -1,21 +0,0 @@ -# 本周计划 - -> 过多的思考，导致自己的工作停滞不前。 -> -> 应该学会从阅读中汲取灵感。阅读，才是本质工作。 -> -> 无论是工作上（读代码与思考如何写代码）、学术上（读论文与思考该怎么读论文）、生活上（读书与思考该如何生活）。我觉得这三个方面，我都犯了致命的错误。应该以读为主，辅助以思考，而不是每天思考该怎么做、该做什么，却从来没有尝试去做这些东西。从今天开始，将阅读与思考时间进行严格限制。3：1，3分阅读，1分思考。 -> -> 转眼已经五月末了。本月的计划执行地稀烂。还是自己的键盘打字舒服啊，太好用了。从今天开始，转入学习状态。计划也写了很久了，该去实践了。既然采取了一种更加稳扎稳打的习惯。就应该付出更多的努力。肿瘤发生的第31天。 - -- [ ] 阅读九月份以来的工作，完成毕业论文的框架。 -- [ ] 本周读完所有的论文。每天3~5篇。 -- [ ] 完成数据预处理工作，和对恶意软件的分析工作！！！（已经拖了两个月了） - -## 计划 -- [ ] 阅读九月份以来的工作，完成毕业论文的框架。 - - -## 收获 - -* 不应该以学习语言为目的。不应该以掌握某一个技术为目的。应该将**产品** 作为最终的目标。围绕产品学习相关的技术。你可以有自己感兴趣的技术和方向。 diff --git a/工作日志/2021年7月10日-今日计划.md b/工作日志/2021年7月10日-今日计划.md deleted file mode 100644 index ab7f1585..00000000 --- a/工作日志/2021年7月10日-今日计划.md +++ /dev/null @@ -1,20 +0,0 @@ -## 计划 - -> 由于citavi彻底崩掉了。不得不采取这样的方式。恶心的citavi，垃圾的同步问题。从今以后，那些大公司承诺和支持的软件的，千万不要相信。永远拥抱开源就对了，总有一堆活跃的大佬，不断完善开源软件，比瞎搞的citavi、mendeley强多了。 - -- [X] 学习zotero使用教程。 -- [X] 将所有的中英文文献导入到zotero中。（逐步将翻译、笔记插入到当前的文档管理软件当中。） - - [X] 将文献翻译导入到指定的条目当中 - - [X] 导入中文文献 -- [X] 回顾自己的计划 -- [ ] 读论文联邦学习相关(10篇)做好相关的总结。 - -## 总结 - -* 两套软件使用。逐步过渡到zotero。这个垃圾的citavi配置问题，太闹心了。就喜欢简单一键解决问题。想要啥都做好。往往啥都做不好。垃圾软件，毫无用户体验。md，刚配置完成，这东西居然又连上网络了。我觉得还是把软件当工具用，工具始终是工具而不是目标。 -* 与citavi相比，在于知识的管理。可能笔记的内容无法非常好的索引出来。无法形成最后文献阅读的csv表格。但是无所谓。可以最后的时候自己做成一个表格。附件中的笔记使用来索引的。 - - - - -* 终于可以开了。兄弟，别等了。开始吧。 diff --git a/工作日志/2021年7月16日-今日计划.md b/工作日志/2021年7月16日-今日计划.md deleted file mode 100644 index 363ea449..00000000 --- a/工作日志/2021年7月16日-今日计划.md +++ /dev/null @@ -1,13 +0,0 @@ -## 计划 - -* 八篇文章 - * [x] FedRep联邦表示学习、本地个性化模型 - * [x] FLmeta 联邦元学习 - * [x] MAML 元学习 - * [x] Deeplearning - * [x] Federated Learning - * [x] FedFMC - * [x] On the coverage - * [x] Personality - -## 总结 \ No newline at end of file diff --git a/工作日志/2021年7月18日-今日计划.md b/工作日志/2021年7月18日-今日计划.md deleted file mode 100644 index cb81e7a7..00000000 --- a/工作日志/2021年7月18日-今日计划.md +++ /dev/null @@ -1,14 +0,0 @@ -## 计划 - -* 十篇文章(2021.04文件夹下的内容) - * [x] FedFMC - * [x] EWC(FedFMC中用到的一种终身学习的方法，需要了解，作为参考文献)是一种增量学习方案 - * [x] Overcoming Forgetting in Federated Learning on Non-IID Data 利用增量学习方案解决联邦学习中非独立同分布问题的另外一个方法。 - * [x] Federated Meta-Learning for Fraudulent Credit Card Detection 联邦元学习解决信用卡诈骗检测 - * [x] Learning Classifiers When the Training Data Is Not IID - * [x] on the convergence of fl on noniid data - * [x] federated learning with non iid data - * [x] federated learning with non iid data : a survey - -## 总结 - diff --git a/工作日志/2021年7月19日-科研汇报.md b/工作日志/2021年7月19日-科研汇报.md deleted file mode 100644 index 0fad6853..00000000 --- a/工作日志/2021年7月19日-科研汇报.md +++ /dev/null @@ -1,59 +0,0 @@ -## 第6次科研汇报 - -> 按照中期答辩或者小论文完成的方式进行汇报。 - -这次的研究进展就按照小论文的形式进行汇报，因为中期答辩的话，必然要把开题的那一套全都讲一遍。试一下，尝试一下中期答辩的方式。 - -看完这几篇关于非独立同分布的文章，然后用一个表格总结一下，放到PPT中。 - - - - -## 研究路线 - -背景---->目标----> 切入点 - -恶意软件检测------> 数据隐私需求-----> 联邦学习-----> 非独立同分布问题 - - - -## 理论研究 - -### 问题定义——什么是非独立同分布？ -怎么产生的，有哪几种类别。 - -### 非独立同分布到底会产生什么影响？ - -### 联邦学习非独立同分布的主要解决方案 - -每种方法给出几个典型的文章的方法和内容。使用表格 - -1. 样本共享 -2. 终身学习 -3. 全局修正 -4. 元学习 - - - -## 研究进展 - - -理论研究80% - -1. 采取联邦元学习，通过本地个性化解决联邦学习在恶意软件过程中因为数据非独立同分布导致的准确率下降的问题。再次基础上进行改进，添加全局修正项。 - -工程研究20% - -1. 完成了prox和idx两个全局修正非独立同分布解决方案。 - - -预期成果 -1. 完成基于联邦元学习的的恶意软件检测方法 小论文 - - - - - - - - diff --git a/工作日志/2021年7月20日-会议记录.md b/工作日志/2021年7月20日-会议记录.md deleted file mode 100644 index abf9f7e3..00000000 --- a/工作日志/2021年7月20日-会议记录.md +++ /dev/null @@ -1,93 +0,0 @@ -# 数据资产化——李春燕 -## 隐私 -1. 个人隐私 -2. 企业机密 - -## 需求 - -对隐私和机密的保护。 - -## 障碍 - -1. 复杂数据类型：质量残次不齐、非标准化、非结构化 -2. 经济学特征：虚拟的、可重复使用，成本、非竞争性、时效性、应用算法、应用场景、网络效应 -3. 生成性，本身无价值 -3. 非经济学特征：隐私与机密 - -## 解决方案 -1. 安全计算，保护用户个人隐私、企业数据机密性。 -2. 激励模式。 - -威胁情报知识形式化表达+基于区块链的威胁情报共享的激励机制====>威胁情报共享模型====>数据资产化 - -stix格式/SWRL语义web规则语言====>实现威胁情报知识具有可读性。 - -区块链+基于角色的激励机制=====>威胁情报组织资源动态共享威胁情报。 - -## 计划 -1. 基于区块链的共享架构 -2. 激励机制 -3. 个人隐私保护和企业数据机密性 - - -## 问题 - -1. 像数学一样，具有的数学性质。应该分析特点和问题。在威胁情报中，威胁情报是什么，有哪些类型，有什么特点，有哪些挑战。 -2. 相关概念弄清楚，什么事数据、信息、知识。数据是数字化的文档。信息是有价值的数据。把相关的定义说清楚。 - - -# 威胁情报——蒋昌南 - -## 威胁情报 -1. 奇安信的情报实例。 -2. 威胁信息STIX格式的威胁信息。Indicator中的动态行为（恶意软件在本地的动作：文件访问、修改），静态描述。 - -## 基于联邦学习的分类器构建 - -1. 全局共享思路。 -2. 联邦学习训练的上限是集中式的。 -3. 半共享方案。 -4. 迁移学习 -5. 个性化层 -6. 混合全局方案 - -联邦元学习 - - -## 创新点 - -1. 本地生成威胁信息。 - - -## 问题 -1. 原理是怎样的？原理上的可行性？本地提取知识，进行个性化。 -2. 本质上就是调参？也包括算法和模型的改进。 -3. 由于分布不同，带来了什么问题？针对这种问题，对模型上进行怎样的改进？这种改进有什么创新，理论上有什么依据？在复现别人的成果？在结构上或网络上进行变化，针对问题进行解决。 -4. 理论上可行，执行上必然可行。例如网络拥塞控制。理论上能够解决，实际上才能解决。解决方法必须具有普遍性。开门不能靠试，应该有理论上的研究。 -5. 替代集中式的训练方法？还是在集中式的基础上的改进方案？两者都可行，可以选择。应用创新，该场景的新问题，和其他场景的解决方案。 -6. 非独立同分布带来什么问题，怎样解决这些问题。 -7. 在威胁情报的基础上，结合本地情况，利用本地解决问题的方法。 -8. 如何评价威胁情报的效果。出发点：评价该方法的隐私性（保护隐私的程度），产生的威胁情报的质量不比原来差。 -9. 党的领导（建立方向和目标）、群众路线（得到大部分认可）、武装斗争（要有核心竞争力）、统一战线（社会实质问题）。融入到工作当中，肯定能取的成功。基础知识广，扎实。武装斗争，要具有想象力，有创新性，进行结合，相互合作。 - - -## omnet——李文超 - -## 物联网omnet++ - -1. 基于omnet++补充信息 -2. 车辆信息仿真，SUMO负责地图绘制和显示，omnet++仿真，wings车辆信息。详细介绍实验的参数。 -3. 添加广播信息传输。预警信息传输。事故信息。 -4. 数据搜索的论文。平台上做实验，速度、传输速度描述。 -5. 结合以往的工作进行分析。进行车辆传播信息的仿真。车联网方案，在网络平台上运行。车辆信息传输。模仿物联网。 -6. 前边是数据加密方案，后边是数据仿真。数据加密搜索，数据分享授权。知识同质搜索加密，全同态加密。场景不同，对方不需要解密。模拟信息通信过程。 - - -## 问题 - -1. 仿真实验解决的问题 -2. 如何完善仿真 -3. 具体的方向，完善什么方向。 -4. 把具体解决的问题，使用实验仿真出来。到底想验证什么，不能单纯的为了搭建一个场景，而什么也没有证明，去做实验。要仿真的现有的方案。效率提升+预警信息传输 -5. 与威胁情报的关系，在什么地方可以应用和借鉴它的技术。从威胁情报共享的角度来说，可以继续向什么方向深入。需要多问多交流，不能总是你以为。 -6. 为了听取大家的意见。为了获取知识。交流。 \ No newline at end of file diff --git a/工作日志/2021年7月21日-今日计划.md b/工作日志/2021年7月21日-今日计划.md deleted file mode 100644 index 1b4cc44e..00000000 --- a/工作日志/2021年7月21日-今日计划.md +++ /dev/null @@ -1,8 +0,0 @@ -## 计划 - -### 毕设——论文阅读2.00-6.00 -* [x] federated learning on non iid data silos an experiment -* [x] fedAT -* [x] 自适应联邦学习算法 - -## 总结 \ No newline at end of file diff --git a/工作日志/2021年7月22日-今日计划.md b/工作日志/2021年7月22日-今日计划.md deleted file mode 100644 index 34b63c39..00000000 --- a/工作日志/2021年7月22日-今日计划.md +++ /dev/null @@ -1,18 +0,0 @@ -## 计划 - -### 毕设——论文阅读2.00-6.00 -* [x] mocha 联邦多任务学习 -* [x] Improving Federated Learning Personalization via Model Agnostic Meta Learning -* [x] Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge Based Framework -* [x] Personalized Federated Learning With Differential Privacy -* [x] Personalized Federated Learning with Moreau Envelopes -* [x] Personalized Federated Learning: A Meta-Learning Approach -* [x] Salvaging Federated Learning by Local Adaptation -* [x] Survey of Personalization Techniques for Federated Learning - - - -## 总结 - - -* 基本把非独立同分布问题的经典方法看完了。接下来进行复现。尝试对各种方法进行对比，主要是基于手写体数据集构建非独立同分布的实验。然后将数据集更改为自己的数据集（等选择好数据集之后，将数据及进行更换。） \ No newline at end of file diff --git a/工作日志/2021年7月23日-今日计划.md b/工作日志/2021年7月23日-今日计划.md deleted file mode 100644 index f364b056..00000000 --- a/工作日志/2021年7月23日-今日计划.md +++ /dev/null @@ -1,23 +0,0 @@ -## 计划 - -### 毕设——论文阅读2.00-6.00 - -* [x] Android Malware Detection using Deep Learning on API Method Sequences -* [x] LoAdaBoost: loss-based AdaBoost federated machine learning with reduced computational complexity on IID and non-IID intensive care data -* [x] A scalable and extensible framework for android malware detection and family attribution -* [x] CTDroid: Leveraging a Corpus of Technical Blogs for Android Malware Analysis -* [x] Optimizing symbolic execution for malware behavior classification -* [x] Cross-Gradient Aggregation for Decentralized Learning from Non-IID data -* [x] JOWMDroid: Android malware detection based on feature weighting with joint optimization of weight-mapping and classifier parameters -* [x] DAMBA: Detecting Android Malware by ORGB Analysis -* [x] DeepIntent: Deep Icon-Behavior Learning for Detecting Intention-Behavior Discrepancy in Mobile Apps - - -### 就业 - -- [x] LeetCode一道困难题。10.00-12.00 -- [ ] C++基础知识看完。8.00-10.00 - - - -## 总结 \ No newline at end of file diff --git a/工作日志/2021年7月24日-今日计划.md b/工作日志/2021年7月24日-今日计划.md deleted file mode 100644 index ee7c36fb..00000000 --- a/工作日志/2021年7月24日-今日计划.md +++ /dev/null @@ -1,40 +0,0 @@ -## 计划 - - -### 就业 - -- [x] LeetCode一道困难题。10.00-12.00 -- [x] C++基础知识看完。8.00-10.00 - - - -## 总结 - -* 一个模板可以用来复制黏贴 -``` -# DNN - - -## 文献贡献 - - -## 问题定义 - - -## 算法模型 - - -## 实验内容 - -1. 目标设置： -2. 样本设置： -3. 工具设置： -4. 算法设置： -5. 参数设置： - - -## 研究结论 - - -## 存在问题 -``` \ No newline at end of file diff --git a/工作日志/2021年7月25日-rythm分享.md b/工作日志/2021年7月25日-rythm分享.md deleted file mode 100644 index 869aae93..00000000 --- a/工作日志/2021年7月25日-rythm分享.md +++ /dev/null @@ -1,97 +0,0 @@ -# rythm 孙锐 诗歌与节奏 - -## 什么是 -1. 节奏，断句，停顿。 -2. 韵律，升降，平仄调。不太一样。 - - -### 三种类型🌿 -1. 图解法。使用 -2. 音乐性理论 -3. 节奏韵律。使用科学上的物理参数。 - - -### 韵文格律与意义 - -1. 无关系 -2. 韵律能够在一定意义上反应意义。 -3. 节奏、音高的连续性。 - -> 同一个音能够通过不同的节奏反应不同的意思。啊？，啊～，啊、，啊——，。 - - -## 诗歌 - - - -## 中国诗歌 - -1. 诗经。最后动词的变迁。 -2. 楚辞，赋。 -3. 汉乐府、汉赋。音乐和词的脱离。 -4. 五言诗、七言诗。 -5. 南北朝民歌 -6. 南朝文学。赋，很押韵。 -7. 律体。意义上的对仗---->声音上的对仗。声韵学。 -8. 永明体。诗歌的音乐性降低，而文字上的音。 - -> 神婆。会在死亡的时候，唱诗。 - - -> 诗是一种高雅的文学形式。可是从诗经、古代严格的五律七律、到后来宽泛的词、到现在的现代诗、到现在的歌曲。是否从一种高雅的形式，逐渐再融合成一种普通人用来表达感情的很世俗的东西。感觉诗歌的文学上的韵律，越来越宽泛。是由什么原因？ - - -## 总结 -音节。节奏。重音和停顿上 - - -1. 字的个数，也就是一个节奏下，音的个数，变得更随意。 - - - -# rythm 张玄 音乐的节奏 - -### 定义 - -1. 音乐：旋律、和声、节奏。 -2. 规律，能够预测的变换。 -3. 节奏（有规律的声音变化）：速度、拍子、重音。 - - -### 组成 - -1. 速度：取决于人能理解的上限。 -2. 拍子：古代传统音乐。一板（重音）三眼（轻音 ），一板一眼 - - - -## 概念 - -音乐的三要素指的是旋律、节奏与和声。 - -旋律： - -又称曲调。音乐的起伏是按照一定的节奏水平有序地组织起来的，形成一个曲调。旋律是音乐形式中最重要的表现手段，是音乐的本质，是音乐的决定性因素。曲调的方向是可变的。有三个基本方向：水平方向、向上方向和向下方向。 -同一音调的进展方向称为水平；从低音到高音，向上；从高音到低音，向下。曲调发展的常用方式是“谐音重复”、“渐进”和“跳进”。根据音阶的相邻音调，它被称为进行音，三度的跳跃称为小跳跃，四度以上的跳跃称为大跳跃。 -节奏： - -音乐的节奏是指音乐运动中中音的长度和强度。音乐的节奏常被比作音乐的骨架。节拍是音乐中拍子和拍子的周期性和规则性的重复。中国传统音乐称节奏为“板眼”，“板眼”等同于强拍；“眼”等同于亚强拍（中眼）或弱拍。 -和声： - -和声包括“和弦”和“和声进行”。和弦通常是三个或更多声音的组合，这些声音根据一定的规则纵向（同时）重叠。和弦的横向组织就是和声进行。和声具有明显的强、轻、厚、薄的色彩效果，还具有构成分句、段落和结尾乐的功能。 - - -## 问题 - -声音上的和谐。和意义上的和谐。诗歌包含声音和意义。 - - -一段意义上的终止符。 - - - - -# 下次的主题 - - -西部。 \ No newline at end of file diff --git a/工作日志/2021年7月31日-西部分享.md b/工作日志/2021年7月31日-西部分享.md deleted file mode 100644 index 1bf14351..00000000 --- a/工作日志/2021年7月31日-西部分享.md +++ /dev/null @@ -1,45 +0,0 @@ -## 荒野大镖客 - -* 1899年美国西部。移民，秩序。 - - - -## 中国“西部” -> 中国语境下的西部与西方。 - - -* 西部与西方 - * 西部的自然景色，风光很美 - * 西部的经济特征，落后奇异 - * 西方一般是指文化政治上的一种团体。 -* 中国的“西部” - * 以行政区划作为西部的官方定义。 - * 西部大开发的几个省份。东部支援西部。 - * 语言习惯与地理上的西部，西部、中部、东部、东北 -* 美国西部 - * 狂野，潇洒。西部世界、荒野大镖客。 - * 共同点：地理上。气候上相似。历史上的演变，向西部扩张。未知与浪漫。 - * 不通点：经济发展差异问题。扩张方式，民族自治与血腥残暴。 -* “西” - * 死亡、沉寂、岁月流逝、人生迟暮 - * 西风、阴（西）阳（东） -* 是不是西部的文化里，总感觉与奇异，那种毒药， - -![](2021-07-31-21-57-24.png) - - - -## 中国历史上的“西域”。 -* 北京城这么考究，他的方位到底是地磁北方还是地轴北方呢？ -* -## 西部世界观影及推荐 - - -## 西部军区 - - -1. 作战指挥（打仗） -2. 领导管理（培养） - - - diff --git a/工作日志/2021年7月9日-七月份安排.md b/工作日志/2021年7月9日-七月份安排.md deleted file mode 100644 index 941b8b33..00000000 --- a/工作日志/2021年7月9日-七月份安排.md +++ /dev/null @@ -1,89 +0,0 @@ -## 任务——对五月份计划的回溯和修正 - -> 五月份大致计划（给出了计划索引）---->七月份的计划重述（主要根据这个任务进行计划的执行。五月份的计划用来参考和回溯完成进度）-----> 工程中的计划实现方案和细节（主要用来记录开发任务）。 - -### 毕设（详细计划参考五月份计划和工程内的计划） -* [x] 阅读论文（两周）（每天十篇可能读完！！！） - * [x] 恶意软件相关的论文（20%） - * [x] 联邦学习相关的论文（100%） - * [x] 非独立同分布相关的文章（100%） -* [ ] 完成实验（四周）（7.25-8.8） - * [x] 联邦学习针对非独立同分布(手写体数据实验实现)的实验，实现各种非独立同分布的对比算法（一周） - * [ ] 恶意软件特征提取的实验（一周） 什么样的数据集？怎样的方法提取特征？提取哪些特征用于实验？使用什么样的模型？ - * [ ] 联邦学习针对恶意软件数据集的实验。（一周） - * [ ] 差分隐私应用的实验（一周） -* [ ] 完成系统（四周） - * [x] 技术选型 - * [x] 实现Python/linux下RPC通信模块 - * [ ] 实现服务注册与发现。尝试从微服务的角度解释整个系统。进行详细的系统设计。和系统说明（这一部分应该提供一万字的说明） - * [ ] 实现前端算法训练模块（算法核心）-----联邦学习算法框架 - * [ ] 实现前端算法检测模块（算法核心）-----恶意软件检测结果 - * [ ] 实现前端控制模块（通过页面展示成果） - ----------------------------------------------- -* [x] 实践报告 -* [x] 完成中期报告（一周） - * [x] 架构 - * [x] 填充 - * [x] 润色 -* [ ] 完成小论文（两周） - * [ ] 一篇关于非独立同分布联邦学习的小实验 -* [ ] 完成大论文（两周） - * [ ] 基于联邦学习的恶意软件检测。 - - -### ~~实习~~ - -* 每周实习 -* 现在去字节的实习对自己来说的收益已经很低了，因为没有办法拿到转正的offer，最后的时长可能根本不够。 -* 另外，调整好自己的心态，做好每天拿命换钱的准备。去就是为了做一些东西，而不是为了学习，为了划水，为了赚钱。这些都没有用。 - - -## 计划 - -### 第一阶段 -1. 阅读联邦学习的相关论文7.10-7.24 -2. 在手写体数据集上复现一些列解决非独立同分布的方法。7.24-7.30 -3. 阅读恶意软件的相关论文7.30-8.2 -4. 实现恶意软件数据集处理和特征提取8.2-8.6 -5. 在恶意软件数据集上复现一系列解决非独立同分布的方法。8.6-8.10 -6. 完成小论文8.15、大论文8.20、恶意软件检测的展示系统8.25 - -### 第二阶段 - - -1. 就业。每天早上刷两个题，复习基础知识。8.3-9.30 -2. 重新修改简历。 -3. 开始投简历计划。 - -### 第三阶段 -1. 实习。 - 1. 字节的实习是否还有必要继续去实习呢？这次实习还能带给你什么收益呢？转正的可能性几乎为零。但是可以去拿到实习经历，还可以把自己的笔记拿回来。单单为了自己的实习经历，有必要再去字节吗？ - 2. 是否去阿里的实习能够给自己更好的发展呢？如果这段时间选择去阿里，会不会有更好的结果。需要与去字节实习进行权衡和对比，才能做出选择。 - 3. 完成建立投递和各个企业进行协商，看一下最终的结果。开始吧，少年。 - -### 每天任务 - -* 早上：就业相关的内容复习和整理。 -* 下午：毕业设计相关的额内容。 -* 睡觉前：刷一个困难题。 - - -## 收获 - -1. 第一周7.12：划水反思+阅读论文（非独立同分布） -2. 第二周7.19： - 1. 阅读论文。联邦学习非独立同分布的论文基本看完了。 - 2. 第一次开会，对论文阅读中的内容进行了讲解，对非独立同分布问题有了很深的认识 -3. 第三周7.26： - 1. 搭建完成了基本的书写框架，方便实现算法和后续的开发 - 2. 实现了fedbase/fedavg/fedprox等方法。并进行了一些保证基本效果的实验。 -4. 第四周8.2： - 1. 实现了fedmeta/fedamp/fedscaffold等方法。 -5. 第五周8.9 - 1. 添加了基于贡献度的聚合方案和基于向量调整的客户端聚合方案。 - 2. 添加了非独立同分布的wasserstein距离衡量方法 - 3. 对所有的算法进行了统计分析。在三个数据集、五种非独立同分布状态、九个算法上进行测试。 -6. 第六周8.16 - 1. grpc模块开发完成。实现了一个微服务。并进行测试 - 2. Python的协程并发和线程并发。并进行测试 diff --git a/工作日志/2021年8月19日-今日计划.md b/工作日志/2021年8月19日-今日计划.md deleted file mode 100644 index 0d3f2a3f..00000000 --- a/工作日志/2021年8月19日-今日计划.md +++ /dev/null @@ -1,48 +0,0 @@ -## 任务 - -### 知识复习——语言 -* [x] C++ - * [x] 基础知识 - * [x] 标准库 - * [x] 面向对象 - * [x] 设计模式 - - -### 知识复习——基础 -* [ ] 操作系统 - * [ ] 文件 - * [ ] 并发 -* [ ] 数据库 - * [ ] 基础知识 - * [ ] MySQL：分库分表、主从库、主从库同步方法。 - * [ ] Redis：数据库击穿 - * [ ] 消息队列相关内容 -* [ ] 计算机网络 - * [ ] 应用层 - * [ ] 网络层 - * [ ] 通信层 - * [ ] 链路层 - * [ ] 物理层 - -### 并发总结 -> 包括各种语言（C++、Java、Python、Go、JS等）、各种操作系统（Linux、Windows）的并发方式的总结。 -* [ ] 并行编程(并发和多线程) -* [ ] 网络编程 -* [ ] web开发 -* [ ] 操作系统的IO和并发方式。 - -### 刷题 - -* [x] 每天五个中等题（做好总结） -* [x] 每天五个中等题（做好总结） - - -## 收获 - -* 稍微反思一下之前的行为。感觉。总是在拖延！也不是拖延，每天都无法完成这一天的任务。每周无法完成一周的任务。导致积累到下一周。只能拖到明天，最后，越来越慌。计划更像是一个安慰自己的幌子，从来没有得到真正实施。 -* 终于在自己的努力下，进行了一天的防空。跟豪哥聊了很久。算是对未来有了一个清楚地认知。自己真的有时间去吗。秋招确实应该话一些时间来准备了。现在又处在了那种状态，知道该如何去做，知道该怎样努力。然后剩下的只有全力以赴了。我确实没有时间做别的事情了。对于自己，睡醒了学习，学累了休息。这就是我现在要做的唯一的事情。其他的东西，都不用考虑。 -* 我发现我的生活因为熬夜，和不眠不休的工作已经变得越来越无聊了。这不是我想要的生活。不仅仅是因为太过忙碌和焦虑。而是自己已经忘记了生活该有的样子。我发现我最努力的那段时光，也从未如此焦虑过，也从未如此迷茫过。脑子昏昏沉沉，本来就已经无法思考，却固执的想要运转下去。有很多事情可以做的更好，我为什么时间如此至少。已经过去四五天了，我仍旧没有投出自己的建立，别问我。我也不知道自己的理由是什么。 -* 我没有准备好！？我没办法准备好！我所有的计划都无法按时完成。我放弃了周末，放弃了每天的娱乐。倒头就睡，早少却还是没有办法认真工作。我觉得早上的效率很高，可以去记忆，去思考。可现在不知道为什么，一天到晚。眼睛疲劳的要死，大脑一片空白，这种症状已经持续了一整天了。我没办法改变。在当前的任务面前，我是如此的无能为力。 -* 我什么都记不起来。我在干什么，我要干什么，我干了什么。我效率底下，从来没有按时完成过自己的事情。显然我已经无法忍受自己的菜鸡状态。无休止的事情要做。永远也做不完，即使焦虑。我一天，根本做不了什么。最多八个小时的正常工作时间。从今天开始，十小时工作制启动。我要按照规定的时间，完成自己应该做的事情。不能再等了。 -* fffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff。开始吧。 - \ No newline at end of file diff --git a/工作日志/2021年8月1日-科幻系列总结.md b/工作日志/2021年8月1日-科幻系列总结.md deleted file mode 100644 index 81e1342d..00000000 --- a/工作日志/2021年8月1日-科幻系列总结.md +++ /dev/null @@ -1,46 +0,0 @@ -# 科幻世界中的电话元素 - - -## 资料准备 - - - - - -## 讲解主题 - - -### 电影 -(漫威系列的就算了) - -* 黑客帝国 -* 信条 -* 盗梦空间 -* 星际穿越 -* 机器人总动员 - -### 小说 - -* 短篇小说 -* 科幻世界全集 - -### 动漫 - -* 攻壳机动队 -* rick&morty -* 哆啦A梦 -* 命运石之门 -* 爱死亡机器人 -* 机器人总动员 -* 心理测量者 -* iMENTOR -* 夏娃的时间 -* 新世纪福音战士 -* 星空清理者 -* 星际牛仔 - - -### 电视剧 - -* 黑镜 -* 西部世界 \ No newline at end of file diff --git a/工作日志/2021年8月20日-今日计划.md b/工作日志/2021年8月20日-今日计划.md deleted file mode 100644 index 99f8c4e1..00000000 --- a/工作日志/2021年8月20日-今日计划.md +++ /dev/null @@ -1,28 +0,0 @@ -### 简历准备（上午） -* [x] 简历修改。项目内容和实习经历 - * [x] 项目介绍、主要职责、主要成果。各用一句话完成。 - * [x] 实习经历丰富。主要内容，技术难点，最后成果。 - * [x] 项目和实习详细介绍。把每一部分说的更详细一点，细节搞懂，基础知识搞懂。 - * [x] ~~准备一份用于算法岗位的简历。~~) - * [x] ~~添加tensorflow框架修改的毕业设计。（提高性能）~~发现这个算法真的就是糊弄人。 - * [x] ~~添加本次联邦学习与恶意软件检测的毕业设计。~~ - -### 投递（上午） -* [x] 完成一期的简历投递工作 - - -### 成为一个幽默的人（下午） -* [x] 回忆起生活的样子。 - - - -### 完成算法和数据结构的笔记复习（晚上） - -* [ ] 数据结构（上次用了两周。。。） - * [ ] 线性数据结构 - * [ ] 树结构 - * [ ] 图结构 - - - -> 我为什么要安排给自己做不完的任务。因为，我没时间了。要不要考虑依稀啊，让自己的任务合理一点。 \ No newline at end of file diff --git a/工作日志/2021年8月21日-今日计划.md b/工作日志/2021年8月21日-今日计划.md deleted file mode 100644 index d09deaac..00000000 --- a/工作日志/2021年8月21日-今日计划.md +++ /dev/null @@ -1,11 +0,0 @@ -## 任务 -* [ ] 算法（理论知识+经典例题） - * [ ] 枚举法 - * [ ] 分治法 - * [ ] 动态规划 - * [ ] 贪心 - * [ ] 分支限界 - * [ ] 回溯 - * [ ] 随机化 - * [ ] 启发式 -* [ ] 基于数据结构的算法复习（理论知识+经典例题。可以每一个部分找一个类似的做一遍。每天也能做10来个了） \ No newline at end of file diff --git a/工作日志/2021年8月22日-今日计划.md b/工作日志/2021年8月22日-今日计划.md deleted file mode 100644 index 4b98c86a..00000000 --- a/工作日志/2021年8月22日-今日计划.md +++ /dev/null @@ -1,18 +0,0 @@ -## 任务 -> 把GO语言的内容，和开发过的项目复习一下。 - - -* [ ] GO - * [ ] 基础知识。 - * [ ] go语言的优势。 - * [ ] 并发编程(协程，相关内容的了解）。 - * [ ] 网络编程 - * [ ] web开发 - -* [ ] 简历复习 - * [ ] 简历中提到的项目，重新复习项目和相关的专业知识。并整理。 - * [ ] 简历中提到的实习，对实习内容进行重新回顾。相关知识进行整理。（包括Spring、Redis、Grpc、Thrift微服务那一套） - -## 收获 - -* 飞书文档，不可能了。别想了。 \ No newline at end of file diff --git a/工作日志/2021年8月23日-社交那些事.md b/工作日志/2021年8月23日-社交那些事.md deleted file mode 100644 index bce5796b..00000000 --- a/工作日志/2021年8月23日-社交那些事.md +++ /dev/null @@ -1,31 +0,0 @@ -## 周日下午 -> 无论怎么说，知乎上的交流教程，如果有时间闲下来看看也挺好。其实自己都知道什么东西对自己有用，每次都收藏下来，却懒得再次打开。 - -### 方法论 - -1. 拆字。针对不同的点进行发散。广度发散。我昨天打篮球了。“我”还有谁。“昨天”以前也打？“篮球”我也喜欢啊。 -2. 上堆下切。从不同的角度分析一个话题。深度发散。读书。读什么书、其他的爱好呢，去哪读书。 -3. 感受评价。感性的回复，这也行，太厉害。 -4. 联想。发散到一些无关紧要的事情上去。 - -### 话题 -* 生活相关 - * 吃喝（自己做饭，烤肉，韩餐，火锅，聚十三，局气，高兴火锅，海底捞，凉粉，木屋烧烤，日式烧烤，比格披萨） - * 玩乐（北京有哪些好玩的地方，动物园海洋馆啥的。香山红叶只听过，但还没见过。去过奥体中心，鸟巢水立方，国家森林公园，同学的几个学，北海公园，南锣鼓巷，天安门故宫等） - * 唱歌（虽然我很菜，但是挺喜欢听得，一年一度的草莓音乐季啥的，好想去听一场演唱会。说唱就算了，那不是我喜欢的风格。我比较喜欢有旋律的那种，甚至可以没有歌声。） - * 旅行（旅行的艺术，想出去玩啊，去青岛啊，工作。沿着海边走走散散步就很开心，也没觉得很潮湿。） - * 电影（最近有啥好看的电影吗，可以推荐一下，待会去看个电影也行。青蛇传？我老早想去看，但一直没有机会。） - * 电玩（啥也别说了，我想抓只公仔回来，，，啧啧啧。） - * 综艺、动漫、剧（奇葩说，脱口秀大会，时光代理人，不问过去，无论将来。因为历史我们无法改变，而将来一定会因为我们发生变化。想看那个孙红雷张艺兴演的扫黑风暴） - * 新闻（吴亦凡、阿里女员工、阿富汗撤军，天天想着怎么统一台湾，到时候为国家贡献点炮灰。疫情形势不容乐观，学校又加强防疫了。） - * 兴趣爱好（喜欢做什么，打篮球运动？看看综艺电影？跟好哥们一起逛街？） - -* 工作相关 - * 实习（字节跳动，朝九晚九，mentor女，工作强度太大了。压力山大） - * 工作（刚开始准备，感觉时间已经不够了。待会车上睡一觉吧。别赶上晚高峰。投投互联网公司，过几天投投国企。） - * 毕设（下周中期答辩，我还有三篇文档一个PPT没做）每天每天的焦虑，不过我觉得我这个方向做的很有趣。我想新，最好的方法就是分布式。 - -* 过去未来 - * 高中初中在哪（有没有认识的人，发生过啥有意思的事情，现在联系的还多吗） - * 在博兴的见闻。滨州的见闻，指不定有啥好玩的。滨州上次上中央新闻。假造纸币。一次发现外星人。 - * 未来就一直这样努力下去，在北京买房？ \ No newline at end of file diff --git a/工作日志/2021年8月24日-今日计划.md b/工作日志/2021年8月24日-今日计划.md deleted file mode 100644 index 4288ec55..00000000 --- a/工作日志/2021年8月24日-今日计划.md +++ /dev/null @@ -1,19 +0,0 @@ -## 计划 - -今天（周二） - -* [x] 阅读他人的中期报告、完成中期报告的架构工作，想好每一部分些什么。 -* [x] 阅读自己的开题报告、毕业设计、工作规划。补充每一部分已经完成的成果。 - - -明天（周三） - -* [x] 第一轮，填充内容。复制相关的资料、自己的文档，根据其他人中期报告的句式进行修改。 -* [x] 第二轮，公式、图片、算法输入完成。查阅相关的算法、技术。对报告内容进行完善。包括完成算法的描述、公式的输入输出和论证、技术的描述。查阅软件设计绘图的资料。画完所有系统图、技术图。设计好系统和技术。 -* [x] 第三轮，添加文献引用。 -* [x] 第四轮，修改格式。（将当前的问下，分解成两个自文献——中期报告和毕设论文。） - - - - -## 收获 \ No newline at end of file diff --git a/工作日志/2021年8月27日-中期答辩ppt.md b/工作日志/2021年8月27日-中期答辩ppt.md deleted file mode 100644 index 757e38ea..00000000 --- a/工作日志/2021年8月27日-中期答辩ppt.md +++ /dev/null @@ -1,99 +0,0 @@ -PPT的章节 - -# 论文研究计划 - -## 选题背景——提出基于联邦学习的恶意软件检测，解决需求 - -## 选题背景——存在的问题。在应用过程中存在问题。选题意义——能干嘛？解决问题被。解决问题后能有什么美好的未来。 - -## 研究目标——解决应用过程中存在的问题。目标是啥？解决问题呗？量化的解决问题。 - -## 研究内容——通过什么方法+什么技术实现研究目标。 - -## 研究计划——论文研究计划和完成情况 - - -# 已完成的工作 - - - -## 国内外研究现状分析 - -* 恶意软件的研究现状 -* 联邦学习应用过程的研究现状 - -## 理论基础研究 - -* 联邦学习的理论 -* 元学习的理论 -* 差分隐私的理论 -* 非独立同分布的理论 - -## 剩下的已完成的工作（人为加一页PPT强制分开） - -* 实现了基于贡献度和元学习的联邦学习框架 -* 建立了基于差分隐私的联邦学习框架 -* 实验。验证和部分和实验结果的处理 -* 完成了系统的设计和系统的部分构件 - -# 关键技术和难点 - - -## 数据预处理技术 - -* 恶意软件特征提取 -* 数据非独立同分布的划分 - - - - - -## 基于贡献度和元学习的联邦学习框架 -* 非独立同分布衡量 -* 贡献度计算 -* 联邦元学习算法 - -## 基于差分隐私的联邦学习框架 - -* 威胁模型 -* 隐私保护算法 -* 隐私计算和实验验证 - -## 实验结果 - -## 基于微服务技术的联邦学习系统 - - - -# 下一阶段的计划 - -## 存在的问题 - -## 问题的解决方案 - - -## 时间安排 - - -# 第二版修改意见。 -1. 将有效内容压缩到15页PPT。总共包括五部分，每一部分两分钟 - 1. 开始3页 - 2. 数据处理 3页 - 3. 算法1 3页 - 4. 算法2 3页 - 5. 系统 3页 - 6. 结尾 1页 - - -2. 为什么、是什么。关键要讲清楚自己的思路，这么做思考的过程，让别人觉得你这样做很合理。 - 1. 为什么提出这样的观点。（服务器端的调整，让他们有共同的方向。客户端的调整，让他们具有更强的泛化性，突出元学习强调各个任务的泛化性） - 2. 这个观点是什么。（如何计算得到弹性权重，如何将元学习融入到联邦学习中呢） - 3. 这样做能产生什么样的效果。（这样做产生的效果，弹性圈中，会导致，与大方向相同的权重获得更多的计算效果） - 4. 通过实验验证这么做的效果。（讲述一下自己复现的别人的算法，每个算法的优缺点，以及实验的设置和实验效果） - -> 对于差分隐私部分也是如此。 -3. 系统设计上。也是如此。我们考虑到联邦学习落地困难的原因： - 1. 客户端服务器的协商机制，如何建立通信链接 - 2. 客户端动态参与机制。能够弹性的实现加入与退出，实现服务注册与发现。 - 3. 考虑面对新的训练业务应用场景，提供可扩展化的模块。 - diff --git a/工作日志/2021年8月2日-会议记录.md b/工作日志/2021年8月2日-会议记录.md deleted file mode 100644 index ba6e9ca5..00000000 --- a/工作日志/2021年8月2日-会议记录.md +++ /dev/null @@ -1,11 +0,0 @@ -## 李文超——代理重加密 - -* 代理重加密的目的是什么。存在云端的加密。相当于临时授权。 - * 用户需要文件，授权做一件事情。 - -* 为什么信任某个代理，代替去授权。规定授权的时间和进度。 -* 包括一些情报数据的共享。 - - -## 回答一下这几个东西 -* 什么特点、什么问题、什么方法、什么原理、什么效果 \ No newline at end of file diff --git a/工作日志/2021年8月30日-最近时间安排.md b/工作日志/2021年8月30日-最近时间安排.md deleted file mode 100644 index 8c373af3..00000000 --- a/工作日志/2021年8月30日-最近时间安排.md +++ /dev/null @@ -1,53 +0,0 @@ -## 计划 - -> 以后每天电脑上进度和手机日历上的进度进行同步。 - - -### 周一 - -* [x] 拆快递 -* [x] 买剃须刀 - -* [x] 百度一面 - -* [ ] 视频分享查看。这两次的。 -* [x] 扫黑风暴（开始） -* [x] 脱口秀大会（每天晚上） -* [x] 制定这一周的计划。 - - -### 周二 - -* [ ] 数据库 -* [ ] 操作系统 -* [ ] 计算机网络 - -* [ ] 美团一面 -* [ ] 第二波简历投递。包括银行、国企和外企。 - -* [ ] 完成括号内外分享。（中西文） -* [ ] 开心麻花or德云社。乌龙山伯爵、瞎话艺术家、牢友记 -### 周三 - -* [ ] 数据结构 -* [ ] 小米笔试 - - - - -### 周四 - -* [ ] 算法 - - -### 周五 - -* [ ] 面试项目经历准备。 -* [ ] 按摩店体验。 - -### 周六 - -* [ ] 括号内外分享会 -### 周日 - -* [ ] 开心麻花？德云社剧场体验 \ No newline at end of file diff --git a/工作日志/2021年8月31日-九月份国企.md b/工作日志/2021年8月31日-九月份国企.md deleted file mode 100644 index ad317e2c..00000000 --- a/工作日志/2021年8月31日-九月份国企.md +++ /dev/null @@ -1,161 +0,0 @@ - -# 九月份计划 - -## 国企 - -### 中国银行 -* 岗位 - * 第1志愿：信息科技岗-软件中心（北京） - * 第2志愿：信息科技岗-青岛市分行 - * 第3志愿：信息科技岗-中银金融科技有限公司 - -* 技术 - * 无 -* 流程 - * [x] 官网投递https://campus.chinahr.com/views/2022/boc/jobs.html - - -### 工商银行 -* 岗位 - * 软开中心主机研发（北京）、数据中心（北京）、后端分布式（杭州）、科技精英（青岛） -* 技术 - 1. 负责银行核心系统模块的单元设计工作。 - 2. 负责银行核心系统的软件开发。 - 3. 负责工商银行主机系统后端联机交易的研发工作。 -* 流程 - * [x] 官网投递https://job.icbc.com.cn/pc/index.html#/main/personal/delivery - * [ ] 笔试10月23日18:30， - -### 农业银行 -* 岗位 - * 总行研发中心软件研发岗、数据中心信息技术工程师岗、青岛分行信息科技岗 -* 技术 - 1. 计算机基础扎实，熟练掌握C、C++、JAVA、C#中任意一门编程语言。 - 2. 熟练掌握Hadoop、MySQL、PostgreSQL、MongoDB、Redis、Memcached、Cassandra、SQLite中任意一项开发和管理技术。 - 3. 了解Windows、Unix、Linux等主流操作系统原理，了解一种或多种数据库。 -* 流程 - * [x] 拒绝了农银金科的笔试（说实话有点蠢，分行能进也不错了） - * [x] 完成了简历投递 - * [x] 农行笔试2021年9月17日18:00-20:30 - * [x] 农行的面试，现场面试。9月25日（本周六） 中午12:15到场。面试时需着正装，并携带身份证、纸质学生证、英语等级证书原件、次高学历学位证书原件及简历中所列的其他证书原件（荣誉证书等），以备查验。 - * [x] 农行研发中心笔试2021年9月27日14:30-17:00 笔试GG。没了。居然没看好时间，有一半没做。 - * [x] 农行数据中心体检进行中。9月30日（本周四）上午08:10 - * [ ] 农行研发中心体检进行中。又是500块钱。 - - - - -### 招商银行 -* 岗位 - * 青岛分行 - * 北京分行 -* 技术 - * 无 -* 流程 - * [x] 官网投递https://career.cloud.cmbchina.com/index.html#applyHistory - * [x] ~~笔试时间2021年10月16日 14:00-16:05（北京时间）~~笔试系统挂掉了 - - - -### 移动公司 - -* 岗位 - * 平台开发（8月18日-10月7日） - 研究院（校招）第二志愿2021-09-27 23:01已申请修改 | 查看 - * 终端操作系统研究（8月18日-10月7日） - 研究院（校招）第一志愿2021-09-27 23:01已申请修改 | 查看 - * 算法研究与平台开发 - 设计院（校招）第二志愿2021-09-27 23:02已申请修改 | 查看 - * IT开发岗 - 设计院（校招）第一志愿2021-09-27 23:02已申请修改 | 查看 - * 研发实施管理岗 - 信息港中心（校招）第一志愿2021-09-27 22:58已申请修改 | 查看 -* 技术 - * 没啥技术。硬面呗。 -* 流程 - * [x] 建立投递（官网，乱七八糟） - * [x] 开始时间：2021-10-13 19:00:00笔试时长：120分钟【中国移动研究院】在线考试https://jtedu.cmri.cn/#/job - * [ ] 第二批笔试。应该是第一批笔试没过，或者，是另外的部门。2021年10月23日 14:00 - 16:00 - * [x] 中国移动设计院，面试。10月19日（周二），面试时间:09:00。腾讯会议，会议ID：172 789 670 - -### 电信公司 -* 岗位 - * 咱也不知道。乱七八糟的公司投了一堆。哪个好哪个坏？谁知道呢 -* 技术 - * 啥技术估计也不需要，问啥答啥。 -* 流程 - * [x] 简历投递https://www.51job.com/ - * [x] 天翼云笔试。2021年-10-09 19:30:00 -- 21:00:00 https://exam.nowcoder.com/cts/17144492/summary?id=B5B163EAB7FC4425 - -### 山东电网 -* 岗位： - * 信通公司 - * 青岛公司 -* 流程： - * 不知道后续的流程，甚至找到不到投递的网站了。 - - - - -### 中国人寿 -* 岗位 - * 随便瞎投。北京的三个岗位系统开发岗（北京）软件开发岗-云计算&系统集成方向、软件研发岗（大数据开发与应用方向） -* 技术 - * 无所谓，瞎讲 -* 流程 - * [x] 简历投递https://chinalife.hotjob.cn/wt/chinalife/web/templet1000/index/corpwebPosition1000chinalife!gotoPostListForAjax?brandCode=1&recruitType=1 - * [x] 北京时间2021年10月13日 20:00，笔试时长约70分钟。 - https://echinalife.ceping.com/Login/Elink?elink=TeCTqR3xGRhOVEWCbaMzxcChina25HJAccDTgWlUrj//dCWxoUKYN8YVq9KBT78GVqpcfVkX/yAhB&v=1 - - -## 中信证券 - - - -## 华泰证券 - ------------------------ -## 研究所 - -### 航天科工四院四部软件事业部 - -* 岗位 - * 软件过程管理工程师 -* 技术 - 1. 硕士及以上学历，软件工程、计算机等相关业。 - 2. 熟悉C/C++或JAVA语言。 - 3. 熟悉软件项目管理、软件过程改进等相关知识。 - 4. 热爱航天事业，身心健康，品学兼优，有较强的责任心和较好的沟通协调能力。 -* 过程 - * [x] 简历投递sibusoft@126.com ----- - -## 外企 - -### IBM -* 岗位 - * IBM z/OS系统软件工程师（北京） -* 技术 - * 2022年国内外院校毕业的本科/硕士或2年内工作经验 - * 计算机相关专业背景 - * 类Linux/Unix操作系统知识 - * C/C++或者Java - * 脚本语言perl, shell, python etc. - * 熟悉Dojo或Angular JS开发框架 - * 熟悉软件开发流程 - * 分析和解决问题的能力，重视团队合作 - * 良好的沟通和表达，良好的英语听说读写 -* 岗位 - * [x] 10月12日下午1:30 参加IBM面试。目测结束了。 - * [ ] 10月15日下午2:00-3:00参加IBM二面。 - -### INTEL - -* 岗位 - * IT flex软件工程师 -* 要求 - - 计算机科学，电子工程，以及相关专业的研究生或以上学历 - - 熟悉至少一门编程语言：C/C++/Assembly/Python - - 擅长系统级软件的开发与调试，具有较强的发现并解决问题的能力 - - 熟悉数据结构和算法 - - 具有较强的学习能力，能在不同的技术领域快速学习 - - 具有较强的英文听说读写的能力 - - 有一定的人工智能，机器学习或计算机视觉的经验 - - 有Verilog和FPGA的开发经验 -- 流程 - - [x] 简历投递https://chinacampus.jobs.intel.cn/intel/position/detail?positionId=60d9579d744a269ea1660861 \ No newline at end of file diff --git a/工作日志/2021年8月31日-九月份计划.md b/工作日志/2021年8月31日-九月份计划.md deleted file mode 100644 index 55ca0f2e..00000000 --- a/工作日志/2021年8月31日-九月份计划.md +++ /dev/null @@ -1,393 +0,0 @@ - -# 九月份计划 - - -## 互联网企业 - - -### 字节 -* 岗位 - * 后端开发工程师-支付业务（财经业务，直通终面的机会。好好准备一下） - * 隐私计算平台开发工程师-Data -* 技术 - * 第一岗位要求 - * 1、2022届获得本科及以上学历，计算机相关专业； - * 2、有扎实的数据结构和算法功底，能熟练实现递归等常见算法/数据结构； - * 3、熟悉C/C++/Java/Python/Golang中的至少一门语言，对面向对象有基础了解； - * 4、了解数据库、操作系统、计算机网络等核心课程的知识。 - * 第二岗位要求： - * 1、2022届获得本科及以上学历，计算机相关专业； - * 2、熟悉Linux开发环境，良好的系统编程、数据结构、算法基础、系统设计能力； - * 3、精通服务端基础技术（Go/C++/Java/Python，了解MySQL/Redis/MQ的原理）； - * 4、熟悉Linux开发环境，良好的系统编程、数据结构、算法基础、系统设计能力； - * 5、乐于挑战没有明显答案的问题，快速理解业务场景，从具体问题中抽象出通用的解决方案； - * 6、有实际的大规模分布式系统相关工作经历优先； - * 7、对机器学习系统（Tensorflow/Caffe/MXNet）和算法（CNN/RNN/LSTM/VAE）有理解、认识或经验者优先； - * 8、对隐私计算（联邦学习、多方安全计算、机密计算）有了解优先。 -* 流程 - * [x] 简历投递与直通终面协商。https://jobs.bytedance.com/campus/position/application - * [x] 直通终面时间2021-09-13 15:30面试链接：https://people.toutiaocloud.com/hire/bridge/video/interviewee/fe3ffa33-19ab-4be9-aa9e-4bd1af49d05c​ - * [x] 离谱，居然收到了意向。就我面成这样，也能给。幸运女神吧。我觉得一个人的运气是有限的，如果无法凭借实力达到自己的位置，早晚有一天会吃大亏。在这里得到，必然会在某个地方失去一些东西，以后生活要小心了。 - -### 阿里 - -* 岗位 - * 蚂蚁集团-CTO线-蚂蚁（未来数字科技） -* 技术 - * 或许，你来自计算机专业，机械专业，甚至可能是生物专业； - * 但是，你酷爱着计算机以及互联网技术，热衷于解决挑战性的问题； - * 或许，你痴迷于数据结构和算法，热衷于ACM，常常为看到“accept”而兴奋的手足舞蹈； - * 或许，你熟悉Unix/Linux/Win32环境下编程，并有相关开发经验，熟练使用调试工具，并熟悉某种脚本语言； - * 或许，你熟悉网络编程和多线程编程，对TCP/IP，HTTP等网络协议有很深的理解； - * 或许，你享受底层技术，在kernel的源代码中纵横驰骋； - * 或许，你不熟悉C，C++，但是你不畏挑战，喜欢钻研，能够用你亮眼的成果证明自己超强的学习能力； - * 或许，你参加过大学生数学建模竞赛，“挑战杯”，机器人足球比赛等； - * 或许，你在学校的时候作为骨干参与学生网站的建设和开发； - * 但是，这些都是我们想要的。 -* 流程 - * [x] 简历投递 https://talent.alibaba.com/personal/campus-application - * [x] 直通终面（听寒少说相关内容还在操作和安排。）wow???????面试已经结束了，等意向书？这也太离谱了。 - - -### 腾讯 - -* 岗位 - * 智能车（被捞起来了） - * 微信支付（投了微信支付，但应该会走完流程 - -* 流程 - * [x] 居然智能车捞起来了，着实，不太行。 - * [x] 腾讯笔试：09-05 20:00:00 -- 22:00:00https://qq.nowcoder.com/cts/17036433/summary?id=B2EAF4DC35F7F779 - * [x] 腾讯一面 2021-09-10 10:30 https://meeting.tencent.com/dm/mJj5W3u5jns4 - * [x] 腾讯提前批结束了 - -### 百度 - -* 岗位: - * 北京-C++/PHP/GO研发工程师 -* 技术: - * -热爱互联网，对互联网产品和技术有浓厚的兴趣，热衷于追求技术极致与创新 - * -深刻理解计算机数据结构和算法设计，熟悉C/C++或PHP或GO编程语言 - * -了解Windows、Unix、Linux等主流操作系统原理，熟练运用系统层支持应用开发 - * -优秀的分析问题和解决问题的能力，勇于解决难题 - * -强烈的上进心和求知欲，较强的学习能力和沟通能力，具备良好的团队合作精神 - * 具有以下条件者优先： - * -计算机领域相关的编程大赛获奖、专业期刊发表文章或者有发明专利等 - * -有一定项目经验，熟悉软件工程开发流程 - * -具备专业领域的计算机知识和技能：搜索引擎、数据挖掘/机器学习、多媒体、地理信息系统、云计算、分布式系统等 -* 流程 - * [x] 建立投递https://talent.baidu.com/external/baidu/campus.html#/individualCenter - * [x] 百度一面2021-08-30 14:00-15:00：https://code.meideng.net/ykl1 - * [x] 建立共享当中，应该是面试挂掉了 - * [x] 新的笔试（都挂了，不应该啊）2021年-09-07 19:00:00 -- 21:00:00 - * [x] 2021-09-11 16:00百度一面 9-11 16:00-17:00 - * [x] 2021-09-11 17:00百度二面。面试效果很差，没有三面了。不知道结果。估计挂了。 - - - - -### 360 -* 岗位： - * 后端开发工程师Golang。毕竟对golang很感兴趣。但感觉C++希望更大。改一下 -* 技术 - * 计算机相关专业，本科及以上学历； - * 熟悉 Golang 基础知识，能够使用 Golang 实现功能模块发开；了解 HTTP、TCP/IP 等网络通信基础知识； - * 扎实的编程能力，熟悉常用算法和数据结构，掌握常用的设计模式； - * 了解常见的分布式存储计算框架； - * 有强烈的上进心和自我驱动，学习适应能力强，乐观自信，能挑战自我不断追求卓越； - * 有Docker、k8s容器技术使用经验者优先。 - -* 流程 - * [x] 官网投递https://app.mokahr.com/campus_apply/360campus/26419#/candidateHome/applications - * [x] 360笔试021-08-29 15:00 星期天 - * [x] 360面试（TMD错过预约？？？）废物 - - -### 美团 -* 岗位： - * 官网：后端开发工程师——到店事业群平台技术部 - * 脉脉：C++/JAva高级开发工程师，数字营销方向。高级Go研发工程师。高级C++工程师。 -* 技术 - 1. 掌握一种以上的开发语言，包括但不限于Java、C、C++、Python、Golang等；了解MySQL等基本使用，熟练使用SQL语句；会常用的shell命令 - 2. 具有扎实的数据结构、操作系统、数据库、算法、网络等计算机基础知识； - 3. 面向对象编程、多线程、网络编程、异步IO、分布式、缓存、消息队列等技术原理和细节。 - 4. mysql、redis、linux操作系统开发环境。脚本语言。 - 5. 善于交流，有良好的团队合作精神和协调沟通能力，有一定推动能力。具备以下者优先： - 1. 有参与各级计算机竞赛并获奖经历； - 2. 有原创的技术博客或者开源项目或者参与过知名的开源项目； - 3. 有在知名公司核心部门的实习经历，且实习时间不少于6个月。 -* 流程 - * [x] 官网投递https://campus.meituan.com/apply-record - * [x] 美团笔试2021-08-29 10:00 星期天 - * [x] 美团一面：北京时间08月31日 19:00，面试类型：视频面试，面试地址：http://dpurl.cn/0wnxIGBz - * [x] 美团二面：北京时间09月02日 14:00，http://dpurl.cn/4knwRG4z - * [x] 美团三面：北京时间09月06日 10:30。电话面试。我跟面试官同时忘记了面试时间。 - * [x] 美团三面。北京时间09月07日 15:30。电话面试。 - * [x] 收到录用意向书。等待签约。2021年9月9日10.30 - * [x] ~~线上面对面活动2021年10月17日14:00-16:00~~ - -### 网易 -* 岗位： - * C++开发工程师：网易有道 - * 雷火游戏开发：感觉能进也不错hhh -* 技术 - * 就是喜欢C、C++这个程序语言，还就爱拿它做项目开发； - * 对网络编程有研究，基本的gdb调试能力？内存泄漏，越界读写等常见问题？对你来说都不是问题； - * 作为一个优秀的程序员，有良好的服务器端编程能力和编程习惯，相关模块设计、文档编写都是小case - * 十八般武艺样样精通，掌握多线程并发编程技术，掌握各种数据结构和算法； - * 熟悉windows/linux编程环境，如果有MySQL开发经验那就再 好 不 过 啦！！！ - -* 流程 - * [x] 官网投递https://campus.163.com/app/personal/apply - * [x] 网易笔试9月18日（周六）14:00，笔试时长预计3小时 - * [x] 网易雷火笔试2021-09-18 19:00-2021-09-18 21:00 - * [ ] 第一次面试2021-10-21 17:00 - -### 搜狐 -* 岗位 - * C++开发工程师 -* 技术 - 1. 负责大型分布式广告系统的架构设计，系统开发维护，支撑天级数亿的广告请求； - 2. 负责大型分布式广告交易平台的架构设计和开发维护； - 3. 持续改进在线广告服务的架构及核心技术，保证系统稳定性，性能和高可扩展性； - 4. 相关新技术预研，完成项目的选型和设计和难点攻关。 - 5. 有系统研发经验优先,熟悉性能优化,对架构设计有一定理解者优先； - 6. 熟悉网络编程,多线程编程技术，熟悉C/C++语言，有大规模系统的设计和开发经验； - 7. 有强烈的责任心和良好的学习能力，有优秀的业务理解能力和执行力； - 8. 本科以上学历，对计算广告行业有浓厚兴趣。 - -* 流程 - * [x] 简历投递https://app.mokahr.com/campus_apply/sohu/5682#/job/07af1333-1b76-4ca2-889c-8460274ffab6 - * [x] 没了吧 - -### 新浪 -* 岗位 - * 开发工程师C++方向 -* 技术 - * -包含推荐引擎、分布式机器学习平台、云计算、基础架构、存储、网络、后端平台等多个业务方向的开发、设计和优化； - * -为各个业务场景提供技术解决方案。 - * -精通一门流行的强类型语言（C/C++或者GO)； - * -熟练掌握一门流行的脚本语言（Python/Bash/Lua/Etc)； - * -具有良好的数据结构基础，熟悉面向对象，面向接口的设计模式； - * -有以下经验者优先： - * a) 大规模分布式系统开发、维护经验； - * b) 推荐引擎、搜索引擎开发经验； - * c) 有云产品开发相关经验； - * d) 有ACM-ICPC或信息学竞赛等竞赛经历。 - * -为结果负责，主观能动性强，能创造性地独立解决复杂问题。 -* 流程 - * [x] 官网投递https://career.sina.com.cn/portal/myapply?gql=glluemeuser%3D%257B%257Bglluemeuser.id%257D%257D%26record_type__ns%3DInternal%2520Transfer - * [x] 结束了 - -### 携程 -* 岗位 - * 云计算工程师（2022届正式批） -* 技术 - * 1、负责携程云计算平台/PaaS平台的系统设计和实现； - * 2、专注于CodeDeploy模块的开发； - * 3、负责研发设施的技术研究和技术突破； - * 4、跟进业界发展趋势，参与开源社区，持续改进优化云计算相关组件。 - * 1、熟练掌握Linux环境下的C/C++/Go/Python/Shell/PHP等一门以上语言； - * 2、积极乐观，责任心强，工作认真细致，具备良好的服务意识，良好的团队* 沟通与协作能力； - * 3、热爱编程，热爱开源，有较强的学习能力，有强烈的求知欲、好奇心和进* 取心，能及时关注和学习业界最新技术； - * 4、熟悉如下技术者优先： - * a. 熟悉Openstack、Docker、Swarm、Kubernetes，CoreoS、Mesos等技* 术； - * b. 熟悉KVM、VMware、xen等虚拟化技术，熟悉持续交付； - * c. 熟悉Django框架，熟悉DevOps的工具链及生态系统； - * d. 具备一定的网络知识，熟悉TCP/IP通信原理，熟悉socket编程； - * e. 具有云系统（EC2、GAE）的构建和配置经验； - * f. 具有promethues、ELK等监控系统配置和使用经验优先。 -* 流程 - * [x] 官网投递 https://campus.ctrip.com/campus-recruitment/trip/37757#/candidateHome/applications - - -### 快手 - -* 岗位 - * C++开发工程师 -* 技术 - * 1、负责快手各产品后端系统、平台系统的研发工作，通过敏捷开发支持产品需求快速迭代，不断优化系统架构，支撑业务规模增长，保障服务稳定 - * 对现有系统的不足进行分析，找到目前系统的瓶颈，改进提高系统性能； - * 参与解决海量数据分布式处理、高效查询、数据一致性、准确性等方面带来的各种技术难题和挑战。 - * 熟悉C/C++或Rust，有扎实的计算机基础，对数据结构、算法基础有深入理解； - * 熟悉面向对象的设计思想，了解软件开发流程； - * 有实际项目经验或互联网公司实习经历者优先，有OI、ICPC等竞赛经验者优先； - * 热爱互联网，对互联网产品和技术有浓厚的兴趣，热衷于追求技术极致与创新； - * 具有良好的沟通能力和团队合作精神、优秀的分析问题和解决问题的能力。 - -* 流程 - * [x] 简历投递2021-09-09 - * [x] 快手一面：2021-09-18 11:00(GMT+08:00)一面之后就没有了消息，啧啧啧。 - ----- - -## 电商 - -### 京东 - -* 岗位 - * C++工程师 -* 技术 - * 1-2021年10月1日至2022年9月30日期间毕业，统招本科及以上学历； - * 2-有扎实的专业基础知识，熟悉常用的数据结构和算法，对计算机系统结构-网络-操作系统等专业知识有深刻认知； - * 3-熟悉Linux/Unix平台上的C++编程，熟悉网络编程-多线程编程，有良好的编程习惯； - * 4-有分布式系统开发、大数据处理开发经验者优先； - * 5-有互联网企业实习经验优先； - * 6-具备优秀的逻辑思维能力，有良好的团队合作精神，较强的沟通能力和学习能力。 -* 流程 - * [x] 官网投递http://campus.jd.com/#/details?id=1616&type=present - * [x] 京东笔试2021-10-09 19:00 星期六https://jd.acmcoder.com/cand/login?rtvw8fy7 - -### 虾皮 -* 岗位 - * 后端开发工程师 -* 技术 - * 1、2022届本科及以上学历，计算机软件相关专业； - * 2、至少熟悉 Golang、C/C++、Java、Python等一种编程语言； - * 3、热爱编码, 对于创新以及解决具有挑战性问题充满激情； - * 4、深入了解后端Web Service框架和技术，如 Gin、gRPC、Spring、Django、Flask、MySQL、Redis、Kafka，熟悉Web Server性能调优、大规模并发、缓存机制； - * 5、能熟练运用几种基本的设计模式，熟悉常用的软件架构； - * 6、扎实的数据结构和算法知识； - * 7、具备一定的英文听说读写能力； - * 8、优秀的逻辑思维能力、学习能力和沟通能力。 -* 流程 - * [x] 官网投递https://app.mokahr.com/campus_apply/shopee/2962#/job/1394ea55-a1d4-4710-923f-6c62da7dca3d - * [x] ~~虾皮笔试2021.09.22 15:00:00 https://intv.shopeesz.com/exam/index?code=ES69M4VXNm6QDqr256UlhQRVzlHQPFkpjDNxqvoMV3M&seq=m2ejQcQzXKHFVSKL5UeevxWAu0oNFAwHmufGcTcvtKKJMpWoLUN3uytvpUFuwdz99D6ds2hBjJEIKsAquOjkRw 与拼多多笔试冲突，申请调整，好像失败了。~~ - - -### 拼多多 - -* 岗位 - * 服务端研发工程师 -* 技术 - 1. 负责拼多多基础和业务的架构设计和研发工作，解决各类有技术挑战的问题，为产品和业务的发展提供最强有力的技术支撑； - 2. 按照软件开发流程，根据产品和项目计划，完成所负责模块的架构设计、编码、测试和文档编写的全流程工作； - 3. 持续优化系统架构，提高系统在高并发、高流量和分布式环境下的容灾容错能力，保证系统的高可用性、高可靠性和高扩展性； - 4. 承担新技术预研和方案选型，参与关键技术点的攻坚工作，帮助团队内的技术推广。 - 5. 2022年应届毕业生，本科及以上学历，喜爱计算机以及互联网技术； - 6. 扎实的数据结构和算法能力，熟悉常用的数据库技术； - 7. 精通至少一种开发语言，并能熟练应用解决具体问题； - 8. 有较强的学习能力，有强烈的责任心和自我驱动力； - 9. 能及时关注并学习业界最新技术，具备良好的沟通能力和团队合作精神。 -* 流程 - * [x] 简历投递https://careers.pinduoduo.com/campus/personal-center - * [x] 拼多多笔试2021年-09-22 15:00:00 -- 17:00:00https://exam.nowcoder.com/cts/17159361/summary?id=70F59B9DC5784812 - * [x] 2021-10-07 15:00参加拼多多2022届-技术正式批 服务端研发工程师的面试 - * [ ] 2021-10-20 14:00（北京时间） 这。。。居然还有二面。但是自己错过了预约时间 - - -### 小红书 -* 岗位 - * 后端开发工程师 -* 技术 - 1. 本科及以上学历，计算机相关专业； - 2. 擅长任意一种语言，包括但不限于：C/C++/Java/Python/Go/PHP/Javascript; - 3. 熟悉常用数据结构与算法、计算机网络、操作系统，掌握数据库基本理论及基础的应用实践； - 5. 了解TCP/IP、HTTP、 Linux等基础。 - -* 流程 - * [x] 简历投递https://job.xiaohongshu.com/jobs/3953/campus - * [x] 小红书笔试时间与快手面试冲突。但是用半个小时做了两个题，还行。后续等面试通知。 - * [x] 小红书一面09月30日 星期四 15:00 ----- - -## 手机厂商 - - -### 华为 - -* 岗位 - * 云计算工程师（cloud BU 和消费者BG） - * 软件开发工程师(领域)操作系统开发工程师(第一意向部门)消费者BG软件部(第二意向部门)中央软件院 -* 技术 - * 1、计算机、软件相关专业本科及以上学历； - * 2、熟悉以下一种编程语言：C/C++/Java/C#/Python/Go/PHP等编程语言； - * 3、熟悉或掌握以下一方面知识者优先： - * 虚拟化、计算、网络、存储、安全、监控运维、操作系统、数据库、系统自动化、分布式架构、开源等； - * 有IT应用软件、互联网软件、IOS/安卓等相关产品开发经验。 - - * 第二个方向 - * 1、计算机、软件、通信等相关专业本科及以上学历 - * 2、热爱编程，基础扎实，熟悉掌握但不限于JAVA/C++/C/Python/JS/HTML/GO等编程语言中的一种或数种，有良好的编程习惯； - * 3、具备独立工作能力和解决问题的能力、善于沟通，乐于合作，热衷新技术，善于总结分享，喜欢动手实践； - * 4、对数据结构、算法有一定了解； - * 5、优选条件： - * （1）熟悉TCP/IP协议及互联网常见应用和协议的原理； - * （2）有IT应用软件、互联网软件、IOS/安卓等相关产品开发经验，不满足于课堂所学，在校期间积极参加校内外软件编程大赛或积极参于编程开源社区组织； - * （3）熟悉JS/AS/AJAX/HTML5/CSS等前端开发技术。 -* 流程 - * [x] 简历投递https://career.huawei.com/reccampportal/portal5/campus-recruitment-detail.html?jobId=176044 - * [x] 华为一面2021年09月26日10时00分 - * [x] 华为二面2021年09月27日10时00分 - * [x] 心理测评挂了！！！！！重新测评，也太捞了吧。 - * [x] 傻逼一样的心里测评通知。第二次结果也不知道。就这样吧。 - * [x] 华为三面2021年10月12日上午。已经过了。剩下的是谈薪工作。 - - -### 小米 - -* 岗位 - * 软件开发工程师(C/C++/Java)-互联互通方向（感觉这个偏向物联网，小米的物联网智能家居做的还是挺好的。） - * 软件开发GOlang方向。说实话，小米的这个投递很迷。都不知道为啥蹦出个360的岗位。好几个投了但是没有记录 -* 要求 - * 1、参与互联互通系统的开发落地,涉及多个平台Android，Linux，Windows等； - * 2、负责Android/Linux中通信协议的演进、升级、优化和增强，涵盖系统架构分析/兼容性/性能/功耗/稳定性优化； - * 3、研究和跟进TCP/IP/WiFi(802、11)/蓝牙/IOT领域业界技术演进/新技术和新标准。 - * 1、熟悉C/C++/JAVA语言，熟练掌握其中一种； - * 2、熟悉Linux Socket编程，对TCP/UDP/IP等有深入了解； - * 3、对数据结构算法比较了解。 -* 进度 - * [x] 建立投递。官网烂的一批。https://app.mokahr.com/campus_apply/xiaomi/286#/job/dc8d7233-d059-4df9-938d-c0a01be881f7 - * [x] 要做测评（邮箱里有测评的链接。）\ - * [x] 在线笔试2021-09-01 19:00 星期三https://mi.acmcoder.com/cand/login?673rqtpa - * [x] 小米面试。9月8日-15.00-17.00 - * [x] 小米二面。09月09日面试时间：16:00 - * [x] 居然挂了。2021年9月10日离谱。这二面聊得这么开心居然挂了？？？我觉得主要还是自己太不正式，谦虚低调，保持较好的精神面貌才行。 - * [x] 小米新的一面09月26日15:00https://interview.nowcoder.com/test/video/interview/v4/12814058?role=1&round=1&code=9BFDLs6B&callback=%2Finterview%2F12814058%2Finterviewee%3Fcode%3D9BFDLs6B&round=1&jobType=1&npsActorId=1&intervieweePwd=9BFDLs6B&allowInterviewerExtendRoom=true&allowInterviewerExtendExpireRoom=true - * [x] 小米二面09月30日10:30 https://interview.nowcoder.com/interview/12814058/interviewee?code=9BFDLs6B。神奇的小米，估计又挂了。 - * [ ] 小米隐私保护部门2021/10/21 15:30-16:00 ??????????我又被小米捞起来了？？？？？？太离谱了吧。 - -### vivo -* 岗位： - * C++工程师（机器学习算法的工程架构方向）：这个方向非常合适。因为自己看过tensorflow源码。而且进行修改和构建过tensorflow。 -* 技术： - * 本科及以上学历，计算机、软件、通信等相关专业； - * 良好的在线工程、分布式开发能力，了解常见推荐系统的架构，了解常见推理预估系统； - * 熟练掌握C/C++，会使用Python、Java、Go等编程语言，或者你可以在一个月内熟练掌握一门语言； - * 熟悉Linux平台下的多线程编程； - * 优选条件： - * 有具备一定影响力的开源项目者优先 - * 熟悉TensorFlow深度学习框架设计原理、阅读过相关源码者优先 - * 熟悉GPU编程，熟悉MPI编程技术者优先对代码有追求， - * 追求极致者优先。 - -* 流程 - * [x] 官网投递https://hr.vivo.com/wt/vivo/web/index/vivoWebApplyRecord!listApplyPosition?needStatusFlows=true&operational=02f4dd86cdc9dba12c3242481c337db74d520ab50f4e1149fd03ebb813893b3b542924cc9c031162eed4735afbb152fd4db61589e305f0e699a2cde327d0445b39d54974eb3498113599ede2aca688dd6a050916bdbdad37e285cdeebdc1145f149f19f731c78765 - * [x] 网络测评 - * [x] ~~笔试2021-09-22 15:00-2021-09-22 16:00（北京时间） https://exam.nowcoder.com/cts/17159310/summary?id=5659B6CAF06C403E 因为与拼多多笔试时间冲突，所以放弃了~~ - - -## 谈薪说明 - -* [薪资说明](https://duibiao.info/) - - - -![](image/2021-10-12-20-28-39.png) - - -45 - -### 字节 -1. 2-1 - -### 蚂蚁 -2. p6 - -### 美团 -1. l6-l7 - -希望能拿到签字费和股票。没有base+1000似乎都没有股票好。 - -### 华为 -1. 15级 diff --git a/工作日志/2021年8月3日-八月份计划.md b/工作日志/2021年8月3日-八月份计划.md deleted file mode 100644 index 21931daa..00000000 --- a/工作日志/2021年8月3日-八月份计划.md +++ /dev/null @@ -1,89 +0,0 @@ -# 八月份计划 -## 任务——秋招准备 - -> 对三月份的计划补充与复习。 -> 需要将当时没有完成的一些任务完成。例如linux开发等一系列内容。 -> 微服务相关的一系列内容。这一次准备应该是更全面更充分的一次。 - - -### 知识复习——语言 -> 由于java和go的重复性。go作为新兴语言的优势。所以掌握go语言。 -* [x] C++ - * [x] 基础知识 - * [x] 标准库 - * [x] 面向对象 - * [x] 设计模式 - * [x] 并发编程 - * [x] 网络编程 -* [ ] GO - * [x] 重新整理go知识（在原先的基础上进行了扩充） - * [ ] 基础知识。 - * [ ] go语言的优势。 - * [ ] 协程并发编程等，相关内容的了解。 -* [x] 数据结构 -* [x] 算法 -### 知识复习——基础 -* [x] 操作系统 - * [x] 基础知识 - * [x] 关于同步异步机制的理解。总结各种语言、库、中间件、设计模式、数据库、操作系统的同步异步方式。 - * [x] Linux底层原理和常见函数。为什么说一切皆文件 - * [x] 面试内容复习 -* [x] 数据库 - * [x] 基础知识 - * [x] MySQL - * [x] Redis - * [x] Redis的总结 - * [x] Redis实践 - * [x] 消息队列定义 - * [x] kafka消息队列 - * [x] redis实现消息队列 - * [x] 面试内容复习 -* [x] 计算机网络 - * [x] 应用层 - * [x] 网络层 - * [x] 通信层 - * [x] 链路层 - * [x] 物理层 - * [x] 面试内容复习 -### 知识复习——框架 -* [x] ~~Django MVC框架~~ -* [x] ~~Go kitex微服务框架~~ -### 编程实战 -* [x] ~~Linux系统编程~~ -### 力扣刷题 -* [x] ~~算法编程（力扣刷题）~~ - -### 简历准备 -* [x] 对简历上的项目进行介绍 - -## 计划 - -其实现在的情况很尴尬。留给自己准备秋招的时间只有十天了。然而，还必须拿出五天来，写中期报告、实习报告、毕设论文、小论文这一系列的东西。感觉加起来得两周才能搞定。从下周一开始？做到周六，然后就告一段落了。要重新熟悉自己看过的论文、写过的报告、计划、收获与想法、代码等。对过去做过的事情总结。对未来要做的事情进行总结。 - -我的性格很简单。什们事情都要做到完美。如果不能全力以赴做到完美，还有什么意义。完美主义者，必然要在无聊的细节上浪费大量的时间。 - -> 写着玩玩。 - - -* 周一 - * [x] 毕设实验做完 -* 周二 - * [x] 中期报告与答辩PPT做完 -* 周三 - * [x] 系统架构完成 -* 周四 - * [x] 恶意软件数据的特征提取完成 -* 周五 - * [x] 就业投递简历做完 -* 周末 - * [x] 秋招准备，并启动每日秋招计划 - - - - -## 收获 - -1. 第一周8.19 - 1. 完成知识复习 - 2. 完成为期一周的编程实战 - 3. 完成持续的力扣刷题 \ No newline at end of file diff --git a/工作日志/2021年8月4日-今日计划.md b/工作日志/2021年8月4日-今日计划.md deleted file mode 100644 index 2b4572d2..00000000 --- a/工作日志/2021年8月4日-今日计划.md +++ /dev/null @@ -1,21 +0,0 @@ -## 任务 - - -## 收获 - -### 关于工作周期的思考。 -* 我发现了，只要我一个下午专注的事情不是昨天的事情，我就会把昨天的工作进度忘得一干二净。很神奇，人的记忆只有一天，昨天我心心念念留下的bug，那个让自己困扰的难以入睡的问题，已经因为今天面对就业和实习的焦虑，消失的无影无踪。所以现在又要切换回去。 -* 所以，我非常不擅长在各种工作之间切换。我只能在某一段时间，专注于某一件事情，直到这件事情有明确的工作节点，有明确的产出，有明确的存档之后，才可以开始下一段的工作。向今年三四月份准备实习的时候，疯狂地看基础资料刷题，就做不了其他事情；像六七月份实习的时候，就因为各种事情之间切换，没办法全身心地投入到某一个工作当中。像过去的两周就可以心无旁骛的看论文写代码就觉得很充实。 -* 那么可以思考一下，这种切换的单位应该是什么呢，一次工作大概能够多长时间的专注呢？这很大程度上取决于工作量。一天之内的切换肯定是不现实的，会让自己觉得在所有的工作上进展都很小，运动、读书、刷题、写论文、写代码等一系列事情之间切换，导致各个部分的进步都不是肉眼可见的，还有各种切换的开销。一天的话觉得会导致，刚进入状态，就不得不切换到另外一种状态，也不太好。我觉得切换的单位，应该为一个工作“周”。以后的工作都以周为主题进行。尽量不要在某一周内，完成两个及以上的具有挑战性的工作。 - -### 关于中期答辩前的进度的思考 - -所有的事情必须进展到一半以上。实验必须全都完成。 - -* 阅读--------60% -* 实验--------30% -* 系统--------0% - -* 小论文------0% -* 大论文------0% -* 中期报告----0% \ No newline at end of file diff --git a/工作日志/2021年8月7日-今日计划.md b/工作日志/2021年8月7日-今日计划.md deleted file mode 100644 index c83af4df..00000000 --- a/工作日志/2021年8月7日-今日计划.md +++ /dev/null @@ -1,23 +0,0 @@ -## 任务 - -- [x] 完成电话的PPT。能够有啥有意思的东西呢，无非就是推荐一两个科幻电影和科幻动漫。 -- [x] 完成数据集的设置（加载其他类型的数据集、更多类型的非独立同分布划分和衡量方法） -- [x] 完成实验的设置（需要对比的地方，需要考虑到可能的影响）基本达到周二要求的水准了。 - -## 收获 - - -### 关于系统设计的思考。 -> （应该有客户端，如何实现跨平台的客户端呢？如何能够满足rpc的过程与展示的需求？需要对需求进行分析----设计文档）流程好好走一遍再说。这个东西应该是下周末的事情了。尽量在中期之前做个大概。 - - -* 人生苦短，我用Python。真的，发现这一门门的语言也太多了。真不知道该搞什么。C++ java golang JavaScript Python再加上一堆的前端语言，加上一堆的的框架，再加上一堆的数据库知识，人都快傻了。我觉得。C++必学。java golang这种系统开发语言，选golang吧，感觉最近的大厂都在搞这个，毕竟也是基于C的语法的，而且还有docker等一系列的微服务场景支撑，也是google开发的最近的语言。JavaScript和Python估计这种脚本语言只能选Python了吧。毕竟不做前端。JavaScript虽然也能作为后端脚本，而且作为大前端的唯一指定语言，JavaScript似乎永远也绕不开。有空把vue前端框架看完就可以了，其他的东西可以不用管。 -* 想深入研究和实践一些东西。一方面是基于C++的系统编程，包括linux底层和各种C++effective的书籍，以及相关的C++库，使用C++实现rpc网络编程、游戏引擎编程等，还是非常有意思的。另一方面是基于golang的web编程（go ginweb），感觉golang非常适合用来搭建服务器，作为服务器端的脚本语言，之后可以尝试使用这个搭建后端服务器。再就是基于Python的机器学习和数据分析，Python在这方面有与matlab相似的各种库和工具，非常好用，以后还可以集成到excel的电子表格当中，多么有意思。再就是前端那一条html css vue js nodejs等，稍微了解一下。 -* 对于web框架来说，不需要前后端的异步处理，只需要前端的异步处理，即可解决前端处理过程中的渲染实时的问题，开启异步线程或者使用单线程异步操作。后端也可以有自己的异步操作，返回一个值，处理任务，处理完成后等待前端轮训查看处理结果。而不需要在前后端的通信中，进行异步，前端发个请求，后端随便返回一个，后端执行完后通知前端。这种事没有必要的。前端通过异步线程或者异步执行，调用后端即可，前后端保持同步。 -* 真他吗的的恶心。最烦的是东西太多，要慢慢选择。太恶心了。最近的毕设肯定要以Python语言作为后端脚本。找工作又要以C++为主，实习又要看go我是傻逼。 - -* 这种事先不用考虑了。等过几天进行技术选型和项目架构的时候，规划好这些东西。觉得自己有必要，对Python进行深入学习一下了！！！！！！！！！！！！！！！！！！！向mentor致敬，敏捷开发。 -### 对异步本质的理解 -* 异步。是让某一部分计算，脱离当前的线程。无论是通过单线程回调，还是通过多线程实现，都会在某一部分执行完成后，通知到本线程。 - - diff --git a/工作日志/2021年8月7日-电话分享.md b/工作日志/2021年8月7日-电话分享.md deleted file mode 100644 index af8b5e86..00000000 --- a/工作日志/2021年8月7日-电话分享.md +++ /dev/null @@ -1,136 +0,0 @@ -# 电话 - - -## 电话与未来 -* 电话是什么 - * 原理和技术上的东西就不说了。一种可以传送与接收声音的远程通信设备。电话主要的功能是“沟通” - * 我觉得电话的含义也在不断地扩充。包括电话手表，eyephone,smartphone,earphon等，人们愿意保留phone这个词在这些物品中，很大一部分原因，是它发挥了连通的作用。通过某种手段，将无法见面的人的声音传递过来。 -* 科幻 - * 科学幻想（Science Fiction）根据有限的科学假设（某些东西的存在，某些事件的发生），在不与人类的已知信息冲突的前提下（如现有的科学理论，有据可考的事件记录），虚构可能发生的事件。科幻目前已发展成为一种文化和风格，而科幻文化也成为了一种由科幻作品衍变出来的新文化。 - * “依据科学技术上的新发现、新成就以及在这些基础上可能达到的预见，用幻想的方式描述人类利用这些新成果完成某些奇迹的新型小说。”其实这个定义是有必要的，其中因为有一点，我认为科幻最重要的不是科学的假设的部分，如何描绘未来科技或者幻想的场景（像很多漫威英雄一样），虽然看起来可能很爽，但不应该是科幻作品的探讨的东西。我觉得，科幻作品应该是那种基于很小的假设，可能对某个人生命轨迹的改变或者带来的人类文明与社会上的巨大冲击。 -* 题目 - * 再说会这个题目。我觉得起的不好。因为与未来通话是一件十分简单的事情，只要我们在纸上写下一行字，就可以对未来产生影响。同样，如果我们打通了大洋彼岸的电话，如果延迟足够大，我们就能切实的体验到，其实我们是在对未来的说话。而在这个命题下，我们没有实现的，科学幻想出来的，应该是向过去说话。这么说的目的，当然是起到未来的人能打通与我们的电话，哪天接起一个电话，说不定就是来自未来的。 - * 我感觉我可能对这方面的理解，与各位其实还相差很远，就只能查查资料，给各位汇报一下了。 -![](image/2021-08-07-17-52-30.png) - -![](image/2021-08-07-19-07-33.png) - -![](image/2021-08-07-19-08-03.png) -> 我应该区讲什么。是有各式各样的电话吗？我觉得不是，我更想去讲，关于电话的科学幻想。在这些科学幻想中电话具有怎样的功能。这种功能会给其中的人类世界带来哪些改变？以及这样的科幻反映了人自身的哪些内在需求。 -> 我觉得这都是一些宏达的问题，我可能根本讲不了，甚至这些东西都是以电话为凭借，世界上是在将科幻中的药解答的问题。 - -## 电影 -### 漫威中的电话 - -![](image/2021-08-07-19-10-02.png) - -![](image/2021-08-07-19-11-30.png) - -![](image/2021-08-07-19-11-55.png) - -### 黑客帝国 - -> 一个伟大的科幻电影 - -* 尼奥挣脱由一个名叫“母体”控制的虚拟世界进入现实世界的故事。人们在母体中就像他们饲养的动物，没有自由和思想，而尼奥就是能够拯救人类的救世主。 - -* 接线员，负责将母体中的电话与现实世界的肉体信号接通，传送回来 - -![](image/2021-08-07-18-51-56.png) -![](image/2021-08-07-18-48-20.png) - -* 我觉得电话，在这里，是一个“门”的作用，从一个世界，向另外一个世界过度的门，穿过话筒的不再是声音，还包括自己的精神与意识。 -* 塞佛“你知道吗，我知道这块牛排并不存在。我知道当我把他放进嘴里时，母体就会告诉我的大脑，这东西鲜嫩多汁。九年后的今天，你知道我领悟了什么吗？无知，就是幸福”。再这样的世界中既有像他们这样的抗争着，又有接受了现实，觉得这才是真正的幸福的东西。 -* 有的时候，我觉我们所说的快乐就是最好的，但我觉得，如果只是为了快乐，不如多注射点多巴胺，沉迷在无所不能的世界就好了。我想我们追求的应该是更多的东西 - - -## 动漫 - -### 多啦A梦 -> 根据科幻的定义，它应该是一部伟大的科幻作品。 - -* 传物电话——给老爸送邮件。除了这个偷了两次静香的裙子，还抓住了哪个打骚扰电话的同学。用这种电话，说不定以后真的就没有骚扰电话。 - -![](image/2021-08-07-18-19-08.png) -![](image/2021-08-07-18-19-50.png) -![](image/2021-08-07-18-21-55.png) - - -* 随叫随到电话——如果能到朋友家去的话，那我干嘛还需要电话。 - * 我觉得电话未来的发展，无非也是这样。我无法想象，多年前，第一次接通电话的那群发明家，与远处的人交流的时候的有多么冲动。但是人们总是不满足于现状，期待接听电话可以传送更多的东西，传送现实中的物体，甚至是人们自己。我觉得，这是对电话的通信与传输的属性，进行发散。 - - -![](image/2021-08-07-18-16-56.png) -![](image/2021-08-07-18-13-14.png) - -* 如意电话亭——没有放风筝，没有羽毛毽，没有抽陀螺的世界。风筝飞到天上，怎么拉都拉不下来。 - * 如果接到电话，我们第一件事是干嘛，“喂你好，哪位”。电话另一端的人，总是未知的陌生的，也可能是某个能够实现我们的愿望的神明。不像现在，一堆骚扰电话，以前家里每次电话响了，总会有点期待，有种开盲盒的兴奋与快乐。 - * 我想这也是电话这种发明带给我们的一些乐趣。 - - -![](image/2021-08-07-17-56-44.png) -![](image/2021-08-07-17-56-15.png) -![](image/2021-08-07-17-47-46.png) - - -* 我想多啦A梦，不只是单单的拿出了神奇的道具，让我们觉得神奇。更重要的是，即是在伟大的发明与科技进步下，人与人之间的感情，多啦A梦与大熊的陪伴，仍旧是最可贵的。 - - -### 命运石之门 -* 主角发明了电话微波炉，通过电话向微波炉发送信息，微波炉逆向旋转，最终信息发送到了过去。然后主角因为向过去发送了信息，结果产生了两个时间线，为了满足同伴的梦想以及做测试，先后发送多封dmail，造成多次跳线。即发送的信息回到过去，会导致过去发生变更，但不会出现祖父悖论，而是产生一条新的时间线。但最终会时间线会收束到一块，即使改变了过去，未来还是一样。 -* 直到有一天，他在alpha和beta之间穿梭。然后青梅竹马和女主之间必有一人会死。balabala - -![](image/2021-08-07-19-27-54.png) - - -* 电话可能只是一个媒介，也是通向过去的一个方法或者说钥匙。无论穿越多少次，也无法得到完美的现在，不如好好珍惜。 - -### rick and morty - -![](image/2021-08-07-19-18-35.png) -![](image/2021-08-07-19-19-05.png) -![](image/2021-08-07-19-19-19.png) -![](image/2021-08-07-19-20-02.png) -![](image/2021-08-07-19-20-47.png) - -* rick 姥爷和morty 逃离过程中，地球C-137。遇到的一堆奇怪的星球。是不是有一个星球上的主角是电话，电话门也发明了电话在打电话，我觉的这种递归的世界应该会很有意思。最后一个图是沙发坐在人身上用披萨打电话。 - -## 小说 - - -* “反向延时电路”一种向过去通信的方法。也是电话的一种吧。其实科幻作品的本质并非科学。而是社会学。无论是三体当中，逻辑作为社会学家成为一个成功的面壁者还是程心最终导致了同归于尽结局，所有的原因，都是人性，而不是科技。哪怕是银河帝国，也是描述的披着高科技外衣的帝国政治，而非漫威那种通过科技和力量来左右社会。真正能够左右社会的，只有社会规律，只有组成社会的个体——人。 - -* 本篇与第一篇更相似。第一篇是对时间穿梭的积极响应，而这里却展示了如何通过因果律来摧毁人的自由意志。在不违背因果的情况下与过去通信，等价与失去自由意志。我觉得我们可以讨论这种设定的巧妙之处，针对这种设定造成的社会现象，讨论可能出现的一些问题。 - -* 一个能在你按下一秒之前闪烁的预测器。通过一个所谓的反向延时电路实现。负延时为一秒钟。 -* “通常来说，一个人会着魔般地连续玩好几天，拿给朋友看，绞尽脑汁瞒骗装置。这个人可以假装对它失去兴趣，但他不可能忘记其中的内涵——接下来几周里，‘未来无法改变’这个年头深入他的脑海。有一部分人意识到选择毫无意义，从此拒绝再做出任何决定。他们纷纷停止了一起自发活动，最后甚至三分之一的玩家必须入院治疗，因为他们连自己吃饭都做不到。终极状态是运动不能性缄默，醒状昏迷的一种。他们能用眼球追踪动作，偶尔改变躺姿，但仅止于此。运动能力依然存在，动因却已经消失” - -* “我正在你的额未来一年以后想你发送这个警告，它是兆秒级反向延时电路首次应用于通信设备后收到的第一个长信息。关于其他问题的消息将陆续送来。我给你的信息是这样的：假装你拥有自由意志。关键在于你必须假装你的决定至关重要，即使你知道事实并非如此。显示不重要，重要的是你相信什么，而相信谎言是避免醒状昏迷的唯一方法。文明如今维系于自我欺骗智商。也许一向如此。” - -* “我既然直到无法改变，那我为何还要这样做呢？因为我无法选择。” - - - - -## 科幻中电话的总结 - -### “科幻世界的电话”——融合尖端科技的设备，像是研究中的横向。 -* 电话的外形更加符合人们对于科技的向往。向那种透明的电话、全息投影，越来越多的东西移植到电话上面，我们的电话不再是单纯的电话。 - -### “科幻世界的电话”——通向异世界的大门。 - -* 像是黑客帝国中，在虚拟和现实世界总穿梭。像是命运石之门中，在两个时间线之间移动。大多这种电话，还保留其“沟通”的最基本的能力，并在这种能力上进行延伸拓展，像是做电话的纵向。 - - -* 门。一扇门。人们总在赋予它更多的含义。刚开始，打开这扇门，你能听到电话线另外一段的声音，再后来，可能听到来自更遥远的声音，甚至是千里之外的影像图片。基于这种门的思路，越来越多的人，想要通过这扇门看到更多的东西。像现在手机上已经可以传递货币，可以传递爱情，但究其本质还是一种数据。而科幻无非基于两点，空间上的延展与时间上的穿梭。 -* 人们希望通过这扇门能够传递物质，实现瞬间的转移，也想要通过这扇门跨越时间，向过去与未来发送信息。说不定真的可以实现，而且还可以很好的解决某个悖论。我们没有收到未来的信息，是因为我们还没有造出第一扇门，迎接未来的人。 - - -## “电话” -* 科幻，源于未知的浪漫。而科幻作品，在探讨某一科技出现之后的社会学问题。我觉得科幻作品中的科幻元素只是背景，而真正让人思考的是其中的人文社会变化。 -* 我觉得我抛出的每一个观点都有很强的主观色彩，很容易出现矛盾和冲突。要讨论的可能还真的挺多。 - - - -* 科技的发展会放大人们自身的缺陷。因为永远没有机器速度快，记忆力好。之后这些东西就永远被替代了。人呢，开始做什么？帮助人们会议，计算。剥夺了现在人计算与回忆的能力。 -* 就像高考一样，不准带计算机进去，用计算机搜索资料的能力，可能比推导出数学最后一题要有用的多。人们也不断的想办法拒绝机器带来的“恐惧” \ No newline at end of file diff --git a/工作日志/2021年8月8日-麻瓜与魔法.md b/工作日志/2021年8月8日-麻瓜与魔法.md deleted file mode 100644 index 63b0d2b6..00000000 --- a/工作日志/2021年8月8日-麻瓜与魔法.md +++ /dev/null @@ -1,203 +0,0 @@ -# “音乐”主题分享——麻瓜与魔法 - -## 初衷 - -1. 我是一个麻瓜。对于魔法师创造的伟大魔法，感觉很神奇，但神奇这个词，也表示我对这个领域一无所知，但不知为何，却心生赞美。只能说神奇啊，太神奇了。 -2. 所以我想知道，对于一幅画，由伟大的魔法师创作的魔法，跟我一样的麻瓜，看了之后到底有什么感觉，怎么看待这幅画，以及怎么看待“看待这幅画”这种东西。 -3. 如何欣赏一幅画。我想我去咨询一些懂画的人肯定就好了。如果只是咨询或者调研就能明白的话，我想很多人都可以进行欣赏。 - 1. 但事实是，作品大多数都是面向不懂得创作的人，那么普通人到底怎样评价一幅画的好坏呢？到底对画又怎样的认知呢。专业的人肯定能够从专业的角度各种分析，可是普通人呢。 - 2. 欣赏画的目的，从“画”中得到什么？ - - -## 采访心得 - - -1. 去掉语气词，陈述一个事实，比什么都重要。不要带有太多的个人感情讨论学术上的事情，感觉做什么都像是在吵架，太容易情绪化了，包括说话的时候老想笑，刻意突出身份关系，那种抱歉的感觉，强调的语气。学会情绪化的陈述。 -2. 思考下一句该说什么，慢慢来。等别人说完再说。动脑子讲东西。一定不要抢话。让别人尽情的说。 -3. 表情管理。太喜欢笑，也不见得是一件很好的事情。 - - -## 画作准备 - -> 从对比的角度分析。相同主题。不同画作。 - -### 肖像画 -《戴珍珠耳环的少女》约翰内斯·维米尔 - - -![](image/2021-08-14-13-47-01.png) - - -《海伦娜·弗尔曼肖像》彼得·保罗·鲁本斯 - - -![](image/2021-08-14-13-47-19.png) - - -### 风景画 -《干草车》约翰·康斯太勃尔 - - -![](image/2021-08-14-13-50-46.png) - -《麦田》梵高 - -![](image/2021-08-14-13-57-18.png) -### 室内画 -《有阳台的房间》门采儿 - -![](image/2021-08-14-14-05-11.png) - -《卧室》梵高 -![](image/2021-08-14-14-05-53.png) - -### 山水画 - - -![](image/2021-08-14-13-57-56.png) - -![](image/2021-08-14-13-58-31.png) -## 问卷 - -1. （性格）我见你每天都开开心的，好快乐啊，你小时也是这样吗，是大家的开心果？（别人的特点+往事的回溯。主要确定对方的性格，跟最终对画的认知的关系） - - ----- - -2. （经历）是什么促使你成为一个这么优秀的人。感觉能够如此坚定的奋斗，一步步走到北航，一定很不容易把，必然有过人的智慧，加上你的美貌，应该无敌了？（别人的特点+往事回溯，主要是确定对方的性格，成长经历，跟最终对画的认知的关系） - ----- - - - -3. （魔法）那成长过程中，你有没有觉得周围的海西都是多才多艺的，有没有想去，搞搞琴棋书画啊，毕竟这么优秀了，学习肯定就是次要的，业余时间你都做些什么呢？（兴趣爱好，主要询问对方关于画的一些经历，一次判断对方是不是麻瓜） - ----- - - -1. （内容）那我能问一些很无聊很艰难的问题吗？（降低对方的预期）你就尽量把你想到的东西，尽可能的告诉我，你觉得这幅画画了什么内容。你可以按照自己喜欢的顺序介绍一下这个画作里的内容。 - ----- - -2. （形式）你觉得这幅画的表现形式怎么样。包括色彩啊、光影啊、线条啊、构图啊。（顺便给一些提示例如从颜色的角度，你觉得色彩、光线、里边的事物给你的感觉是怎样的的，画的好吗。） - ----- - - - -3. （感情）你看到这幅画有什么感觉，快乐，积极向上？压抑？我觉得创作一幅画可能是为了表达某种情绪或者达到某种目的。你觉得画家在这里边倾注了什么感情，或者想要达到什么目的（可以进一步询问，给你的感觉，你对这幅画的评价。觉得心上一个东西包括两个，外在的评价，和内在的感受。） - ----- - - -4. （联想）接下来的问题可能比较抽象。若果置身与这幅画中，你会是一个怎样的存在（非肖像画，你会在哪里，在忙什么，称为这幅画中的一个事物）。你能想象一下，作者创作这幅画的过程吗（在什么样的时间，受到什么样的启发，创作这样的内容，是谁主动呢）？ - - ----- - - -1. （题外话）你觉得去看画展。主要是为了看什么。甚至有些插画书看起来比文字书籍要有趣的多。但是，如果是为了这样的比目的，看视频岂不是更高效地获取更多的信息。 - - - - -## 张玄和殷康龙 - -![](image/2021-08-15-19-40-21.png) - -1. 张玄 - -首先可以看到，这个场景的光线是非常强烈的，阳光位于左侧画面以外，灿烂的白光表明是个晴朗的、稍微有一点云上午或者中午。“光线强烈”的观感一方面来自于整体偏向白色的色调，另一方面来自于阴影部分与向光部分的对比。此外，左侧房子、右前方的树（？）的周围有白色勾勒，感觉阳光强烈到整个物体都在反光，甚至带着一轮光晕。整个场景单看上去就能想到盛夏时节晒到头晕目眩的那种炽热。 -然后是色彩和纹理，我感觉作者很好地画出了各种材料所应当具有地那种特点。比如，右侧屋子面向光源的墙体，红色地墙体上有斑驳的黄色，表现出了墙面的磨损和风化，感觉有很明显的木头和漆的质感。左侧房子背光的墙、左侧小房子面向观察者的墙则更多表现出来了木头的质感。相较于木头房屋的纹理，远处的白房子则是没有任何纹理的，对阳光的反射是很均匀地漫反射，能够让人想到是一堵用石灰腻得很好的墙。 -然后是物体的形体，虽然像树、远处的山等等都被简化过，但是得益于作者卓越的处理光线明暗和色彩纹理的能力，我感觉树木和山的质感还是传达的很好的，树木是那种饱满多汁的大叶片，山则是嶙峋的山。天空中有云，虽然简化到这种程度但仍然足以分辨出是那种淡淡的云。 -总之我感觉，这幅画描绘场景是热烈而又和煦的，打个比方就是一只被正午的阳光晒困了的野猫（） - -2. 殷康龙 - -一堆奇奇怪怪的房子，居然有的是白色有的是红色，那个红色的高楼一样的东西是啥。路是红色的，路边是绿色的草，感觉很不和谐。有一条不知道通向何方的路，有点神秘，但应该是那种悠长宁静的生活，却用红色的墙壁，似乎又在强调某种浓烈的情感。有些不和谐，有点阴森。 - - - -## 张小玉 - -1. 你在学素描期间学到了哪些 - - -“所以还没有到有自己东西的那一步，只是在照猫画虎学一下。” - -以前的时候学过素描，已经不能称之为严格意义上的被访者了。我看见它的桌面上有很多五颜六色的绘本。而且她应该也对动漫很感兴趣。 - - -2. 海伦娜福尔曼 肖像 - -“画作很写实，很浪漫。女主角非常好看，像是修过的照片。颜色很搭，很和谐，看起来很高贵，像是宫廷里的。非常害羞，眼神向下，手的姿势也好像很抗拒，有一些拘谨。” - -“不像是特意的造型，更像是在平常发现了这个美丽的细节，然后记录下来，带着一种欣赏的目光。” - - -我觉得我选肖像画十个失败，肖像画的细节太多了。容易让人凌乱不知道从哪里入手。 - - -3. 卧室 梵高 - -“画作的颜色很常见，像是一个人刚起的时候卧室的样子，感觉很随意，凳子都没有摆好。没有统一的色调，就会让人觉得新的一天刚刚开始。如果所有的东西都是一个颜色，就会有一点压抑，让人想要睡觉。” - -4. 为什么要去看画呢？ - -“我们平时看到的都是生活中的东西，去看画展，能够看到别人创作的世界，甚至只存在于想想中的世界。不一样的事物，能给自己的生活带来灵感” - -获取灵感，画作更像是精神世界的一种表达。 - -5. 看画与看视频有什么优势？视频包含了更多的影音内容。 - -“感觉画更难一些。与视频相比，画更多思考的是静态下的一帧的细节，更加精致。” - - -> 我也曾经去看过很多几个画作。在济南、在青岛的时候，只是随手拍一拍，忘记作者是谁了。最多的体验，能是什么门。 -> 刚从它哪里拿到一个绘本。我看到那个绘本上的内容。“晒在午后三点的阳光下；雨天一个人读书；抬头遇见初雪……”。其实我还有一个问题，你觉得人生中最快乐的三件事情是什么？ - - -## 赵浩鹏 - -1. 你觉得这两幅画，哪一幅更符合你的口味。你能描述一下这幅画的内容吗。 - -“干草车。我觉得这幅画的内容更精致，画的更细腻。里边有一只狗，还有一个马车，像是从集市买完东西赶回来，拉着马车还是牛车，经过门前的积水。相比右边的那个，场景更生动一些。右边的线条比较粗旷。” - -2. 你觉得作者处于什么理由创作这幅画？ - -“应该很随意吧，那时候后没什么照相机，突然经过看到了，随便画的。我觉得这种搞艺术的都挺随意” - -3. 如果个人置身与这样的场景的话。你会作为什么事物，或者人，或者想与其中的什么东西进行互动。 - -“啊？我并不想。我就想安静的看着人画画。对接触美的东西不感兴趣，就远远的看着这幅画就好。” - - -4. 如果一个人去画展，或者欣赏一幅画的画，主要是看什么东西？ - -“就我个人而言，我想去看着个画展，肯定先看这个画家，是不是我知道的画家，或者感兴趣的。这个画家肯定是比较有名的作者，画作肯定是有可取之处的。然后看他的画展，他想从画中表达的感情，或者作画的技巧，开创了什么流派。” - -5. 欣赏这些画，你觉得能给自己的生活带来什么变化，或者处于什么样的目的，走进画室画展看一眼，主要是处于什么理由。 - -“对我个人而言，肯定就是单纯的好奇。” - -6. 你觉得他们创作这些东西，价值在哪里，怎么样获取对自己有利的部分。 - -“我看到它的画，我觉得很舒服。” - -这么抽象，很难描述。抽象的感觉。 - -“画里都是看不到的东西。有很去。” - -## 总结 - -1. 我跟玄哥的见解完全相反。我觉得对于麻瓜来说，欣赏一幅画，不仅仅是欣赏一幅画，更多的是通过画作的欣赏过程，来审视现在的自己。同样一幅画，可能会因为观察者的心情、状态、经历不同，而完全相反。会将自己当下的紧张焦虑，投射到画作当中，而玄哥明显是春风得意马蹄疾，生活舒舒服服快快乐乐，前途一片光明。麻瓜的关注点，都是千差万别的，一千个人心中，有一万的哈姆雷特。 - - -2. 欣赏一幅画的目的，更多的是接触从未见过的精神世界。给自己的生活更多的思考和灵感。相比视频，它的优势恰恰在于信息量的减少，让人能够静下心来，慢慢思考，细细品味。 - - -3. 麻瓜如何欣赏一幅画。色彩？形象？我觉得问题需要改进。从三个层次，对比的角度进行提问。 - 1. 形式。包括色彩、光线、构图、线条、节奏、比例、顺序。 - 2. 内容。什么人，做什么事，有什么东西。 - 3. 情感与联想。画作给人的感觉（我们得到情感）、画家创作的感觉（画家倾注情感）、画作内容的联想（背后的故事或画中的场景联想）。 - diff --git a/工作日志/2021年8月9日-今日计划.md b/工作日志/2021年8月9日-今日计划.md deleted file mode 100644 index db10880e..00000000 --- a/工作日志/2021年8月9日-今日计划.md +++ /dev/null @@ -1,45 +0,0 @@ - - -## 收获 - - - -## 问题分析 - -现在处于一种很矛盾的状态。中期答辩、秋招、两个实习，都交汇在了一块。如果能提前把实习的事情搞定，投投秋招提前批可能所有问题都解决了。果然，人生规划很重要。做好人生规划，能让自己的焦虑减少一半。准确的说，就是知道什么时候、该做什么收益最大。就像三四月份准备实习，五六七月份实习，八月份中期和就业，九十月份找工作。这才是正常的流程。 - -可惜，自己弄得一团糟。实习开始的时间晚了一些，实习到一半跑路，如今还要跟中期的事情交替进行，还要牺牲找工作的时间去实习。说实话，现在实习的收益太低了。太耽搁毕业和找工作的事情，有点不太可能。但是不去实习可以吗？不去实习存在哪些风险或者说哪些问题。我觉得我不能再言而无信了。 - -那么毕设呢？中期答辩需要你准备这么久吗？我觉得中期完成两个月内，估计你都没时间做毕设。你就只能趁中期之前，做一做毕设。九十月份大家都忙着找工作。 - -你现在不是鱼和熊掌的问题，是左臂和右臂的问题，两者都必须得保留，既要保证能够顺利毕业，又要保证能够找到工作都行，二者缺一个都不行。通过实习转正是一个手段，你已经错过了，接下来只能通过好好准备毕设和秋招，找到自己喜欢的工作了。已经跟阿里和字节的人说明了情况，不能再拖了。我这个人言而无信，感觉写代码能力一般，屁事很多，喜欢思考，但是准备工作太多，前摇时间太长。这些毛病我都要改一改。就像昨天，莫名其妙的紧张了一天，什么都没做，就很神奇。我想成为一个什么样的人？说道做到，就心无旁骛得做自己该做的事情就好！至于自己该做什么，这确实十个很难很难回答的问题，而我就经常会被这样的为击垮，我觉得我需要让自己养成一些习惯，那些可以受益终生的好习惯，用这些习惯或者说固定的套路来解决问题，而不是发了疯一样的焦虑。已经不是十几岁的小屁孩了，课程表上的计划，安排的清清楚楚。现在什么都没有，自由的时间，自由的工作，自己反而变得没那么热爱自由了。 - -如何能够保持自己高强度工作一周、一周呢？如何能够保证自己工作之余能够得到充足的休息呢？如何保证自己休息之后能够有充足的精力投入到自己的工作当中呢？不管平时如何高谈阔论人生理想，但是实践起来都是一个又一个的细节，如果每天都是粗糙的经营实践，永远都只是有产出，而不是高效的产出。我觉得，我的人生轨迹需要改变一下了。 - -总是记不住一些东西，从前自己有个小本子，上边会写下鼓励自己的话和人生的感悟，经常回溯，所以知道自己当前的“主题”是什么，存在的问题是什么，主要的任务是什么。但是现在这些东西下载这里的笔记上，那里的日记上，扔的到处都是，感悟太多，问题太多，从来没有回溯过，每次遇到都是一个新的问题，重新思考该做什么，该怎样做。着实比较蠢。每个月有自己的月计划，每一周有自己的周计划，每一天有自己的天计划。如果你不知道今天该做什么，就去回顾，回顾一周，回顾一个月两个月。每到一个时间节点，对之前的任务进行回溯。不能接受完不成任务的现实。工作很多，容不得由着性子来。 - -加油吧，已经决定要延毕了。吗？你会在秋招期间不断推进论文工作的进展。争取在十月份完成论文，但是也保留申请延毕的可能性。经过与老父亲的商量，我发现我的老父亲对时间安排，还是很有谱的，无论多少事情，总能够规划好，顺利的在时间节点前完成任务。但感觉也是靠拼命才能达成的目标。 - -我需要有在字节工作的工作状态。每天都要有规划，都要有产出。成为自己一种习惯。今天的思考就到此为止了。开始接下来的工作。 - - - -## 有挑战的事情 - -1. 作息时间。1点睡觉，8.30起床。带着你对明天的憧憬入睡。 -2. 每日运动。下午晚饭的时候，去奔跑吧，缓解你的焦虑紧张，好好思考晚上该如何大干一场。 -3. 进度回溯。月计划、周计划、日计划。不是写完了让他们躺在那里的，每个一小段时间，或者自己迷茫的时候，就回溯一下，自己应该干什么。 -4. 强制执行。计划不能太满，也就一位置，你一旦做出，就必须完成。周末负责弥补没有完成的内容。 - - -## 给华芝的信 - - -华芝，我本希望自己能通过一段时间的赶工，做完毕设工作和秋招准备，但进度没有我想的快，我思考了两天，虽然我特别想去字节实习转正，但是最近确实没有时间去实习了。需要花一些时间准备秋招，和8月末的中期答辩，有点忙不过来。我重新规划了一下，打算在八九月分忙一下秋招的事情，申请在明年六月份进行毕设答辩。由于自己的规划的问题，给咱们部门造成了很多麻烦，十分抱歉。 -如果我下周去实习，还是会因为秋招与毕设的事分心，导致自己实习的状态不好，给大家留下不好的印象。我也想全身心的投入到实习的事情当中。如果可以的话，我想在秋招完成（10月）到毕业之前（5月）之间再去我们部门实习一次。如果不行的话，感觉只能申请离职，通过秋招尝试进入部门了。也感谢各位在实习期间的照顾。 - - -## 给寒少的信 - - -希望自己能够直接进入秋招，而不是通过实习转正，因为自己确实没有多少时间了。希望能够拿到跟实习生转正的中间值一样的工资。 \ No newline at end of file diff --git a/工作日志/2021年9月12日-今日计划.md b/工作日志/2021年9月12日-今日计划.md deleted file mode 100644 index a6937b7f..00000000 --- a/工作日志/2021年9月12日-今日计划.md +++ /dev/null @@ -1,8 +0,0 @@ -## 计划 - - - -## 收获 - - -* \ No newline at end of file diff --git a/工作日志/2021年9月15日-今日计划.md b/工作日志/2021年9月15日-今日计划.md deleted file mode 100644 index 3a9ca06c..00000000 --- a/工作日志/2021年9月15日-今日计划.md +++ /dev/null @@ -1,6 +0,0 @@ -2021年9月16日 - -1. 完成算法复习 -2. 做完携程的笔试 -3. 开始LeetCode刷题（每天30个） -4. 开始面经复习（每天一门数据库、操作系统、计算机网络） \ No newline at end of file diff --git a/工作日志/2021年9月1日-简历说明.md b/工作日志/2021年9月1日-简历说明.md deleted file mode 100644 index fc107f46..00000000 --- a/工作日志/2021年9月1日-简历说明.md +++ /dev/null @@ -1,158 +0,0 @@ -# 简历说明 - -## 1 教育经历 -你好。我叫殷康龙，现就读于北京航空航天大学计算机学院，主要研究联邦学习在恶意软件检测领域的应用。本科就读于西北工业大学软件与微电子学院，主修软件工程。 - -在学校主要学习了C++程序设计、数据结构与算法、面向对象程序设计，综合测评成绩在250人中排名第8。 - -## 2 校园经历 - -在学校里积极参加社团和活动。曾任软微学院科创部干事，组织一行代码大赛和程序设计比赛。曾任西工大新闻中心副部长，负责开发新文中心的功能网站，培训技术人员。 - - -## 3 主要成果 - -* 校一等奖学金，华为奖学金，国家励志奖学金，电子工业出版社助学金，“优秀共青团员”称号，优秀学生称号 -* 2016-2017年连续两届FIRA机器人世界杯、SimuRoSot项目国际特等奖（冠军），Air Challenge项目国际一等奖（亚军） -* 2017中国机器人大赛、无人机大战水果项目一等奖 -* 2019年获得两个国家级大创项目优秀结题、三个计算机软件著作权 - -## 4 项目经历 - -> 项目概述、主要工作、最终成果 - -### 竞技策略开发——仿真5VS5SimuRosot -* 项目概述：15个人的开发团队，长期开发项目。C++。基于simurosot机器人仿真平台，在国内比赛和国外有相关比赛。工程主要采用分层架构： - * 第一层是运动模型，包括球的运动模型和轮式机器人的运动模型。控制机器人的轮速，完成前进、后退、旋转等基本动作。 - * 第二层是跑位动作，给定目标点，机器人通过基本动作，完成避障行为，以最快的速度到达目标点。 - * 第三层是击球动作，在跑位的基础上，根据球的运动状态、击球者的运动状态、击球的目标方向等，完成击球过程。直接撞击、旋转甩球， - * 第四层是策略控制，用于协调多个机器人，完成统一目标的动作。进行角色选择，像前场包括sender、defender、helper等角色。然后目标计算，分别计算每个机器人的目标点，选择机器人的运动方法。最后是策略切换控制，为了增强策略的稳定性，还包括策略的进入和退出控制。 - * 第五层是策略选择，包括态势评估，通过过去和当前的机器人和球的状态完成一系列态势分析，选择进入前场、后场、边路、底线等不同的策略中。 - * 辅助模块，包括日志模块。态势预测模块。 - * 设计模式：单例模式（小球的控制句柄、态势评估类的对象和态势预测的对象）、策略模式（不同策略、统一接口） - * 存在问题：策略的稳定性(最难的)。设置不同的严格的进入条件、宽松的退出条件，控制反转，每个策略类提供自己的进入退出条件和执行内容，然后注册成为一个策略树，由运行控制中心，负责执行策略树上的分支。IF-ELSE爆炸，将条件判断与条件执行分开、switchcase -* 主要工作： - * 负责开发前场的相关策略，构建子策略（优势前场、保守前场、边路前场）、角色选择和策略切换控制（角色的稳定性，进入退出分开控制。）、目标计算模块（保持相对的阵型，减少阵型的抖动）、移动跑位模块、射门模块。使用PID控制方法对机器人控制，增强了前场的稳定性。通过面向对象的方法对代码进行重构。 -* 主要工作：使用JAVA为团队开发了数据测试平台，实现了对数据仿真、策略测试、可视化。开发测试平台主要使用java swing开发跨平台图形界面，提供了一系列GUI组件。主要包括数据导入模块、动态演示模块、数据显示模块。使用java io random_accessfile读取并解析file文件。使用java thread实现数据加载与数据展示的并行过程。通过事件监听与响应机制，实现对数据仿真动态演示过程的控制，包括仿真速度调节和仿真进度调节。使用javadoc生成标准的java文档供后续开发使用，方便开发维护。 -* 最终成果：暑假期间带领团队前往日照参加了2017中国机器人大赛，前往台湾 参加了FIRA机器人世界杯，取得多项冠军。 - -### 基于网络爬虫和数据分析的高校信息整合系统 - -* 项目概述：5个人，Python、MySQL。利用爬虫综合网络信息，搭建web服务器，对数据进行二次处理，使用机器学习算法提供面向用户提供文章推荐功能、标签云索引功能和分类浏览功能，面向信息发布者提供了热点倾向功能、数据分析功能。 - -* 主要工作：项目架构、服务器搭建，包括爬虫模块（数据解析模块xpath、URL获取与去重模块）、服务器模块（MySQL数据库设计、Json数据封装）、Android客户端（数据请求模块HTTP请求、数据展示）、数据处理模块。通过Scrapy完成网络信息爬虫，构建了Mysql数据库，使用Django后端框架和Bootstrap前端框架开发了项目网站，使用大数据的算法对信息分析处理，并将整个项目部署到腾讯云提供的CentOS服务器上。使用Github进行代码管理。 - -* 关键技术：scrapy框架介绍。使用request模块进行爬虫，通过调度去缓存下一条URL，控制网站访问的频率；使用xpath解析数据内容并将数据存储到mysql数据库中。 -* 关键技术：Django框架。使用Apache服务器，处理http请求。Django框架，MVC（model-view-control）的代码架构模式。从数据库中获取数据，封装成json格式，最后将响应的数据传递给android客户端。 -* 关键技术：* 标签计算算法：jieba分词统计词频，TF-IDF算法进行词频统计，去除无关词汇，字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 - * 词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。逆向文件频率 (inverse document frequency, IDF) - ![](image/2021-09-13-12-26-27.png) - * IDF的主要思想是：如果包含词条t的文档越少, IDF越大，则说明词条具有很好的类别区分能力。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。 - ![](image/2021-09-13-12-26-42.png) - * 标签云算法：某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。 - ![](image/2021-09-13-12-27-24.png) -* 关键技术：分类算法：学科竞赛、科研信息、行政信息、招生信息、招聘就业、校园活动、升学留学、生活娱乐这八类，使用朴素贝叶斯分类器进行分类。贝叶斯分类，一个事件出现在各个类别中的概率不同。可以通过贝叶斯公式得到，出现概率最大的类别作为其类别。 -``` -提取所有文档中的词条并进行去重 -获取文档的所有类别 -计算每个类别中的文档数目 -对每篇训练文档: - 对每个类别: - 如果词条出现在文档中-->增加该词条的计数值（for循环或者矩阵相加） - 增加所有词条的计数值（此类别下词条总数） -对每个类别: - 对每个词条: - 将该词条的数目除以总词条数目得到的条件概率（P(词条|类别)） -返回该文档属于每个类别的条件概率（P(类别|文档的所有词条)） -``` -* 关键技术：推荐算法：系统采用的ＫＮＮ算法目的在于匹配项目中Ｋ个相似度最高的项目，用户浏览的历史文章，生成用户关联的词向量。 -* 最终成果：两个国家级大创项目均获得优秀结题。 - - -### 无人机协同系统 - -* 项目概述：无人机通信和可视化 -* 主要工作：主要是在Android平台（DJ无人机的地面站android手机开发），使用Java多线程和Socket编程，实现无人机之间的通信连接。主要通过UDP网络通信、心跳测试保持连接、回调处理等方式实现线程通信。在加密通信过程中，使用C++开发加密仿真环境。使用nodejs+electron对通信过程进行可视化。使用网页技术HTML、CSS、JavaScript做前端，使用C++做为本地的后端。通过封装C++通信的代码，提供C++通信接口，供nodejs调用。（代码的封装，接口提供，） -* 主要成果：完成实验室项目验收。 - - -## 实习经历 -### 电子钱包JavaEE企业及开发项目 - -* 项目概述：在中科金财上市公司参与电子钱包项目的实习。 -* 主要负责使用Java从合作方获取并解析数据，使用MyBatis存储到MySQL数据库中，并使用Redis做一级数据缓存。使用Spring框架提供信息访问的服务。 -* 关键技术：Spring框架应用实践 - * 本项目后端的主要开发框架，是基于java的Spring框架。Spring框架主要依赖与两个重要的特性——控制反转和依赖注入。控制反转（IOC），即控制权的转移，将我们创建对象的方式反转了,以前对象的创建是由我们开发人员自己维护,包括依赖关系也是自己注入。使用了spring之后，对象的创建以及依赖关系可以由spring完成创建以及注入，反转控制就是反转了对象的创建方式，从我们自己创建反转给了程序创建。依赖注入（DI）spring这个容器中，替你管理着一系列的类，前提是你需要将这些类交给spring容器进行管理，然后在你需要的时候，不是自己去定义，而是直接向spring容器索取，当spring容器知道你的需求之后，就会去它所管理的组件中进行查找，然后直接给你所需要的组件。 - * 在实践过程中，使用静态工厂方法创建了一系列的java Bean对象，通过配置XML文件，将对象注入到具体执行的类当中。Spring框架本身还保证了事务的原子性、一致性、隔离性和持久性。为了使Spring boot应用能够快速加载配置，使用YAML文件快速配置Spring项目的依赖。YAML支持对象、数组、字面量三种数据结构。同时Spring boot通过大量的注解实现配置的绑定和容器的注入。 - * 在开发前端的时候，开发框架主要使用了基于nodejs的vuejs框架，用于获取并渲染数据到前端页面。使用bootstrap作为模板，构建基于H5的应用页面，能够动态自适应页面的大小，并将页面扁平化。 -* 关键技术：数据存储技术 - * 在开发过程中主要使用MySQL关系型数据库存储数据，使用Redis非关系型数据库做数据缓存，使用Spring-MyBatis框架，封装对数据库的增删查改操作。数据操作主要包括两部分，第一部分是从远程接口请求数据，存储到关系型数据库中。第二部分是从关系型数据库中访问数据，返回前端，渲染到页面上。对于第二部分需要Redis做一级缓存，为了加快数据访问。为了能够进行事务管理，MySQL的数据库引擎选择InnoDB。所有的表都保存在同一个数据文件中。 - * 使用Spring访问数据库的时候，选择了比较流行的MyBatis框架。MyBatis是一个半自动化的 ORM 框架，支持定制化 SQL、存储过程以及高级映射。支持将数据库查出的数据映射到POJO实体类上，而实体到数据库的映射则需要我们自己编写SQL语句实现 - * 为了提升用户的体验，加快前端的访问速度，解决MySQL数据库存储和访问的瓶颈。使用Redis数据库提供了以及数据缓存。使得系统能够快速相应用户的数据存储和访问操作。redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。 - -### 字节跳动财经业务部 - -* 项目概述：实现担保交易的系统。 -* 主要负责财经退款业务。完成支付营销预计算、分账后退款等业务需求。基于Kite框架设计实现多个微服务的接口和逻辑，进行项目管理、版本控制、联调测试、报警处理等工作。 - * 当时负责支付营销预计算和分账后退款两个业务，涉及担保退款guarantee_refund(单纯的路由和参数校验)、退款请求ecrefund(查询校验请求参数，构造ectrade的不同类型的退款请求参数，请求计费系统，得到支付营销的值)、财经tp_ectrade(各种支付、退款的主要业务逻辑)微服务。担保退款业务负责接收来自其他应用的退款请求，查询数据库中的订单，校验请求的准确性，同时通过幂等校验对重复的请求进行处理。 - * 退款请求业务，接收担保退款微服务的请求，对请求进一步校验，根据订单状态、支付状态、业务方的需求将退款业务划分为不同的退款方式（急速退款、普通退款、分账后退款、超售后退款等），然后执行不同的退款逻辑。 - * 微服务的技术选型：服务注册与发现机制（consul）、敏捷开发流程（devops）、远程调用方式（thrift）、服务监控平台（Grafana）、数据分析平台（Hive）、链路系统跟踪平台、服务网关（Gateway）等。实现一系列微服务开发、部署、运维任务。 -* 关键技术：支付与退款业务逻辑 - * 在担保交易系统中，总的业务流可以分为四个部分：支付、分账、退款、提现。 - * 支付：当用户付款后（自有支付、第三方支付），不能立即存到商家的账户中，需要暂存到商家的待结算户中，防止出现资金安全问题。 - * 分账：当用户点击确认收款后，资金从商家的待结算户，分账到商家账户和其他分账方的账户（达人带货分账、平台营销分账等），其中还涉及到平台的营销问题。 - * 退款：当用户发起退款是，会根据不同的情况，走完全不同的退款流程，主要包括普通退款、分账前退款、分账后退款、超售后退款和急速退款。 - * 提现：商户从现金户中提款到自己的银行账户。 - * 针对退款：每一种退款都实现了统一的接口，需要校验大量的请求参数和订单内容，保证请求和订单的一致性，需要调用电商接口，计算每一个分账方的分账金额，根据分账方的分分钟金额校验账单系统中的分账单，针对每一个分账单，生成分账的退款单，然后请求支付核心，将商家待结算户中的金额退给用户。如果已经部分分账，需要将所有分账的金额退到商家现金户，推进分账进程，然后从商家的现金户，将金额退还给支付账户，并将平台补贴金额退回。每次退款过程前，需要事先请求计算支付营销金额，如果保证金额正确才可以进行后续的退款，否则返回退款失败。 -* 关键技术：订单模型。订单子系统，实现后端订单的数据流图。 - * 业务方可能会产生多种类型的订单，例如在购物的时候，会生成支付单、商户单、商品单等。 - * 退款的时候根据退款创建的时间不同，可能产生各种类型的退款单，通过区分是否在售后内或者超售后，是否满足优质用户的急速退款条件，订单是否已经分账，产生不同类型的退款单。在财经部分，根据业务方的需求，建立财经部分的订单系统，该系统主要融合了业务方订单和支付方订单。财经部分订单包括商品单、支付单、分账单、补贴单、退款单等。退款中会生成退款单包括多种类型，如退款子单、急速退款单、退分账单、退补贴单、退税单等。由于支付场景负责，各种订单的准确性必须要有保证。 - -* 关键技术：资金安全 - * 财经部分最重要的是对金额和流水的保证。建立了从上到下的对账系统，通过流水信息、数据库信息、日志信息等，进行不间断的对账，保证了交易金额的准确性。杜绝发生严重的金融风险。同时增强开发人员的金融管控意识。防止出现资金安全问题。 - -* 基于kite的微服务技术 - * 将后端拆解为多个独立的微服务，并行建设发展。很好地保证了各个模块的独立性，提高了开发效率，同时又由于微服务的弹性部署方式，使得系统的鲁棒性增强，服务的效率增高。 - * 微服务一种软件开发技术，服务是细粒度的，协议是轻量级的。使得应用系统具备快速响应、灵活部署、敏捷交付、持续演进的特性成为可能。微服务是由以单一应用程序构成的小服务，自己拥有自己的行程与轻量化处理，服务依业务功能设计，以全自动的方式部署，同时服务会使用最小的规模的集中管理能力，服务可以用不同的编程语言与数据库等组件实现 。 - * 微服务架构与敏捷研发流程一脉相承。微服务是将一个完整的系统分割成若干微小的、具备独立性的功能单元，每个功能单元是可以具备一个实际意义的小功能集。各个功能单元之间尽量是解耦或松耦合的，可以实现独立开发而不依赖其他功能单元。而敏捷保证微服务架构能够更好地适应需求的变化，保持团队的高效沟通，敏捷利用小型工作增量、频繁迭代与原型设计等手段，可以使我们摆脱大规模单体软件开发的风险。微服务架构更多地从技术的角度提升开发和运维的效率，而敏捷方法论贯穿了软件工程的整个流程，它重视流程、沟通、协作。可以说，敏捷在管理流程上是对微服务架构落地的有益补充和保障。微服务的开发大致遵循DevOps的流程和原则，一个软件从零开始到最终交付，大概包括以下几个阶段：规划、编码、构建、测试、发布、部署和维护。DevOps是一组过程、方法与系统的统称，用于促进开发、技术运营和质量保障（QA）部门之间的沟通、协作与整合。通过自动化流程来使得软件整体过程更加快捷和可靠。用于实现敏捷开发的目标。 - * 微服务主要面临的问题，主要是故障的排查，通过多方考虑建立了微服务的故障排查系统。首先是微服务的监控系统（指标接口），实时监控流量的运转，尽量能够快速的发现存在的潜在问题，包括一些设定的报警规则，如网络流量异常、内存占用异常、数据库链接异常、响应延迟异常、qps导致某个节点不堪重负等。让各个组件提供报告自己当前状态的接口（metrics接口），这个接口输出的数据格式应该是一致的。然后部署一个指标采集器组件，定时从这些接口获取并保持组件状态，同时提供查询服务。最后还需要一个UI，从指标采集器查询各项指标，绘制监控界面或者根据阈值发出告警。我们最终使用RedisExporter和MySQLExporter，这两个组件分别提供了Redis缓存和MySQL数据库的指标接口。微服务则根据各个服务的业务逻辑实现自定义的指标接口。然后采用Prometheus作为指标采集器，Grafana配置监控界面和邮件告警。 - * 通过链路跟踪系统，定位问题出现的位置。使用Zipkin工具，实现链路的跟踪过程，实现每一个节点的日志收集。为了能够快速的实现日志分析，使用ELK日志分析组件。包括一个日志搜索引擎、日志收集存储器和UI组件。为了能够控制微服务的访问权限，进行服务治理，搭建了一套网关系统。在调用者和被调用者中间加一层网关，每次调用时进行权限校验。另外，网关也可以作为一个提供服务接口文档的平台。能够进行各个微服务的接口管理，通过页面访问和调试微服务。 - * 微服务的注册和发现系统。每当有新的微服务或者微服务的某个新节点出现的时候，完成服务信息发布、存活检测、客户端负载均衡等任务。各个应用服务在启动时自动将自己注册到服务发现服务上。并且应用服务启动后会实时（定期）从服务发现服务同步各个应用服务的地址列表到本地。服务发现服务也会定期检查应用服务的健康状态，去掉不健康的实例地址。服务发现系统还会进行服务之间的负载均衡，防止某一个服务流量过大，称为微服务链路上的流量瓶颈。 - -## 5 个人能力 - -1. C++后端开发、熟悉Java/Go/Python/Nodejs、了解Mysql数据库/Redis数据库相关的知识 -2. 主要关于项目开发中某一方面的知识经验总结 - * 网络编程（各种语言的实现方法。异步并发，并发通信方式。） - * web开发（自己所开发过的web网站。主要用到的框架和技术。） - * 并发编程（各种语言实现并发编程的手段和方式，例如协程、多线程、多进程等） - -## 6 个人性格 - -1. 生活上，乐观开朗，心里素质较强。喜欢积极的应对生活中的困难。待人友善，团结合作，有较强的领导能力、组织能力和团队精神。勤奋好学，思维敏捷。 -2. 工作上，具有良好的专业能力，基础知识扎实，自学能力强。参与了多个项目的开发过程，具有丰富的项目开发经验。对软件工程领域的知识有很高的热情，希望通过自己的努力，创作完美的作品。 - - - -### 补充项目：TensorFlowIO优化 - -* 项目概述：分析TensorFlow源代码，对源代码进行修改重新编译。使用mmap方法，优化TensorFlow数据加载过程中的IO操作。 -* 主要工作：阅读源代码分析TensorFlow架构，使用多线程以流的方式读取多个文件。mmap封装大文件读取过程。编译并测试TensorFlow最后的优化效果。 - -![](image/2021-04-06-23-26-50.png) -1. 首先阅读了TensorFlow的源代码以及相关的研究资料，对TensorFlow的代码架构进行分析。 -2. 第一层设备通信层，负责网络通信和设备管理。设备管理模块可以实现TensorFlow的异构性，提供了对不同平台不同设备的支持，统一封装成相同的接口，使得上层模块在调用过程中，不必考虑具体的底层实现。通信模块主要通过两种协议实现不同设备之间的通信过程，分别是gRPC协议和RDMA协议。 -3. 第二层内核实现层，实现了核心算子（Operation）与张量（Tensor）的操作。所有的算子都是以张量为操作对象，依赖底层实现张量的内存分配和计算。 -4. 第三层图计算层，实现了计算图（Graph），包括本地计算流图和分布式的计算流图的实现。主要实现了计算图的创建、编译、优化和执行的细节。计算图中的每个节点都是内核实现层中的算子，计算图中的每条边代表内核实现层中的张量。 -5. 第四层API接口层，TensorFlow提供了原始的C API的实现，方便其他语言和平台进行调用。通过C API进一步实现其他语言的API，方便不同语言开发者选择熟悉的语言构建计算图。 -6. 第五层应用层，不同的编程语言通过API接口层调用TensorFlow的内核，实现相关的模型和应用。 - -![](image/2021-04-06-23-28-22.png) - -1. 使用linux的mmap方法申请内存空间，建立内存映射。 -2. 使用platform模块，对底层方法进行封装，实现异常情况处理，并记录内存映射的地址及相关信息，提供上层接口 -3. 利用platform模块提供的内存映射接口，创建读取器，复写父类中的数据读取方法。创建一个读取数据的算子，并注册到内核当中，提供其他语言的接口。 -4. 编写前端，调用内核新方法，使用MmapReader模型进行数据读取。 -5. 重新编译 - -* 最终成果：毕业答辩顺利完成。 diff --git a/工作日志/2021年9月20日-地下钱庄.md b/工作日志/2021年9月20日-地下钱庄.md deleted file mode 100644 index 70e2dba3..00000000 --- a/工作日志/2021年9月20日-地下钱庄.md +++ /dev/null @@ -1,175 +0,0 @@ -> 关于讲内容的一些见解。 - -1. 首先要学会发散。讲一个东西应该有两种脉络。一种是原理主线，一种是故事主线。 -2. 对于原理主线来说，如果单独去讲通俗的道理会显得毫无乐趣。 - 1. 但如果穿插更多的场景去讲一些原理，通过举例子的方式，来说明一些内容。可能会显得比较好玩。 - 2. 原理主线中，应该学会抛出问题，我们应该怎么做呢？我们为什么要这么设计、这么做呢？而不是单纯地讲一种现象。这里用方括号，这里用圆括号。例如玄哥的物价设计中，为什么要设计这样的物价呢？为什么要讲物价设计呢？因为其游戏的一部分，与玩家互动的主要内容、游戏的平衡性可玩性，能够指导我们去设计一些艺术品和故事。为什么要设计这样的上限呢？数值差异、获得感。 -3. 对于故事主线来说，如果只是单纯的按照年份去讲发生的事件，似乎也毫无乐趣。 - 1. 我觉得关键还是发散。应该从以人物为核心，添加更多的心里活动。场景的描述。故事发生前的人物介绍，故事发生后的任务履历。置于从故事中得到什么，可以作为不是重点的一部分。放在最后。 - -# 地下钱庄 - -## 1 定义 -（扫内风暴内的视频） -我们经常在一些电影中看到，在偏远的疏于监管的农村或旧楼房中，每天谈下的“生意”上百万千万，上门的人络绎不绝，有头有脸的企业家、身居高位的官员、急需用钱的老百姓、甚至有亡命的赌徒和逃亡的罪犯。进进出出的人，都只是为了一个目的“钱”。这个机构就是地下钱庄，能够解决迫在眉睫的问题。他不属于金融家精心设计好的经济架构的一环却也有着自己的规律、他是万恶之源的中转站却也推动了一部分经济的发展、他的信誉源于江湖规矩，流入流出的都是真金白银。 - - -接下来我们了解一下地下钱庄。 - -地下钱庄（Underground banks）是一种非法金融机构，地下钱庄游离于金融监管体系之外，利用或部分利用金融机构的资金结算网络，非法从事资金存储、借贷等金融业务。 - - -其实就是地下银行，有些人手里有钱，想放开让钱生钱，但是没有银行资质，有些人需要钱，可是去银行贷款需要抵押，所以他们愿意支付更多的利息，这下供需双方都有了，来几个中介，业务也就可以开展了，如果用一句话概括，那就是没有牌照的私人银行。 - -这个内容源于我跟我爸的一些谈话，在我们家里有些人会把家里的闲钱，交给其他人，然后出去放贷，有的时候还会做贷款的担保人。很多乡镇企业都是通过这种方式融资的，在某种程度上来说，这种地下贷款业务，或者小范围的借贷业务，并非违法的，反而促进了很多中小型企业的融资过程。 - - -## 2 法律案例 - -地下钱庄作为一种非法的融资机构，通常与大量的灰色产业和违反犯罪活动关联在一起。包括贪腐、走私、贩毒、赌博、骗税、诈骗、洗钱等多类犯罪。通过中国裁判文书网中记载的案件可以看出一下规律 - - -### 统计信息 - -![](image/2021-09-24-14-15-59.png) - -* 从地下钱庄词汇第一次出现在法律文书当中开始，相关的案件数量不断增加，随着经济发展和金融的蓬勃兴起，以及金融规范越来越严格，地下钱庄相关的案件也越来越多。既能够显示经济发展的状况，也能说明中国对金融监管的日益加强。 - - - -![](image/2021-09-24-14-15-38.png) - -* 我们可以看到，“地下钱庄”关键词相关的案件，主要集中在广东省和江浙沪一带。小商品经济、小工厂、创业公司有很大关系。 - - -### 具体案例（现实和影视作品中的钱庄） -1. 2016年5月东莞地下钱庄案。广东警方通报东莞市公安机关破获系列地下钱庄案。抓获犯罪嫌疑人11名，现场扣押现金人民币1497.75万元、港币50.4万元；冻结涉案资金折合人民币4278万元，查扣账本13本、存折120本、银行卡237张、支票175份,该案涉案金额超过200亿元人民币 -2. 2019年8月地下钱庄案件中。外汇管理部门与公安机关在湖北联合破获地下钱庄案件，涉案金额达143亿元，涉案人员遍布全国25个省，是一起境内外勾结、地下钱庄及上游犯罪相互交织的复合型案件。一家劳务公司，办公地点平时很少有人出入，账户上却有着大量的流水数额：日均交易额达到了两百多万，总账户里面的资金总额达到了四个多亿。 -3. 2021年8月跨境转款案件中。地下钱庄持有并控制着1000多张银行卡，专门提供跨境转款“服务”；“客户”在境内将人民币转入“钱庄”，“钱庄”在境外取现交给“客户”，从而赚取“取现服务费”。 - - -## 3 历史发展（历史上的钱庄） - -钱庄是中国封建社会后期出现的一种金融组织。最初业务主要是货币兑换，后渐增加存款、放款。到清乾隆年间，钱庄已有相当规模。钱庄大多分布于长江流域及江南各大城市，中心在上海。 -19世纪20年代，在沿海地区，钱庄、外国银行、本国银行一度成三足鼎立之势。 -1952年钱庄彻底并入公私合营银行。随着改革开放，部分钱庄转移到地下，从事非法的汇兑、贷款业务。 - -古代的地主们都是地方上的钱庄，他们一般在每年春天会放贷给农民，农民们去买种子农具，等到秋收的时候再还回来，当时的利息动不动就60%以上，跟现在高利贷也没什么差别。如果碰上了荒年还不上了，那就得用土地来抵债了。古代土地兼并一部分都是通过这种信贷方式来实现的。 - -中国第一家票号——日升昌。从清道光初年成立票号到歇业，历经一百多年，分号遍布全国35个大中城市，业务远至欧美、东南亚等国，以“汇通天下”而著名，是中国现代银行的开山鼻祖。 - - -## 4 钱庄业务（钱庄的手段） - -地下钱庄本身的存在两种的主要业务。借贷和汇兑。还涉及到一些辅助的业务，像是集资、洗钱等。不仅其本身的存在是一种违法行为，而且其往往与其他的违法犯罪行为，有密切的联系。 - - -### 借贷 - -发放高利贷的地下钱庄一般涉黑组织，专门以高利贷赚取暴利。他们的追债手段恶劣，催债严重时甚至会实施绑架伤人。高利贷就是民间借贷的一种方式，指利息超过了国家规定的标准。这样的借贷方式不违法，但是按照法律规定，超过法定利息部分不奏效，法院不会支持这部分利息的支付。 - -既然地下钱庄是非法的，为什么还有人冒险尝试呢？选择银行不好吗？ - -民营小企业生产，资金流动不多，接到订单之后，短时间内需要大量资金，且要快速到位，发生的频率比较高。 - -这样特征的资金需求风险很大，正规的银行都不愿意借钱给这类民营小企业。这些企业就会找地下钱庄。地下钱庄不仅满足他们的需求，而且速度快、手续便捷、审核更简单。 - - -### 换汇 - -官方汇款，涉及手续费、来源审查等步骤。地下钱庄，无需核实来源，手续费更少、速度更快。但是风险很高、资金易被冻结、与地下钱庄交易的账户容易因洗钱被封。 - - - -“地下钱庄”最常用的汇兑方式是“两头资金池”，钱并没有真的在跨境流动，客户只是把钱交给地下钱庄境内资金池，并在“钱庄”本来就有的境外资金池里得到相应外汇。其实钱的流动是双向的，境外的热钱也会因为国内经济发展形势较好、人民币走强而通过地下钱庄流入国内。 - -“蚂蚁搬家”。通过多个账户，多次汇兑，一点点将巨额资金转移到国外。 - -“水客”，通过运输工具将钱分批带过境。一些南方口岸地区的“地下钱庄”通过比较原始的办法将钱带过边境线。通过“水客”将钱分批带过境 - -“虚假贸易”，靠假的单证和贸易合同来汇钱。还有一些办法是靠假的单证和贸易合同来汇钱。 - -“虚拟货币”，通过虚拟货币交易进行跨境汇兑。还有一些最新的办法，如通过虚拟货币交易进行跨境汇兑。 - -其实他们眼里的自己还有一些正面的形象。 -* 从事非法买卖外汇业务的人的眼里，自己是“促进国内进出口行业发展，帮助企业参与国际竞争，弥补国家外汇管理不足，为人民币全球化出一份力的青年才俊”。 - -* 在做借贷业务的人的眼里，自己是“加强资金流动，盘活闲散资金，帮助企业发展，快速解决企业需要的金融专业人士”。 - - - -### 洗钱 - -概念 -* 洗钱就是通过隐瞒、掩饰非法资金的来源和性质，通过某种手法把它变成看似合法资金的行为和过程。主要包括提供资金账户、协助转换财产形式、协助转移资金或汇往境外等。 - 1. 把合法资金洗成黑钱用于非法用途，即把白钱洗黑，如把银行贷款通过洗钱而用于走私； - 2. 把一种合法的资金洗成另一种表面也合法的资金，以达到占用的目的，即把白钱洗白，如把国有资产通过洗钱转移到个人账户； - 3. 把合法收入通过洗钱逃避监管，如外资企业把合法收入通过洗钱转移到境外。 - -过程 - -存放：将犯罪收益放进金融体系内。是最容易被防线的阶段。将犯罪所得存入银行，或转换为银行票据、国债、信用证以及股票、保险单证或其他形式的资产，有的也将犯罪所得投入地下钱庄等非正规汇款体系转移到境外。 -离析：将犯罪收益转换成另一种形式，并建立多层复杂的金融交易来隐藏资金的线索、使得犯罪所得与合法财产难以分辨。 -整合：经过大量不同交易的掩饰后，将清洗后的合法财产融入经济体系。将分散的犯罪所得与合法财产融为一体，为犯罪所得提供表面的合法掩饰。 - - - -方法 -* 不法分子常利用银行、证券、保险等金融机构 -* 利用地下钱庄等非法金融主体， -* 利用进出口贸易 -* 利用互联网 -* 利用拍卖行、珠宝商等特定非金融机构。 - - -* 买卖珠宝、拍卖豪宅 -* 去境外的赌场走一遭。 -* 交易 -* 几百个本地和海外银行户口。互相转账 - - -实例 -* 你把非法得来的钱交给地下钱庄，再去网上挂个不值钱的产品，比如游戏的装备、古董花瓶，钱庄再操作客户过来买，这样钱就成了你的合法收入。把税交上，从此就可以安心花了。也可以投资电影之类，然后购买大半夜的票房，成为电影公司的合法收入，然后从电影公司收入中分红。 - -* 有时候非法的资金还要转出去或转进来，那么就涉及非法买卖外汇的地下钱庄。他们很可能在境内境外都有一个资金池，最主要的交易方式叫“对敲”。当地下钱庄在境内收取“客户”人民币，按照汇率计算好对应外币，然后通知境外合伙人将扣除佣金后的对应外币，转到“客户”指定的境外账户。 -* 也有的地下钱庄，利用其控制的大量空壳公司账户和个人账户，采用网银转账等方式协助他人将资金从对公账户转到对私账户、套取现金等，从而实现偷逃税款，非法套现等不法目的。 - -* 赌博网站总部大多设在有“逃税天堂”之称的加勒比地区。许多网站根本没有受到政府部门的监管，也不遵守国际赌场的游戏规则，它们甚至不会查问客户的身份资料。许多犯罪集团把钱款打进在这些赌博网站开设的账户后，一般先象征性地赌上一两次，然后就马上通知网站说“我不想再玩了”，要求网站把自己户头里的钱以网站的名义开出一张支票退回来。于是，一笔笔数额巨大的“黑钱”便轻而易举地“洗白”了！初步估算，每年通过数百个赌博网站清洗的“黑钱”数额大约在6000亿至15000亿美元之间。 - - - -## 5 法律说明（钱庄可能违反的法律内容） - - -地下钱庄是民间对从事地下非法金融业务的一类组织的俗称，是指未经国家主管部门批准，擅自从事跨境汇款、资金支付结算业务等活动，根据1998年6月30日国务院颁布施行的《非法金融机构和非法金融业务活动取缔办法》第3条规定：“非法金融机构，是指未经中国人民银行批准，擅自设立从事或者从事吸收存款、发放贷款、融资担保等金融业务活动的机构。” - -首先,地下钱庄违法犯罪活动严重扰乱国家金融管理秩序,危害国家经济金融安全。第二,地下钱庄助长和滋生了经济犯罪、毒品犯罪、贩毒、电信诈骗、贪腐等犯罪活动。 - -《刑法》 -* 第二百二十五条 【非法经营罪】未经国家有关主管部门批准非法经营证券、期货、保险业务的，或者非法从事资金支付结算业务的;其他严重扰乱市场秩序的非法经营行为。 -* 第一百七十六条 【非法吸收公众存款罪】 -* 第一百九十条 【逃汇罪】公司、企业或者其他单位，违反国家规定，擅自将外汇存放境外，或者将境内的外汇非法转移到境外，数额较大的，对单位判处逃汇数额百分之五以上百分之三十以下罚金，并对其直接负责的主管人员和其他直接责任人员处五年以下有期徒刑或者拘役;数额巨大或者有其他严重情节的，对单位判处逃汇数额百分之五以上百分之三十以下罚金，并对其直接负责的主管人员和其他直接责任人员处五年以上有期徒刑。 -* 第一百九十一条 【洗钱罪】掩饰、隐瞒毒品犯罪、黑社会性质的组织犯罪、恐怖活动犯罪、走私犯罪、贪污贿赂犯罪、破坏金融管理秩序犯罪、金融诈骗犯罪的所得及其产生的收益的来源和性质。 - * (一)提供资金账户的; - * (二)协助将财产转换为现金、金融票据、有价证券的; - * (三)通过转账或者其他结算方式协助资金转移的; - * (四)协助将资金汇往境外的; - * (五)以其他方法掩饰、隐瞒犯罪所得及其收益的来源和性质的。 - -《中国银监会办公厅关于防范银行业金融机构员工参与地下钱庄非法活动的通知》——银监会 - -《非法金融机构和非法金融业务活动取缔办法》——人民银行 -* 人民银行各分行、营业管理部要组织力量摸清当地地下钱庄和高利借贷活动的情况；对非法设立金融机构、非法吸收或者变相吸收公众存款以及非法集资活动，一经发现，应立即调查、核实，经初步认定后，及时提请公安机关依法立案侦查；对经调查认定的各类形式的地下钱庄和高利借贷活动，要坚决取缔，予以公告，没收其非法所得，并依法处以罚款；构成犯罪的，由司法机关依法追究刑事责任。 -* 发现金融机构为非法金融机构和非法金融业务开立账户、办理结算和提供贷款的，应当责令该金融机构立即停止有关业务活动，并依法给予处罚。 - -《非法金融机构和非法金融业务活动取缔办法》——中华人民共和国国务院令。认定方法和取缔方法 -* （一）非法吸收公众存款或者变相吸收公众存款； -* （二）未经依法批准，以任何名义向社会不特定对象进行的非法集资； -* （三）非法发放贷款、办理结算、票据贴现、资金拆借、信托投资、金融租赁、融资担保、外汇买卖； -* （四）中国人民银行认定的其他非法金融业务活动。 - -## 6 评价 - -有的人把它视为洗钱的温床，扰乱金融秩序的罪魁祸首；有的人则把它视为激活民间经济、制造富翁的摇篮。 - -最为重要的是，地下钱庄并没有因为其非法性质而裹足不前，也没有因为政府的不断的打击而销声匿迹，其规模反而越来越大。从经济发达的沿海地区到边远的新疆，地下钱庄遍布各地。而且，经营组织也随业务不同而各异，既有在街头游逛的“倒汇黄牛”，也有部分地区公开地以公司形式经营的职业机构。在中国的温州，地下钱庄采用的就是现代企业管理制度——股份制。 \ No newline at end of file diff --git a/工作日志/2021年9月23日-今日计划.md b/工作日志/2021年9月23日-今日计划.md deleted file mode 100644 index 7718065b..00000000 --- a/工作日志/2021年9月23日-今日计划.md +++ /dev/null @@ -1,6 +0,0 @@ -## 新时代好少年 - -1. 切题：扣好人生的第一粒扣子，学习共产党历史，重走长征路，了解社会主义和决心价值观和党的伟大精神。（爱国爱党、尊老爱幼） -2. 事迹：参观科技馆，动手创作，了解科技发明的原理和科学文化知识（创新创作） -3. 事迹：保护环境。（参加某某环保活动，了解气候变化全球变暖、生物多样性、污染与防治等问题，从身边做起） -4. 事迹：弘扬文化传统（参加一些传统文化活动，例如某些节日习俗，参观旅游，端午节、风筝节，当地的民风民俗） \ No newline at end of file diff --git a/工作日志/2021年9月23日-脱口秀组合.md b/工作日志/2021年9月23日-脱口秀组合.md deleted file mode 100644 index 8d6c7c5a..00000000 --- a/工作日志/2021年9月23日-脱口秀组合.md +++ /dev/null @@ -1,31 +0,0 @@ -1. 就像四十多年的老夫老妻，摩擦不出任何火花。 -2. 同样是垃圾，凭什么你扔我。 -3. 1+1小于1的奇迹 -4. 新人来时汹汹，老人抱团划水。 -5. 赞美请教表态法。你这个事可真这个，这是怎么做到的呢，要是我我可不行。 -6. 大家忙着拯救世界，然后老板过来玛卡巴卡。 -7. 给你钱供你上学就是为了搞这个的？ -8. 如何长久的对一个人保持新鲜感。 -9. 最胖的人跳舞，因为大家一起丢过人。 -10. 一个一旦掌握权力，就喜欢看别人表演节目。 -11. 同事的含量超过百分之六十 -12. 亚洲舞王赵四抽出、 -13. 新王登基、王储、大阿哥。 -14. 一个人看病没人陪，一个人看病只是为了陪另外一个人看病。 -15. 半夜跑到被窝里薅我头发有什么区别。 -16. ugly but useful -17. 虚假的高尚最好玩。把欢乐带给人间。 -18. 总有朕想害刁民。 -19. 总像一个卧底。老会计死了，就没有人直到我的身份了 -20. 中间秃，左边覆盖右边的19分。在同一个人的头上看到了短发、光头和披肩发。 -21. 在厕所做没事广告。 -22. 拍一拍魔法球，变成猪。拍一拍自己的良心，诶，咋没有呢 -23. 男生也会梦到自己出轨。hhhhhhhhhhhhhhhhhhhhhhhhh -24. 头大特写。 -25. 追星吃醋。我跟她也就是玩一玩，放心，我很快就会喜欢上别人。 -26. 男生宿舍，走不走？他就跟你走了。 -27. 算你厉害。来都来了。为什么不 -28. 你真的有女朋友了？有这么纯粹的爱情嘛？你的爱情刚开始，怎么就有点感人了呢？ - - - diff --git a/工作日志/2021年9月29日-今日计划.md b/工作日志/2021年9月29日-今日计划.md deleted file mode 100644 index f1ec7058..00000000 --- a/工作日志/2021年9月29日-今日计划.md +++ /dev/null @@ -1,18 +0,0 @@ -## 计划 - -* [x] 完成简历的投递。国企和外企，我都不想再弄了，就这样了吧。 -* [ ] 完成 - - -## 收获 - -* 相关计划整理 - * 拼多多刚开始正式批次 - * 华为二面通过了，但是心里测名有被挂掉的风险。 - * 小红书和小米都在面试当中 - * 快手一面之后凉了（没有了消息） - * 百度两面之后凉了（没有了消息，网站也打不开了） - * 农行不出意外，数据中心的应该需要一次体检就够了。 - * 其他的国企（各种银行、人寿、移动电信等）刚刚投递完成 - * 外企不打算在弄了。微软和亚马逊。还是算了吧。自己可能本身就不太适合。 - diff --git a/工作日志/2021年9月4日-括号里面.md b/工作日志/2021年9月4日-括号里面.md deleted file mode 100644 index f3f6847d..00000000 --- a/工作日志/2021年9月4日-括号里面.md +++ /dev/null @@ -1,34 +0,0 @@ -# 括号里面 - - - -## 括号概念 - - -## 括号历史 - - - - - -## 括号作用 - -### 文学表达上 - - -### 常用的含义 - - - -### 数学运算中 - - - -### 计算机中 - - - - -## 括号故事与文字游戏 - - diff --git a/工作日志/2021年9月6日-今日计划.md b/工作日志/2021年9月6日-今日计划.md deleted file mode 100644 index ae3a0c93..00000000 --- a/工作日志/2021年9月6日-今日计划.md +++ /dev/null @@ -1,24 +0,0 @@ -## 任务 -* [x] 并发机制 -* [x] 并发控制 -* [x] 并发通信 - -* [x] C++并发机制 - * [x] asio、libuv、muduo异步IO - * [x] Beast web开发 -* [x] C++并发控制 - - -* [x] java并发机制 -* [x] java并发控制 - -* [x] Python并发机制 -* [x] Python并发控制 -* [x] Linux并发机制总结 -* [x] Linux并发控制总结 -* [x] Windows并发机制总结 -* [x] Windows并发控制总结 -* [x] 网络编程机制、设备IO机制总结 -* [x] java网络编程 -* [x] C++网络编程 -* [x] Python网络编程 \ No newline at end of file diff --git a/工作日志/2021年9月8日-今日计划.md b/工作日志/2021年9月8日-今日计划.md deleted file mode 100644 index de1d215c..00000000 --- a/工作日志/2021年9月8日-今日计划.md +++ /dev/null @@ -1,20 +0,0 @@ -## 任务 - - -上午 -* [x] 看完操作系统 -* [x] 看完计算机网络 -* [ ] 再复习一遍数据库 - -下午 -* [ ] 复习数据结构 - -晚上 - -* [ ] 复习算法 -* [ ] 完成建立投递 - -明天开始之后的任务 - -* [ ] 刷题总结 -* [ ] 看面经 \ No newline at end of file diff --git a/工作日志/2021年9月9日-今日计划.md b/工作日志/2021年9月9日-今日计划.md deleted file mode 100644 index 8e9a0adc..00000000 --- a/工作日志/2021年9月9日-今日计划.md +++ /dev/null @@ -1,16 +0,0 @@ - - - - -## 收获 - -太累了。又到了间歇性伤感的时候吗？开心于我无益，指挥降低我执行计划的速度。一直特别羡慕胡舒展的那种精神状态，那种云淡风轻的生活状态，也只能羡慕一下罢了，你做不到。 - -你确实是那种懦夫小人，喜形于色，爱而不得就会辗转难眠，恨就会面目扭曲咬牙切齿，你总是充满怨恨，对自己充满敌意，不断妥协，极具阿Q精神。你根本没办法控制自己的情感。那天与张玄讨论我的行为，得到的时候只记得差，分开的时候只记得好。努力的时候抱怨没有生活，放纵的时候担心没有未来。又想找个人依赖，又不想面对那种失落惆怅，自以为非常要好却发现只不过是普普通通，自以为完美契合却发现每一个细节都经不起推敲，细思极恐。最后我们异口同声，觉得这玩意，可以称之为“贱”。 - -昨天看到一个名词，回避型依恋人格。你以为周围的人都那样，其实最如此的是自己。你的心里保护机制太强了，除了自己，你没办法信任任何人，然而，你多么想多么想多么想有那么一个可以信任的人呢？孤独，孤独是内心的拉扯，不是没有朋友，而是内心想孤立自己。 - -“如果你想要和别人制造羁绊，就要承受流泪的风险”不制造羁绊就不会流泪。所以你选择逃避。 - -为什么过去的三个月，感觉那么舒服那么轻松，为什么从这周开始，就莫名其妙的又开始思考这些无用的东西？问题出在哪里？又开始孤独了，又想找个人依靠了？又想有个人可以分享生活了？没有人愿意和你成为那样的朋友，只有因为签订了契约迫不得已的人。最后还是会败给自己的冲动，呵，不过是再安慰自己一次，你很擅长这个。 - diff --git a/工作日志/2022年1月14日-今日计划.md b/工作日志/2022年1月14日-今日计划.md deleted file mode 100644 index 3bf10c3b..00000000 --- a/工作日志/2022年1月14日-今日计划.md +++ /dev/null @@ -1,18 +0,0 @@ -## 任务 - -* [ ] 数据同步已经开启 - - - -## 收获 - -* 周三晚上开始到周五晚上整整两天时间，解决了台式机的性能问题和数据传输问题。 -* 因为台式机的性能导致特征提取过程十分缓慢，甚至单线程解析的时候，都会直接导致cpu爆炸，所以寻求性能更好的主机用来提取最基础的特征，所以选择了高性能计算中心的台式机。花了一晚上时间学习了高性能计算中心的使用教程。 -* 为了将本地的数据集同步到云端，想了各种各样的方法。 - * 由于实验室ip封禁问题，导致没办法使用实验的的ip地址登录高性能计算中心，所以研究了笔记本双网卡的建设，通过route add/route print/route delete 等命令，设置了双网卡路由，使得10.网段的路由经过无线网卡访问外网，能够在笔记本上访问高性能计算中心。 - * 为了加快数据传输，使用了新的学校内网网口，买了网线，在李师姐的电脑上进行数据传输。学习了scp命令，使用scp实现两个主机文件夹的远程对拷，发现进度十分缓慢，只有几兆，可能要拷贝好几天。学习了xftp拖拽式上传，速度是挺快，传完了drebin数据集的几个安装包，但是因为androzoo文件量太多，导致软件经常崩溃，没办法通过xftp实现远程同步传输。而且xftp本身提供很强的远程同步功能，但是因为缺少压缩，文件数量过多，软件不稳定等原因，传输一直失败。但是总算通过解压drebin安装包的方式完成了drebin数据集的远程同步。 - * 思考了一个问题，既然传输速度只有10M左右，还不如直接自己在本地开30个线程直接下载的速度快，所以花了一晚上加一早上，重新写了文件androzoo_downloader模块，包括直接开始30个进程进行下载，并且能够递归访问目录，跳过重复的文件，避免重复下载等功能。并将下载脚本规范为自己常用的Python脚本，企图在高性能计算中心的服务器上直接下载文件，但是最后发现，高性能计算中心的网卡提供了高额的对内传输速度，但是对外网的传输速度惨不忍睹，可能也只有三四兆左右，下载一晚上，就下载了一小部分。 - * 在重写androzoo_downloader模块的时候，考虑使用高性能计算中心的cpu节点进行计算任务，也不是cpu密集型，而且用到了30个线程，第一次完成了sbatch cpu任务的提交。发现计算节点没有网卡，不具有下载连接的功能，导致下载失败。学习了sbatch的配置和命令执行，以及查看配置的命令smcat等，可以显示运行状态，还可以将日志输送到指定的位置。 - * 至此有点心灰意冷。将硬盘从师姐那取回来，欲接受无法快速传输完成并完成文件特征提取的任务，开始考虑两边同时工作，让台式机慢慢传输文件，然后在台式机上进行本地的开发、代码阅读、论文阅读等任务。但是台式机又不能传输（公网ip被禁），笔记本能通过无线网络传输，但是没办法进行开发（windows环境没配置好），但硬盘数据只有一份，彻底没办法。 - * 最后突然想起来通过校园网认证界面能够看到登录ip地址，然后下午学弟说解封ip地址非常简单，然后睡觉的功夫就解封的ip地址。就可以将硬盘连接到台式机上，用台式机传输数据并且用台式机完成开发工作。但是仍然缺少一个文件传输的工具，像xftp的远程同步功能，能够跳过已经传输的文件，实现断点续传。至此发现了rsync远程同步工具，能够快速压缩传输，并且，远程同步过程中，能够跳过已经传输的文件，传输速度非常可观。通过开始10个窗口命令行，完成了远程的同步传输。如果出了问题还可以重新运行命令，继续之前的传输功能，发现非常好用！！！！！！！linux下好用的工具和命令果然非常多。 - * 接下来要做的就是在数据传输过程中，读论文，看代码。补充后续的特征分析方法、特征嵌入方法、神经网络的基础知识，在传输完成，运行特征提取任务的同时，完后学习任务。然后接着进行后续的步骤！！！！！！！然后下周开始写图特征提取和分析的相关脚本。 \ No newline at end of file diff --git a/工作日志/2022年1月18日-今日计划.md b/工作日志/2022年1月18日-今日计划.md deleted file mode 100644 index 3c80fe77..00000000 --- a/工作日志/2022年1月18日-今日计划.md +++ /dev/null @@ -1,17 +0,0 @@ -## 任务、工作栈 - -### 关于特征工程 -- [x] 学习numpy的数据处理 -- [x] 学习sklearn的数据分析方法 -- [ ] 对权限特征进行分析，找到80%重要权限。 -- [ ] 对intentfilter特征进行初步过滤android.intentfilter -- [ ] 对intentfilter特征进行数据分析 -- [ ] 找到80的intentfilter特征 -- [ ] api已经不需要过滤了。直接分析，找到重要的30%的特征 -- [ ] hardware需要根据android.hardware进行过滤 -- [ ] 对hardware进行数据统计分析 -- [ ] url特征暂时全都舍弃掉，我觉得url网址主要作为一种外部特征，应该在恶意软件家族分类的时候非常有用。 - -### 后续神经网络 - -再想想把，争取在这一周都完成。 \ No newline at end of file diff --git a/工作日志/2022年1月26日-今日计划.md b/工作日志/2022年1月26日-今日计划.md deleted file mode 100644 index 9918804d..00000000 --- a/工作日志/2022年1月26日-今日计划.md +++ /dev/null @@ -1,20 +0,0 @@ -## 任务 - -* [ ] 运行之前的分析任务，看看能不能得到正确的结果。 -* [ ] 寻找专业的API筛选的知识。生成相关的过滤文件。 -* [ ] 寻找数据分析方法的API知识，生成相关的筛选方法。 - * [ ] 对权限的处理 - * [ ] 对api的处理 - * [ ] 对intentfilter的处理 - * [ ] 对硬件的处理 - * [ ] url全部过滤掉 - - - -## 收获 - -> 19-26号，正好7天，就当做在家休息了七天了吧，今天是另一个周三，应该开始疯狂的工作了。包括工作和玩耍，劳逸结合一下。从现在开始，每天的任务就是学习、运动和玩耍。没有那么多时间发呆了，没有那么多时间来做没有意义的事情，扣手机是真的无聊。（毕设进度又比之前落下了一些，一月份应该做完所有的实验，二月份完成系统，三月份完成论文的。现在的工作又滞后了很多）另外对于蒋师兄的事情，要帮更多的忙，不能每天都这么咸鱼划水了。 -> 我觉得我的人生状态发生了很大转变。没办法长期专注于同一件事情，经常因为不经意的理由然后放纵，导致一周都没有什么进展。这绝对不行。从现在开始，不能进入这种状态。我爱学习，疯狂地爱着学习，想要把所有的事情都搞好。关于心态的调整，到此结束把，剩下的时间，是关于任务的思考。 -> 接下来回忆一下，之前的工作节点。已经完成了数据集准备， - - diff --git a/工作日志/2022年1月5日-一月份计划.md b/工作日志/2022年1月5日-一月份计划.md deleted file mode 100644 index db1447ea..00000000 --- a/工作日志/2022年1月5日-一月份计划.md +++ /dev/null @@ -1,43 +0,0 @@ -# 一月份计划 - - -> 九月份找工作，十月份纠结选工作，十一月份沉浸在爱情当中，十二月份在爱情和学习中挣扎，终于在十二月末找打了学习和爱情的平衡方法。不再纠结于爱情是不是足够稳定，也不再纠结学习是不是足够认真，应该将爱情和学习彻底分开。在学习的时候好好学习，不要满脑子想着她，在谈恋爱的时候就好好工作，也别为学习焦虑担心。每天分配吃饭的时间休息时间腻在一块就好了。 -> 另外毕业的事情确实该提上日程了。当初十月份选择冲一冲的话，估计两个月能完成毕设。现在到三月份估计也就只剩两个月了。所以时间还是非常紧迫的。接下来所有的工作必须按照计划执行了，不能再拖了。 -> 为什么我感觉，我刚开始做毕设呢，之前的任务量几乎为零，请问您在干什么呢？三个月做完毕设，写完毕设论文？可能吗。尽量吧。太难了。 - - -## 一月份 - -必须完成恶意软件分类的所有实验 - -* [ ] 第一周：阅读图神经网络的相关论文，学习图表示学习的内容。 -* [ ] 第二周：阅读相关的代码，提取权限特征、API特征和图特征，并完成处理。 -* [ ] 第三周：基于权限、API、函数调用图逐步神经网络，完成恶意软件的分类工作。 -* [ ] 第四周：调整参数，使得模型能够达到很好的分类结果和准确率。 -* [ ] 第五周：设计实验， - * [ ] 样本设置：Drebin景点数据和androzoo最新数据集。 - * [ ] 算法设置：深度神经网络和添加图特征的图卷积神经网络进行对比。考虑修改参数对神经网络的影响。 - * [ ] 目标设置：恶意软件的二分类、多分类和家族分类任务。 - - -## 二月份 - -必须完成联邦学习的所有实现。将联邦学习最优的模型进行结合并尝试。 - -* [ ] 第一周：将图卷积神经网络应用到联邦学习框架中。 -* [ ] 第二周：设计实验， - * [ ] 两个数据集、五种设置。总共有十种可以对比的结果 - * [ ] 七个联邦学习的算法中，挑选三到五个进行对比，认可自己的算法。 - * [ ] 调整参数，找到参数对联邦学习的效率的影响。 - -* [ ] 第三周：了解相关的技术，设计一个联邦学习的原型系统。包括基础的学习和检测模块，展示和操作的界面。（因为时间不够了，做一个可以直接部署的系统应该是不可能了，只能实现一个联邦学习的原型系统。） -* [ ] 第四周：实现联邦学习的系统（不带界面，主要包括后端逻辑核心） - -## 三月份 -* [ ] 第一周：实现联邦学习的展示的界面。 -* [ ] 第二周：优化整个联邦学习系统的运行。 -* [ ] 第三周：重读所有论文，开始撰写论文 -* [ ] 第四周：论文撰写完毕，提交论文初稿。 - -## 四月份 -* [ ] 修改自己的所有系统和资料准备答辩。 \ No newline at end of file diff --git a/工作日志/2022年1月6日-会议记录.md b/工作日志/2022年1月6日-会议记录.md deleted file mode 100644 index 1c656ab0..00000000 --- a/工作日志/2022年1月6日-会议记录.md +++ /dev/null @@ -1,80 +0,0 @@ -## 李春燕 - - -### 汇报 - -1. 区块链、孤立的价值体系。 -2. 区块链场景间融合的需求。互通、互认、互联、互信、互访难 -3. 区块链互操作。 - 1. 上层应用和区块链的互操作 - 2. 区块链之间的互操作 - 3. 上层和下层的互操作 -4. 价值：跨链交易、共享 -5. 区块链互操作的研究方向 - 1. 跨链事务的交易模型 - 2. 跨链的验证的方法 -6. 与第三方相关的跨链研究 - 1. 第三方给出的跨链的验证方法和数据形式。并给出了安全验证的实验。 - 2. 区块链交互的抽象。区块链桥和区块链拓扑 -7. 区块链互操作的解决方案 - 1. 侧链和哈希锁定。以太坊和比特币之间的资产的转移。 - 2. 公证人和中继 - -8. 跨链事物的传播算法 - 1. 跨链事务验证。 - 2. 通信协议 -9. 跨链事务的验证。 - 1. 预言机验证 - 2. 中继节点 - -### 问答 - -* 殷康龙：研究是哪个层面的互操作。跨链的事务包括哪些，针对这些事务，是不是可以定义一种互操作的标准语言。就像TensorFlow和pytorch作为计算引擎，都可以使用Keras作为前端，进行训练。 - -* 蒋师兄：优缺点要指出，使用场景描述一下。应用场景的特点。你要用区块链做什么 -* 夏老师：中国移动通信院的标准，到底做到什么程度了。有哪些相关的研究和成果。做什么和为什么做。从具体的场景出发，说出做的价值。场景是业务对象组成的集合。区块链的互操作到底是为了什么目标，要有具体的例子。在什么层次上实现互操作。 -* 夏老师：像不可抵赖协议一样，达到一致公平。公平性和平等性。 - - - - - -## 殷康龙 - -### 汇报 - -### 问答 -1. 应该具体说明函数调用图与恶意行为之间的关系 -2. 对什么比较有效。那种类型的恶意软件。需要对检测的结果进行更详细的分析和解释，给出检测结果的依据说明。 - -3. 加快速度啊，太慢了。三月份之前能搞出来吗？？？？ - - - - -## 蒋昌南 - -### 汇报 - -* 恶意软件的非独立同分布。每个特征在每一类软件中是不一样的，导致每个分布式客户端的数据是非独立同分布的。 -* 提出了底层冻结的方案，底层函数是共用的。 -* OOD问题，分离式特征，对两个类别分类。 -* 只需要用到产生分类扰动的部分，进行激活。只需要训练少量的神经元，降低模型的复杂度，只需要训练几个神经元。然后进行横向的分隔。最小化的训练神经元。 -* 图表示学习，包含节点信息。 -* 本地进行分离式表征。 - * 按照功能进行切割。只共享隐式空间，在隐私保护上提升等级。 - * 在分类的时候进行解耦，信息时可解释的。 -* 目标函数重新设计。 - -### 问答 - -夏老师：赶紧实验啊！！！！！！！！！！！！！！做出效果来才行。 -蒋师兄：殷康龙太慢了。特征解耦、引起分类结果变化的特征。 -夏老师：速度变快了，还是精度变高了？解决了什么问题。赶紧给结果啊，有结果才能开题啊。 -夏老师：实验能够证明效果提高。发展，只能通过实验来证明。理论能够证明发现。从零到一的发现。 -夏老师：为什么、怎么做，要有可行的方案。测试和实验支撑相关的思路。新类型的产生。 -蒋师兄：通过发展，通过实验进行验证。新类型的产生（是要加一个研究点）。想法、实现、评估 - - -> 两个人的命都握在你的手上啊。有了想法要赶紧弄啊！！！！！！！！！！ -> 赶紧做实验啊！！！ \ No newline at end of file diff --git a/工作日志/2022年2月16日-今日计划.md b/工作日志/2022年2月16日-今日计划.md deleted file mode 100644 index b69064c6..00000000 --- a/工作日志/2022年2月16日-今日计划.md +++ /dev/null @@ -1,10 +0,0 @@ -## 任务 - -1. 完成神经网络的二次设计。加入嵌入层。 -2. 完成图特征的提取和简化工作 - - -## 收获 -> 距离上次离开，正好二十天，浪费了大量时间吧。本来可以初七就返回学校的。本来可以晚点回家的。站在事后人的角度来说应该有很多时间。我现在很紧张很焦虑。需要通过一些手段，来让自己快速恢复到之前的状态。在完成这个月的计划之前，尽量不要休息。开始吧。工作的流程和事件安排，还是主要在毕业设计内部进行，这里只是用来复述一下之前的工作安排。记录其中的工作安排。进行双向完成的方案。tmd这个月只有28天，到月末都不到两周了，我是服了。所以这一周必须完成实验，下一周必须完成系统。 -> -> \ No newline at end of file diff --git a/工作日志/2022年2月23日-今日计划.md b/工作日志/2022年2月23日-今日计划.md deleted file mode 100644 index 0f51ef93..00000000 --- a/工作日志/2022年2月23日-今日计划.md +++ /dev/null @@ -1,26 +0,0 @@ -## 任务 - - -终于把主要的工程调通了。感觉花费了整整两个月时间，一月份进行了数据集下载、统计特征提取、统计特征过滤、统计特征编码、统计特征分析、机器学习和神经网络分类。然后二月份轻车熟路之后，图特征的处理只用一周实践就完成了。实现androguard图特征提取、networkx图特征的处理、gensim图特征的编码、PyG图神经网络分类等。包括各个流程和算法，只用了一周实践就完成了。也是建立在之前大量阅读论文和方法的基础上。可能，就是只需要这么长时间。自己浪费了大量时间吧。 - -二月份剩下五天实践，应该围绕着之前两个月的工程实现进行。主要包括以下内容。 -1. 调参，参数调整，使模型的效果更好。 -2. 重构，工程重构，使得模块构造、函数命名更加合理。这样也方便调参过程中定位存在的问题。 - -两个内容同步进行。 - -- [ ] 参数调整（记录一些思路） - - [ ] 统计模型训练和调参工作。 - - [ ] 图模型训练和调参工作 - - [ ] 将两个模型合并为同一个模型，进行训练和调参。这个应该是后续工作了，因为 - - - -- [ ] 工程重构， - - [ ] 将statistic_make合并到analysis中 - - [ ] 文件常量进行归一化 - - [ ] 冗余函数取出，修改更合理的函数名称 - - [ ] 添加注释 - - -## 收获 diff --git a/工作日志/2022年3月19日-3月份计划.md b/工作日志/2022年3月19日-3月份计划.md deleted file mode 100644 index 99efdf49..00000000 --- a/工作日志/2022年3月19日-3月份计划.md +++ /dev/null @@ -1,110 +0,0 @@ -当前的任务主要分为三个，然后同步进行。以论文撰写为主要目的开展其他两项工作。实验分析和系统开发已经了解了一个大概。现在可以开始认真做这些东西。时间很宝贵，不能再浪费了。 - - - -## 第一周（3.21-3.27） - -### 主要任务——论文撰写第一轮 -1. 绪论 -2. 技术原理 -3. 基于图神经网络的恶意软件检测算法 -4. 基于联邦学习的恶意软件检测算法 -5. 联邦学习系统 - - -### 时间安排 -1. （周一）5K - 1. 上午：完成论文的架构(今天晚上先给出一版，需要阅读别人的论文，将毕设论文的工程创建起来。使用vscode和git进行管理) - 2. 下午：阅读论文模板，对论文架构进行补充和说明 - 3. 晚上：阅读参考文献，完成第一章和文献综述。 -2. （周二）5K - 1. 上午：阅读英文文献中的介绍。完成第一个原理 - 2. 下午：完成第二个原理 - 3. 晚上：完成后两个原理。（数学定义） -3. （周三）5K - 1. 上午：完成统计特征工程的论述 - 2. 下午：完成图特征工程的论述 - 3. 晚上：完善特征工程的论述 - -4. （周四）5K - 1. 上午：完成模型的论述 - 2. 下午：完成实验过程的论述 - 3. 晚上：完成实验结果的分析和论述 -5. （周五）5K - 1. 上午：完成数据处理的论述 - 2. 下午：完成联邦学习算法的论述 - 3. 晚上：完成实验设计、实验结果的论述 -6. （周六）5K - 1. 上午：完成系统的架构设计 - 2. 下午：完成系统的需求分析、详细设计 - 3. 晚上：完善系统的分析工作 -7. （周日）5K - 1. 补充完系统。 - - -## 第二周（3.28-4.3） -### 主要任务——论文完善第二轮 -1. 补充第二章的数学表述（形式化描述，各种数学公式，可以考虑使用latex公式转换。在latex工程中写好公式，然后复制黏贴过去） -2. 补充所有的算法描述（规范的算法输入输出、用到的字符定义等） -3. 补充所有的图片（包括各种算法的流程图、系统的架构图等） -4. 完善所有的表格（第一轮中的表格应该给出来了） -5. 补充参考文献（第一轮的时候，参考文献，用简单序号写在后边。） - -### 时间安排（第二周） - -1. 周一： - 1. 上午、下午：系统界面设计完成（只要前端即可，完成系统的截图） - 2. 晚上：做完第一次汇报的ppt -2. 周二： - 1. 学习数学表示和形式化描述，完成第2、3、4章的数学公式。（尽量使用用latex转换这种快捷方式） -3. 周三： - 1. 画图（第二章的图） -4. 周四： - 1. 画图（第三章的图） -5. 周五（ - 1. 画图（第四章的图） -6. 周六 - 1. 画图（第五章的图） - 2. 各种数据分析的表格有优化 -7. 周日 - 1. 使用文献引用工具，完成文献的引用。 - - - - - - -## 第三周（4.4-4.10） - -### 主要任务——系统开发前端（两周） - -1. 模块设计（一天时间，手绘所有的模块，定义模块之间的所有调用和提供的接口） -2. 学习bootstrap、django、chartjs等基本库。（一天时间） -3. 前端界面设计（一天时间） -4. 前端页面开发（三天时间） -5. 后端集成（一天时间） - - - -## 第四周（4.11-4.17） - -### 主要任务——系统开发后端（两周） - -1. 各个子系统子模块后端功能的开发。可以前端后端同步开发的（但是不要直接渲染。隔离开发，不用制作后端数据） - - -## 第五周（4.18-4.24） - -### 完善论文（第三轮） - - - -## 第六周（4.24-4.30 - -### 完善论文和系统（第四轮） - -1. 这个时候所有的工作都应该已经完成了。 - - - - diff --git a/工作日志/image/2021-01-05-20-08-00.png b/工作日志/image/2021-01-05-20-08-00.png deleted file mode 100644 index f01b3165..00000000 Binary files a/工作日志/image/2021-01-05-20-08-00.png and /dev/null differ diff --git a/工作日志/image/2021-04-06-20-19-05.png b/工作日志/image/2021-04-06-20-19-05.png deleted file mode 100644 index 35a8d701..00000000 Binary files a/工作日志/image/2021-04-06-20-19-05.png and /dev/null differ diff --git a/工作日志/image/2021-04-06-21-06-32.png b/工作日志/image/2021-04-06-21-06-32.png deleted file mode 100644 index c3e60cb3..00000000 Binary files a/工作日志/image/2021-04-06-21-06-32.png and /dev/null differ diff --git a/工作日志/image/2021-04-06-21-17-24.png b/工作日志/image/2021-04-06-21-17-24.png deleted file mode 100644 index 403a35c2..00000000 Binary files a/工作日志/image/2021-04-06-21-17-24.png and /dev/null differ diff --git a/工作日志/image/2021-04-06-21-18-56.png b/工作日志/image/2021-04-06-21-18-56.png deleted file mode 100644 index 8c27f74d..00000000 Binary files a/工作日志/image/2021-04-06-21-18-56.png and /dev/null differ diff --git a/工作日志/image/2021-04-06-21-33-39.png b/工作日志/image/2021-04-06-21-33-39.png deleted file mode 100644 index 7da95f81..00000000 Binary files a/工作日志/image/2021-04-06-21-33-39.png and /dev/null differ diff --git a/工作日志/image/2021-04-06-21-58-13.png b/工作日志/image/2021-04-06-21-58-13.png deleted file mode 100644 index a962eb5d..00000000 Binary files a/工作日志/image/2021-04-06-21-58-13.png and /dev/null differ diff --git a/工作日志/image/2021-04-06-23-26-24.png b/工作日志/image/2021-04-06-23-26-24.png deleted file mode 100644 index b0ed8937..00000000 Binary files a/工作日志/image/2021-04-06-23-26-24.png and /dev/null differ diff --git a/工作日志/image/2021-04-06-23-26-50.png b/工作日志/image/2021-04-06-23-26-50.png deleted file mode 100644 index 10c4169b..00000000 Binary files a/工作日志/image/2021-04-06-23-26-50.png and /dev/null differ diff --git a/工作日志/image/2021-04-06-23-28-22.png b/工作日志/image/2021-04-06-23-28-22.png deleted file mode 100644 index b2c91ba4..00000000 Binary files a/工作日志/image/2021-04-06-23-28-22.png and /dev/null differ diff --git a/工作日志/image/2021-06-22-09-50-57.png b/工作日志/image/2021-06-22-09-50-57.png deleted file mode 100644 index 1914f188..00000000 Binary files a/工作日志/image/2021-06-22-09-50-57.png and /dev/null differ diff --git a/工作日志/image/2021-07-31-21-57-24.png b/工作日志/image/2021-07-31-21-57-24.png deleted file mode 100644 index f07df438..00000000 Binary files a/工作日志/image/2021-07-31-21-57-24.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-17-47-46.png b/工作日志/image/2021-08-07-17-47-46.png deleted file mode 100644 index 5d3e7ccd..00000000 Binary files a/工作日志/image/2021-08-07-17-47-46.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-17-52-30.png b/工作日志/image/2021-08-07-17-52-30.png deleted file mode 100644 index 7b5dd929..00000000 Binary files a/工作日志/image/2021-08-07-17-52-30.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-17-56-15.png b/工作日志/image/2021-08-07-17-56-15.png deleted file mode 100644 index 9309989c..00000000 Binary files a/工作日志/image/2021-08-07-17-56-15.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-17-56-44.png b/工作日志/image/2021-08-07-17-56-44.png deleted file mode 100644 index 7ef2d309..00000000 Binary files a/工作日志/image/2021-08-07-17-56-44.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-18-13-14.png b/工作日志/image/2021-08-07-18-13-14.png deleted file mode 100644 index ff1025f5..00000000 Binary files a/工作日志/image/2021-08-07-18-13-14.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-18-16-56.png b/工作日志/image/2021-08-07-18-16-56.png deleted file mode 100644 index 6c27f7be..00000000 Binary files a/工作日志/image/2021-08-07-18-16-56.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-18-19-08.png b/工作日志/image/2021-08-07-18-19-08.png deleted file mode 100644 index ab996ffe..00000000 Binary files a/工作日志/image/2021-08-07-18-19-08.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-18-19-50.png b/工作日志/image/2021-08-07-18-19-50.png deleted file mode 100644 index cd61d4fa..00000000 Binary files a/工作日志/image/2021-08-07-18-19-50.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-18-21-55.png b/工作日志/image/2021-08-07-18-21-55.png deleted file mode 100644 index 28d50d3c..00000000 Binary files a/工作日志/image/2021-08-07-18-21-55.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-18-48-20.png b/工作日志/image/2021-08-07-18-48-20.png deleted file mode 100644 index b819717f..00000000 Binary files a/工作日志/image/2021-08-07-18-48-20.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-18-51-56.png b/工作日志/image/2021-08-07-18-51-56.png deleted file mode 100644 index 9396f064..00000000 Binary files a/工作日志/image/2021-08-07-18-51-56.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-07-33.png b/工作日志/image/2021-08-07-19-07-33.png deleted file mode 100644 index f44ed8bb..00000000 Binary files a/工作日志/image/2021-08-07-19-07-33.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-08-03.png b/工作日志/image/2021-08-07-19-08-03.png deleted file mode 100644 index bf17d9a6..00000000 Binary files a/工作日志/image/2021-08-07-19-08-03.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-10-02.png b/工作日志/image/2021-08-07-19-10-02.png deleted file mode 100644 index a0ce87e4..00000000 Binary files a/工作日志/image/2021-08-07-19-10-02.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-11-30.png b/工作日志/image/2021-08-07-19-11-30.png deleted file mode 100644 index 2489dca9..00000000 Binary files a/工作日志/image/2021-08-07-19-11-30.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-11-55.png b/工作日志/image/2021-08-07-19-11-55.png deleted file mode 100644 index 9fe3667f..00000000 Binary files a/工作日志/image/2021-08-07-19-11-55.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-18-35.png b/工作日志/image/2021-08-07-19-18-35.png deleted file mode 100644 index f64e1866..00000000 Binary files a/工作日志/image/2021-08-07-19-18-35.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-19-05.png b/工作日志/image/2021-08-07-19-19-05.png deleted file mode 100644 index 8b0fad20..00000000 Binary files a/工作日志/image/2021-08-07-19-19-05.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-19-19.png b/工作日志/image/2021-08-07-19-19-19.png deleted file mode 100644 index a9b92c8f..00000000 Binary files a/工作日志/image/2021-08-07-19-19-19.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-20-02.png b/工作日志/image/2021-08-07-19-20-02.png deleted file mode 100644 index 1d08c4d7..00000000 Binary files a/工作日志/image/2021-08-07-19-20-02.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-20-47.png b/工作日志/image/2021-08-07-19-20-47.png deleted file mode 100644 index bdadc1b2..00000000 Binary files a/工作日志/image/2021-08-07-19-20-47.png and /dev/null differ diff --git a/工作日志/image/2021-08-07-19-27-54.png b/工作日志/image/2021-08-07-19-27-54.png deleted file mode 100644 index 5ad8fd9f..00000000 Binary files a/工作日志/image/2021-08-07-19-27-54.png and /dev/null differ diff --git a/工作日志/image/2021-08-14-13-47-01.png b/工作日志/image/2021-08-14-13-47-01.png deleted file mode 100644 index 2af03c44..00000000 Binary files a/工作日志/image/2021-08-14-13-47-01.png and /dev/null differ diff --git a/工作日志/image/2021-08-14-13-47-19.png b/工作日志/image/2021-08-14-13-47-19.png deleted file mode 100644 index 38e154dd..00000000 Binary files a/工作日志/image/2021-08-14-13-47-19.png and /dev/null differ diff --git a/工作日志/image/2021-08-14-13-50-46.png b/工作日志/image/2021-08-14-13-50-46.png deleted file mode 100644 index 04a21a20..00000000 Binary files a/工作日志/image/2021-08-14-13-50-46.png and /dev/null differ diff --git a/工作日志/image/2021-08-14-13-57-18.png b/工作日志/image/2021-08-14-13-57-18.png deleted file mode 100644 index 87a69581..00000000 Binary files a/工作日志/image/2021-08-14-13-57-18.png and /dev/null differ diff --git a/工作日志/image/2021-08-14-13-57-42.png b/工作日志/image/2021-08-14-13-57-42.png deleted file mode 100644 index 9e51e6fb..00000000 Binary files a/工作日志/image/2021-08-14-13-57-42.png and /dev/null differ diff --git a/工作日志/image/2021-08-14-13-57-56.png b/工作日志/image/2021-08-14-13-57-56.png deleted file mode 100644 index 9e51e6fb..00000000 Binary files a/工作日志/image/2021-08-14-13-57-56.png and /dev/null differ diff --git a/工作日志/image/2021-08-14-13-58-31.png b/工作日志/image/2021-08-14-13-58-31.png deleted file mode 100644 index 9b3d3cce..00000000 Binary files a/工作日志/image/2021-08-14-13-58-31.png and /dev/null differ diff --git a/工作日志/image/2021-08-14-14-05-11.png b/工作日志/image/2021-08-14-14-05-11.png deleted file mode 100644 index ac4192e1..00000000 Binary files a/工作日志/image/2021-08-14-14-05-11.png and /dev/null differ diff --git a/工作日志/image/2021-08-14-14-05-53.png b/工作日志/image/2021-08-14-14-05-53.png deleted file mode 100644 index e2e46dd8..00000000 Binary files a/工作日志/image/2021-08-14-14-05-53.png and /dev/null differ diff --git a/工作日志/image/2021-08-15-19-40-21.png b/工作日志/image/2021-08-15-19-40-21.png deleted file mode 100644 index ff6cce9a..00000000 Binary files a/工作日志/image/2021-08-15-19-40-21.png and /dev/null differ diff --git a/工作日志/image/2021-08-24-19-24-32.png b/工作日志/image/2021-08-24-19-24-32.png deleted file mode 100644 index d526790b..00000000 Binary files a/工作日志/image/2021-08-24-19-24-32.png and /dev/null differ diff --git a/工作日志/image/2021-08-24-19-31-58.png b/工作日志/image/2021-08-24-19-31-58.png deleted file mode 100644 index d17a85ac..00000000 Binary files a/工作日志/image/2021-08-24-19-31-58.png and /dev/null differ diff --git a/工作日志/image/2021-09-13-12-26-27.png b/工作日志/image/2021-09-13-12-26-27.png deleted file mode 100644 index 3419c8ab..00000000 Binary files a/工作日志/image/2021-09-13-12-26-27.png and /dev/null differ diff --git a/工作日志/image/2021-09-13-12-26-42.png b/工作日志/image/2021-09-13-12-26-42.png deleted file mode 100644 index 01201feb..00000000 Binary files a/工作日志/image/2021-09-13-12-26-42.png and /dev/null differ diff --git a/工作日志/image/2021-09-13-12-27-24.png b/工作日志/image/2021-09-13-12-27-24.png deleted file mode 100644 index fa66d8f9..00000000 Binary files a/工作日志/image/2021-09-13-12-27-24.png and /dev/null differ diff --git a/工作日志/image/2021-09-24-14-15-38.png b/工作日志/image/2021-09-24-14-15-38.png deleted file mode 100644 index 522fd6b9..00000000 Binary files a/工作日志/image/2021-09-24-14-15-38.png and /dev/null differ diff --git a/工作日志/image/2021-09-24-14-15-59.png b/工作日志/image/2021-09-24-14-15-59.png deleted file mode 100644 index 9415c870..00000000 Binary files a/工作日志/image/2021-09-24-14-15-59.png and /dev/null differ diff --git a/工作日志/image/2021-10-12-20-26-02.png b/工作日志/image/2021-10-12-20-26-02.png deleted file mode 100644 index 071e9f40..00000000 Binary files a/工作日志/image/2021-10-12-20-26-02.png and /dev/null differ diff --git a/工作日志/image/2021-10-12-20-28-39.png b/工作日志/image/2021-10-12-20-28-39.png deleted file mode 100644 index 0ee887ba..00000000 Binary files a/工作日志/image/2021-10-12-20-28-39.png and /dev/null differ diff --git a/工作日志/img/2020-11-04-09-09-32.png b/工作日志/img/2020-11-04-09-09-32.png deleted file mode 100644 index 8520b735..00000000 Binary files a/工作日志/img/2020-11-04-09-09-32.png and /dev/null differ diff --git a/工作日志/img/2020-11-04-10-21-10.png b/工作日志/img/2020-11-04-10-21-10.png deleted file mode 100644 index 22827cee..00000000 Binary files a/工作日志/img/2020-11-04-10-21-10.png and /dev/null differ diff --git a/工作日志/img/2021-02-24-10-49-35.png b/工作日志/img/2021-02-24-10-49-35.png deleted file mode 100644 index d05a24f0..00000000 Binary files a/工作日志/img/2021-02-24-10-49-35.png and /dev/null differ diff --git a/工作日志/img/供应链金融.jpg b/工作日志/img/供应链金融.jpg deleted file mode 100644 index 615ea760..00000000 Binary files a/工作日志/img/供应链金融.jpg and /dev/null differ diff --git a/工作日志/中期报告.md b/工作日志/中期报告.md deleted file mode 100644 index 27636250..00000000 --- a/工作日志/中期报告.md +++ /dev/null @@ -1,80 +0,0 @@ -1 论文研究计划 -研究背景和意义以及存在的问题（毕设第一章，前三节） - Android恶意软件迫在眉睫深度学习算法非常好用隐私保护提上日程数据和隐私矛盾不可调和。联邦学习提出解决矛盾。但在恶意软件检测中，存在很大问题（例如数据梯度导致的隐私泄露、数据非独立同分布导致的准确率下降）。 -研究目标（毕设第一章，第四节） - 对于联邦学习应用在恶意软件检测中的数据的隐私保护问题和非独立同分布问题（这样描述问题要比原来的清晰），我们分别提出了解决方案。并将这两个问题的解决方案融合成一个可扩展的、可复用的基于联邦学习的恶意软件模型训练和检测系统。 -研究内容（毕设第一章，第五节） - 基于差分隐私的联邦学习框架主要包括三部分。首先建立恶意软件模型训练过程的威胁模型。然后将差分隐私应用到联邦学习的梯度保护当中，构建基于差分隐私的联邦学习框架。最后通过隐私计算和实验研究，验证隐私保护的效力和模型训练过程的鲁棒性。 - 基于贡献度的联邦元学习框架主要包括三部分。首先对恶意软件中的独立同分布问题进行建模，分析产生非独立同分布的原因，并提出了一种衡量非独立同分布的方案，通过理论分析和实验验证，数据非独立同分布对恶意软件检测模型的训练，会造成重大影响。然后将元学习的思想应用到联邦学习的训练过程中，构建一个个性化的联邦元学习框架。提出了一种衡量模型贡献度的方案，在联邦元学习的基础上，在客户端基于用户的贡献度进行聚合，实现基于贡献度的联邦元学习框架。然后通过理论分析和实验验证，该框架的有效性。 - 基于联邦学习的恶意软件模型训练和检测系统，主要包括三部分。核心层的建设和实现，主要包括各种算法核心、隐私保护方法核心等等。基于gRpc微服务的联邦学习系统。业务流层的创建和定制。算法控制、过程监测和结果分析的可视化实现。创新点：将云端的微服务系统用于边缘学习的联邦学习系统的构建。将客户端视作提供知识的微服务，向服务器注册自己的服务类型，服务器根据需求，创建服务的业务流，与客户端一同协作，完成训练过程。 - -论文的研究计划 - 粘贴之前的研究成果。 -预期的研究成果（毕设第一章，第六节论文组织与安排） - 小论文或者使用微服务系统发表专利。 - -2 已完成的相关工作 -研究现状（毕设第一章，国内外研究现状） -理论研究（关于恶意软件、联邦学习、非独立同分布等问题的理论分析）（毕设第二章，相关技术和理论研究中的理论部分） -数据处理 -算法提出（基于差分隐私的隐私保护算法、基于联邦元学习的非独立同分布算法）（毕设第三章、第四章） -实验研究（各种算法的复现工作、算法的实现工作、实验结果的对比工作）（毕设第五章） -系统构建（基于微服务架构的联邦学习框架和恶意软件检测系统）（毕设第六章） - - - -（图：联邦学习框架图、恶意软件检测系统架构图） -（算法：主要算法） -（公式：非独立同分布的建模公式、算法的推导公式） - -3 关键技术或难点（参考开题的内容，把系统各个模块拆解放到这里）（毕设第二章，相关理论和技术中的技术部分，以及三个研究点的三个难点部分，存在的挑战） -恶意软件特征提取技术 -威胁模型和隐私计算方法 -面向非独立同分布问题的联邦学习算法 -基于微服务架构的系统构建 - -4 下一阶段的工作计划 -存在的问题 - 系统构建中的问题 - 算法的稳定性存在问题。收敛速度较慢，需要进一步调试，找到合适的参数。 -尚未完成的工作 - 威胁模型和隐私计算的实践。隐私保护问题的 -后期工作的设想和安排 - 九月份实现基于差分隐私的隐私保护方法。 - 十月份完成实验和系统。 - 十一月份完成最终的论文。 - - -参考文献 - - - - - 按照毕业论文的水准来写研究背景、研究目标、研究内容。把引用的文献写清楚。 - 已经完成的工作尽量详细点。按照毕业论文理论和实验部分的要求来写。 - 每一个技术或者内容的名字现在应该固定下来。不应该这么随意了。 - 对框架和系统部分进行区分。（是算法框架，是一种模式。系统是对这种模式的实现。） - 命名规范确定一下（基于联邦学习的恶意软件检测系统？面向恶意软件检测的联邦学习系统）搞明白啊，术语不统一自己也很凌乱。 -  - -l 开题报告中确定的论文研究计划，按计划应该完成的工作； - -l 已完成的论文研究工作和取得的阶段性成果； - -l 存在的问题、尚未完成的工作及后期工作的设想和安排。 - -截止时间为2021年8月30日 -分组，学生才能打印中期检查表 -报告时间15分钟左右，其中学生汇报不超过10分钟，专家提问不超过5分钟。 - - -![](image/2021-08-24-19-31-58.png) -![](image/2021-08-24-19-24-32.png) - -　gRPC中默认支持两种授权方式,分别是：SSL/TLS认证方式、基于Token的认证方式。 - - - -1. 面向恶意软件的联邦元学习算法 -2. 融合差分隐私的隐私保护技术 -3. 基于微服务的可扩展联邦学习系统 \ No newline at end of file diff --git a/工作日志/实践报告.md b/工作日志/实践报告.md deleted file mode 100644 index f2cba1b8..00000000 --- a/工作日志/实践报告.md +++ /dev/null @@ -1,100 +0,0 @@ - - - - -全日制专业学位研究生 -专业实习环节总结报告 - - - -学 院 计算机学院 -姓 名 殷康龙 -学 号 ZY1906614 -导 师 吕良双 - - - - -北京航空航天大学研究生院 -2020年 8月 24 日 -  -一、实习目的 -深入公司内部，更广泛的接触公司的开发人员。切身地参与到开发团队中，了解如何与团队中的其他人沟通，大家之间通过什么样的方式相互合作共同促进，向其他人学习专业技术和工作方式，从而能与周围人一起成长，成为公司中需要的人才。同时学习大家如何进行高效的沟通，在会议或者协商过程中，如何快速表达自己的意图，同时又理解别人的观点，大家如何通过相互合作完成一个项目，从项目需求的提出、需求开发、本地测试、联调测试、项目上线、报警处理等一系列工作流程的学习。 -了解公司部门的构成和职能。了解企业内部行政工作的工作流程，包括绩效考核、日常考勤、资金申请等过程，适应公司的工作环境，从而确立自己在公司中的工作定位，为自己的职业生涯规划起到关键作用。同时了解一个企业的文化魅力，通过领导和同事的交流沟通，发现公司的价值所在，从而对工作和未来有所期待。 -将学习到的理论知识应用到实践当中。反过来检验计算机书本上知识的正确性。在学校期间学习了数据库、计算机网络、操作系统等理论知识，还学习了C++、Python、Java等变成语言，积累了大量的编程思想，虽然也做过一些小项目小demo，但是距离企业生产的实际要求还相差甚远。希望在这一次专业实践中，能够尽量将理论知识应用到时间过程中，检验日常学习的效果，加强自己平时学习到的内容。 -了解当前的发展前沿。计算机是一个发展迅速的行业，每年每天都会产生一堆新技术，淘汰一堆旧技术，在课本上学到的，可能与社会上技术的版本相差了好几代。需要切身地投入到实际的生产生活中，学习一些新技术、新方法、新思想。从而用最先进的观点武装自己，让自己在后续的就业中更有竞争力。 -二、实习内容 -2.1 专业实践单位介绍 -北京中科金财科技股份有限公司成立于2003年12月,是国内领先的区块链技术与金融科技综合服务商,致力于打造领先的产业互联网科技赋能平台。2012年2月28日公司在深圳证券交易所成功上市。中科金财一直以来为人民银行、银保监会、证监会、银联、银行间交易商协会、支付清算协会及上百家银行及金融机构客户提供金融科技综合服务及转型综合服务，是国内领先的金融科技综合服务商和数据中心综合服务商。 -2.2 专业实践项目介绍 -本次专业实践的项目为“基于微服务系统的电子钱包”项目。本项目主要涉及三个领域，包括区块链技术、数字金融和开放银行。 -基于区块链技术搭建中科金链平台，由北京中科金财科技股份有限公司研发的企业级区块链基础平台。为客户提供区块链基础平台及应用开发服务降低客户使用区块链的技术门槛，为客户提供区块链技术产品、解决方案、业务软件开发等全流程服务。通过不断的突破创新，累积了大量的区块链核心技术，并与多领域的重要龙头合作伙伴携手共建“区块链平台+金融/监管/民生领域”的区块链生态系统。中科金财致力于成为领先的产业互联网科技赋能平台，公司面向政府监管部门、金融机构、产业互联网、工业互联网用户提供基于区块链BaaS（区块链即服务）平台与多方安全计算平台的技术服务，以解决防篡改、隐私保护、可追溯等痛点。始于金融科技，放眼价值互联。未来，中科金财将以区块链BAAS服务平台、多方安全计算平台、区块链公共服务平台为基础，继续以科技服务金融和监管，携手合作伙伴，深耕行业场景，帮助产业客户实现从IT到DT到AT的技术升级 -数字金融平台。帮助传统银行进行数字化转型，数字化时代市场需求在变化，数字化将成为银行业下阶段的最不可忽视的战略重点。金融服务模式在不断革新，传统银行的数字化转型势在必行，数字化将成为银行业下阶段的最不可忽视的战略重点。数字化风暴给银行业带来了机遇，同时也带来了新的挑战。 -开放银行系统。银行把自己的金融服务，通过安全的Open API或SDK等技术开放给高频场景和客户。其本质是银行放弃单一的成本较高的直销获客方式，转为与线上线下高频大流量场景方合作，通过输出账户、支付、存款、交易、融资产品、投资产品等金融服务能力，以更快速、更高频、更低成本获得客户，并提供极其便捷的场景化、个性化的金融服务。 -该项目涉及多个领域多种技术的融合。包括前后端的开发人员、隐私计算与区块链的专业技术人员、与大型银行公司合作的对接人员，项目开发人员的规模超过百人，是大型的创新立项项目，旨在打造一套全平台的，融合银行、企业的数字生态系统。为传统的银行提供数字化赋能。 -2.3 实践工作岗位介绍 -本次实践的岗位为电子钱包组后端开发人员。该工作岗位涉及到与前后端的沟通，融合数据存储和业务处理两部分内容，访问其他企业提供的远端接口，根据用户的请求完成业务逻辑处理，根据前端的展示需求提供数据访问服务。 -主要的工作内容，基于微服务框架，构建后端的微服务系统。首先根据业务需求，与前端对接，提供必要的数据访问和业务处理接口。然后与其他企业对接，从开发的接口中，获取其他企业的对接数据，对数据进行初步处理，并存储到后端数据库中。然后根据用户的支付下单需求和退款等业务需求，完成相应的业务逻辑处理。 -2.4 Spring框架应用实践 -本项目后端的主要开发框架，是基于java的Spring框架。Spring框架主要依赖与两个重要的特性——控制反转和依赖注入。控制反转（IOC），即控制权的转移，将我们创建对象的方式反转了,以前对象的创建是由我们开发人员自己维护,包括依赖关系也是自己注入。使用了spring之后，对象的创建以及依赖关系可以由spring完成创建以及注入，反转控制就是反转了对象的创建方式，从我们自己创建反转给了程序创建。依赖注入（DI）spring这个容器中，替你管理着一系列的类，前提是你需要将这些类交给spring容器进行管理，然后在你需要的时候，不是自己去定义，而是直接向spring容器索取，当spring容器知道你的需求之后，就会去它所管理的组件中进行查找，然后直接给你所需要的组件。 -基于这两种思想实现的Spring容器有许多好处，如降低组件之间的耦合度，实现软件各层之间的解耦。可以使容器提供众多服务如事务管理消息服务处理等等。当我们使用容器管理事务时，开发人员就不需要手工 控制事务，也不需要处理复杂的事务传播。容器提供单例模式支持，开发人员不需要自己编写实现代码。容器提供了AOP技术，利用它很容易实现如权限拦截，运行期监控等功能。容器提供众多的辅佐类，使这些类可以加快应用的开发。Spring作为一个容器，可以管理对象的生命周期、对象与对象之间的依赖关系。可以通过配置文件，来定义对象，以及设置与其他对象的依赖关系。 -在实践过程中，使用静态工厂方法创建了一系列的java Bean对象，通过配置XML文件，将对象注入到具体执行的类当中。Spring框架本身还保证了事务的原子性、一致性、隔离性和持久性。Spring boot是Spring体系下，为了快速创建应用而提供的一套脚手架服务，用于快速创建网络应用。Spring AOP框架基于代理模式，同时运行时可配置；AOP框架主要针对模块之间的交叉关注点进行模块化。通过maven工具简单的创建Spring boot应用，通过starter中整合了该场景下各种可能用到的依赖，只需要在Maven中引入starter依赖，框架就能自动扫描到要加载的信息并启动相应的默认配置。Spring MVC 是 Spring 提供的一个基于 MVC 设计模式的轻量级 Web 开发框架，其本身就是 Spring 框架的一部分，可以与 Spring 无缝集成，性能方面具有先天的优越性，是当今业界最主流的 Web 开发框架之一。Spring boot创建一款开源框架，它提供了 spring-boot-starter-web来为 Web 开发予以支持。spring-boot-starter-web为我们提供了嵌入的Servlet容器以及Spring MVC的依赖，并为Spring MVC提供了大量自动配置，可以适用于大多数 Web 开发场景。 -为了使Spring boot应用能够快速加载配置，使用YAML文件快速配置Spring项目的依赖。使用YAML作为属性配置文件，YAML语法使用缩进表示层级关系，对大小写敏感。YAML支持对象、数组、字面量三种数据结构。同时Spring boot通过大量的注解实现配置的绑定和容器的注入。 -在部署过程中主要使用了WebJars，WebJars可以将Web前端资源（JS，CSS 等）打成一个个的Jar包，然后将这些Jar包部署到Maven中央仓库中进行统一管理，当 Spring Boot项目中需要引入Web前端资源时，只需将所需资源的pom依赖导入到项目中即可。 -在开发前端的时候，开发框架主要使用了基于nodejs的vuejs框架，用于获取并渲染数据到前端页面。使用bootstrap作为模板，构建基于H5的应用页面，能够动态自适应页面的大小，并将页面扁平化。 -2.5 数据存储技术 -在开发过程中主要使用MySQL关系型数据库存储数据，使用Redis非关系型数据库做数据缓存，使用Spring-MyBatis框架，封装对数据库的增删查改操作。数据操作主要包括两部分，第一部分是从远程接口请求数据，存储到关系型数据库中。第二部分是从关系型数据库中访问数据，返回前端，渲染到页面上。对于第二部分需要Redis做一级缓存，为了加快数据访问。 -为了能够进行事务管理，MySQL的数据库引擎选择InnoDB。所有的表都保存在同一个数据文件中，InnoDB表的大小只受限于操作系统文件的大小，一般为2GB。需要更多的内存和存储，会在内存中简历专用的缓冲池用于高速缓冲数据和索引。索引和数据紧密捆绑，索引无压缩，所以体积相对比较大。InnoDB引擎支持外键和索引，支持事务管理和数据库锁。能够保证数据库事务的原子性、一致性等，在三级锁协议下能够保证数据库的串行化访问。MySQL的数据类型主要包括三种：数值类型、字符串类型和时间日期类型。在设计过程中要特别注意，符合BNF范式，保证子段不可分，且不存在冗余。 -主要在数据库中创建了各种各样的表格，包括商品表（商品名称、类型、编号、价格、供应商、数量等子段）、订单表（订单类型、订单编号、父订单编号、支付单号、创建时间、当前状态、用户、商户、税费等子段）、用户表（用户名称、用户编号、平台金额、用户身份等子段）。每一张表格代表多个独立的实体，多个表格之间通过外键进行关联。 -为了加快数据的访问速度，在MySQL的数据表上创建了各种类型的索引。MySQL中常用的索引结构有：B+树索引和哈希索引两种。目前建表用的B+树索引就是BTREE索引。在MySQL中，MyISAM和InnoDB两种存储引擎都不支持哈希索引。只有HEAP/MEMORY引擎才能显示支持哈希索引。所以主要包括五种类型：唯一索引、主键索引、外键索引、普通索引，复合索引。通过建立索引能够有效的加快访问速度。B+树是一个平衡的多叉树，从根节点到每个叶子节点的高度差值不超过1，而且同层级的节点间有指针相互链接。在B+树上的常规检索，从根节点到叶子节点的搜索效率基本相当，不会出现大幅波动，而且基于索引的顺序扫描时，也可以利用双向指针快速左右移动，效率非常高MySQL 由连接池、SQL 接口、解析器、优化器、缓存、存储引擎等组成，可以分为三层，即 MySQL Server 层、存储引擎层和文件系统层。MySQL Server 层又包括连接层和 SQL 层。 -使用Spring访问数据库的时候，需要手动创建SQL语句，或者通过Spring提供的jdbc链接数据库，根据orm映射规则，自己封装数据库语句。我们在开发的时候，选择了比较流行的MyBatis框架。MyBatis是一个半自动化的 ORM 框架，支持定制化 SQL、存储过程以及高级映射。支持将数据库查出的数据映射到POJO实体类上，而实体到数据库的映射则需要我们自己编写SQL语句实现，相较于Hibernate 这种完全自动化的框架，Mybatis 更加灵活，我们可以根据自身的需求编写sql语句来实现复杂的数据库操作。支持普通 SQL 查询,存储过程和高级映射的优秀持久层框架。它消除 了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射,将接口和 Java 的 POJOs映射成数据库中的记录。利用动态语句的特性，方便快速的拼接访问数据库的SQL语句。 -Mybatis的功能架构分为三层。API接口层：提供给外部使用的接口API，开发人员通过这些本地API来操纵数据库。接口层一接收到调用请求就会调用数据处理层来完成具体的数据处理。数据处理层：负责具体的SQL查找、SQL解析、SQL执行和执行结果映射处理等。它主要的目的是根据调用的请求完成一次数据库操作。基础支撑层：负责最基础的功能支撑，包括连接管理、事务管理、配置加载和缓存处理，这些都是共用的东西，将他们抽取出来作为最基础的组件。为上层的数据处理层提供最基础的支撑。 -我们首先需要在Spring框架中导入Mybatis的配置在Spring Boot的配置文件中进行配置，指定mapper.xml的位置、实体类的位置、是否开启驼峰命名法等。然后配置数据库链接的信息。在MySQL数据库中创建了多张表，并创建了mapper文件，建立sql语句到java环境的映射，用来访问MySQL数据库。然后在配置文件中注册数据库访问xml，在Spring的java文件中引用该配置，完成对数据库的访问。 -为了提升用户的体验，加快前端的访问速度，解决MySQL数据库存储和访问的瓶颈。使用Redis数据库提供了以及数据缓存。使得系统能够快速相应用户的数据存储和访问操作。redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。与MySQL关系型数据库不同，它没有持久话的文件，是暂存在内存中的数据库，没有固定的表结构。Redis数据库作为缓存数据库有许多优势。Redis主要用于以下两种场景：高性能场景，需要执行耗时特别久，且结果不频繁变动的 SQL，就特别适合将运行结果放入Redis缓存。后面的请求就去缓存中读取，使得请求能够迅速响应；高并发场景，在大并发的情况下，所有的请求直接访问数据库，数据库会出现连接异常。这个时候，就需要使用 Redis 做一个缓冲操作，让请求先访问到 Redis，然后逐步同步到关系型数据库中。 -Redis支持丰富的数据类型，包括string，list，set，sorted set，hash。主要由以下几种底层数据类型实现：动态字符串类型，保存字符串的长度、字符串的每个元、buf 数组中未使用的字节数量，能够动态的增加长度，并减少重新分配内存的次数；双向链表，通过多个节点结构就可以组成双向链表。字典又称为符号表或者关联数组、或映射，是一种用于保存键值对的抽象数据结构。跳跃表是一种有序数据结构，它通过在每个节点中维持多个指向其它节点的指针，从而达到快速访问节点的目的。 -Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。Redis以内存作为数据存储介质，所以读写数据的效率极高，远远超过数据库。以设置和获取一个256字节字符串为例，它的读取速度可高达110000次/s，写速度高达81000次/s。它速度快，因为数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)。支持事务，操作都是原子性。可用于缓存、消息、设置过期时间。Redis利用队列技术将并发访问变为串行访问，消除了传统数据库串行控制的开销。为了解决读写分离模型的缺陷，可以将数据分片模型应用进来。可以将每个节点看成都是独立的master，然后通过业务实现数据分片。 -Redis有多种持久化方法，RDB方式在指定的时间间隔内，将内存中的数据集快照写入到磁盘。AOF方式以日志的形式记录服务器处理的每一个操作，服务器启动之初，读取文件，重新构建数据库。 -Redis的底层架构决定了它的性能优势。内部实现采用epoll机制和简单的事件框架。epoll中的读、写、关闭、连接都转化成了事件，然后利用epoll的多路复用特性， 降低IO过程的延迟。 -2.6 基于gRpc的微服务技术 -在开发后期，为了能够更好的适应项目夸大的需求，公司制定新的发展计划，基于grpc重构后端框架，将后端拆解为多个独立的微服务，并行建设发展。很好地保证了各个模块的独立性，提高了开发效率，同时又由于微服务的弹性部署方式，使得系统的鲁棒性增强，服务的效率增高。 -微服务一种软件开发技术，面向服务的体系结构（SOA）架构样式的一种变体，将应用程序构造为一组松散耦合的服务。在微服务体系结构中，服务是细粒度的，协议是轻量级的。使得应用系统具备快速响应、灵活部署、敏捷交付、持续演进的特性成为可能。微服务是由以单一应用程序构成的小服务，自己拥有自己的行程与轻量化处理，服务依业务功能设计，以全自动的方式部署，同时服务会使用最小的规模的集中管理能力，服务可以用不同的编程语言与数据库等组件实现 。 -微服务架构与敏捷研发流程一脉相承。微服务是将一个完整的系统分割成若干微小的、具备独立性的功能单元，每个功能单元是可以具备一个实际意义的小功能集。各个功能单元之间尽量是解耦或松耦合的，可以实现独立开发而不依赖其他功能单元。而敏捷保证微服务架构能够更好地适应需求的变化，保持团队的高效沟通，敏捷利用小型工作增量、频繁迭代与原型设计等手段，可以使我们摆脱大规模单体软件开发的风险。微服务架构更多地从技术的角度提升开发和运维的效率，而敏捷方法论贯穿了软件工程的整个流程，它重视流程、沟通、协作。可以说，敏捷在管理流程上是对微服务架构落地的有益补充和保障。微服务的开发大致遵循DevOps的流程和原则，一个软件从零开始到最终交付，大概包括以下几个阶段：规划、编码、构建、测试、发布、部署和维护。DevOps是一组过程、方法与系统的统称，用于促进开发、技术运营和质量保障（QA）部门之间的沟通、协作与整合。通过自动化流程来使得软件整体过程更加快捷和可靠。用于实现敏捷开发的目标。 -我们研究了微服务主要面临的问题，主要是故障的排查，通过多方考虑建立了微服务的故障排查系统。首先是微服务的监控系统（指标接口），实时监控流量的运转，尽量能够快速的发现存在的潜在问题，包括一些设定的报警规则，如网络流量异常、内存占用异常、数据库链接异常、响应延迟异常、qps导致某个节点不堪重负等。让各个组件提供报告自己当前状态的接口（metrics接口），这个接口输出的数据格式应该是一致的。然后部署一个指标采集器组件，定时从这些接口获取并保持组件状态，同时提供查询服务。最后还需要一个UI，从指标采集器查询各项指标，绘制监控界面或者根据阈值发出告警。我们最终使用RedisExporter和MySQLExporter，这两个组件分别提供了Redis缓存和MySQL数据库的指标接口。微服务则根据各个服务的业务逻辑实现自定义的指标接口。然后采用Prometheus作为指标采集器，Grafana配置监控界面和邮件告警。 -然后是通过链路跟踪系统，定位问题出现的位置。使用Zipkin工具，实现链路的跟踪过程，实现每一个节点的日志收集。为了能够快速的实现日志分析，使用ELK日志分析组件。包括一个日志搜索引擎、日志收集存储器和UI组件。 -为了能够控制微服务的访问权限，进行服务治理，搭建了一套网关系统。在调用者和被调用者中间加一层网关，每次调用时进行权限校验。另外，网关也可以作为一个提供服务接口文档的平台。能够进行各个微服务的接口管理，通过页面访问和调试微服务。 -由于微服务的扩充速度比较快速，最终搭建了一个微服务的注册和发现系统。每当有新的微服务或者微服务的某个新节点出现的时候，完成服务信息发布、存活检测、客户端负载均衡等任务。各个应用服务在启动时自动将自己注册到服务发现服务上。并且应用服务启动后会实时（定期）从服务发现服务同步各个应用服务的地址列表到本地。服务发现服务也会定期检查应用服务的健康状态，去掉不健康的实例地址。服务发现系统还会进行服务之间的负载均衡，防止某一个服务流量过大，称为微服务链路上的流量瓶颈。 -在实现微服务系统的时候，还考虑了大量的其他安全性可靠性内容。包括建立链路上的熔断机制，当多次访问一个服务失败时，应熔断，标记该服务已停止工作，直接返回错误。直至该服务恢复正常后再重新建立连接。建立了微服务的多级测试系统，服务本地的单元测试，整个服务的测试，端到端测试（覆盖这个服务调用链的测试）。 -在构建微服务系统的核心关键技术是gRpc。gRPC是由Google公司开源的一款高性能的远程过程调用(RPC)框架，可以在任何环境下运行。该框架提供了负载均衡，跟踪，智能监控，身份验证等功能，可以实现系统间的高效连接。另外，在分布式系统中，gRpc框架也有有广泛应用，实现移动端、浏览器等和服务器的连接。gRPC支持多种语言的实现，因此gRPC支持客户端与服务器在多种语言环境中部署运行和互相调用。gRPC使用ProtoBuf来定义服务，ProtoBuf是由Google开发的一种数据序列化协议（类似于XML、JSON、hessian）。ProtoBuf能够将数据进行序列化，并广泛应用在数据存储、通信协议等方面。压缩和传输效率高，语法简单，表达力强。 -gRPC 的协议设计上使用了HTTP2。HTTP2 提供了连接多路复用、双向流、服务器推送、请求优先级、首部压缩等机制。可以节省带宽、降低TCP链接次数、节省CPU，帮助移动设备延长电池寿命等。gRPC主流分布式方案有以下三个etcd, zookeeper, consul，最终选择使用consul实现服务的注册与负载均衡的实现。 -我们通过proto文件定义了数据结构和服务接口。可以通过流模式实现服务器和客户端的调用。集成了TLS验证方法，用于识别客户端和服务器，增强通信的安全性。使用SSL/TLS协议对通信连接进行安全加密，是通过非对称加密的方式来实现的。在加密过程中：客户端想要向服务器发起链接，首先会先向服务端请求要加密的公钥。获取到公钥后客户端使用公钥将信息进行加密，服务端接收到加密信息，使用私钥对信息进行解密并进行其他后续处理，完成整个信道加密并实现数据传输的过程。客户端调用服务时，客户端gRPC库使用协议缓冲区，并编组(marshal)远程过程调用，该调用随后通过HTTP2来发送。在服务器端，请求解组(un-marshalled)，使用协议缓冲区执行相应的过程调用。响应遵循从服务器到客户端的类似的执行流程。 -2.7 支付与退款逻辑处理 -作为电子钱包财经部分的核心业务，其最大的困难点在于业务场景的理解和负责业务需求的实现，技术上的难点通过之前的分析已经实现了。 -首先最大的难点是建立后端的订单子系统，实现后端订单的数据流图。业务方可能会产生多种类型的订单，例如在购物的时候，会生成shop单、商户单、商品单，退款的时候根据退款创建的时间不同，可能产生各种类型的退款单，通过区分是否在售后内或者超售后，是否满足优质用户的急速退款条件，订单是否已经分账，产生不同类型的退款单。在财经部分，根据业务方的需求，建立财经部分的订单系统，该系统主要融合了业务方订单和支付方订单。业务方订单包括shop单、sku单、商品单等，财经部分订单包括四种主要的类型，商品单、支付单、分账单、退分账单、补贴单、推补贴单、退款单等。退款中会生成退款单包括多种类型，如退款子单、急速退款单、退分账单、退补贴单、退税单等。由于支付场景负责，各种订单的准确性必须要有保证。 -财经部分最重要的是对金额和流水的保证。建立了从上到下的对账系统，通过流水信息、数据库信息、日志信息等，进行不间断的对账，保证了交易金额的准确性。杜绝发生严重的金融风险。同时增强开发人员的金融管控意识。防止出现资金安全问题。在技术上，使用GO语言重构了后端的微服务，包括一系列配套的微服务工具的应用。如上一节提到的微服务的技术选型：服务注册与发现机制（consul）、敏捷开发流程（devops）、远程调用方式（thrift）、服务监控平台（Grafana）、数据分析平台（Hive）、链路系统跟踪平台、服务网关（Gateway）等。实现一系列微服务开发、部署、运维任务。 -在担保交易系统中，总的业务流可以分为四个部分：支付、分账、退款、提现。当用户付款后（自有支付、第三方支付），不能立即存到商家的账户中，需要暂存到商家的待结算户中，防止出现资金安全问题。当用户点击确认收款后，资金从商家的待结算户，分账到商家账户和其他分账方的账户（达人带货分账、平台营销分账等），其中还涉及到平台的营销问题。当用户发起退款是，会根据不同的情况，走完全不同的退款流程，主要包括普通退款、分账前退款、分账后退款、超售后退款和急速退款。其中每一种业务都被划分为一个独立的微服务，可能部署在不同的虚拟机上，存在大量远程调用过程。 -当时负责支付营销预计算和分账后退款两个业务，涉及担保退款、退款请求、财经核心微服务，整个服务链包括十几个业务，我负责其中的三个。担保退款业务负责接收来自其他应用的退款请求，查询数据库中的订单，校验请求的准确性，同时通过幂等校验对重复的请求进行处理。退款请求业务，接收担保退款微服务的请求，对请求进一步校验，根据订单状态、支付状态、业务方的需求将退款业务划分为不同的退款方式（急速退款、普通退款、分账后退款、超售后退款等），然后执行不同的退款逻辑。每一种退款都实现了统一的接口，需要校验大量的请求参数和订单内容，保证请求和订单的一致性，需要调用电商接口，计算每一个分账方的分账金额，根据分账方的分分钟金额校验账单系统中的分账单，针对每一个分账单，生成分账的退款单，然后请求支付核心，将商家待结算户中的金额退给用户。如果已经部分分账，需要将所有分账的金额退到商家现金户，推进分账进程，然后从商家的现金户，将金额退还给支付账户，并将平台补贴金额退回。每次退款过程前，需要事先请求计算支付营销金额，如果保证金额正确才可以进行后续的退款，否则返回退款失败。 -三、实习表现 -在实习过程中积极主动与他人沟通，学习工作的流程和沟通的技巧，掌握了大量新技术，巩固了原有的知识。获得了导师和领导的一致认可。能够独立完成一个需求的开发，掌握了与他人合作开发的技巧，学会了如何进行联调测试，如何在线上线下环境寻找存在的问题。在遇到问题时，能够提出自己的见解和思考，能够将自己的想法正确的表达给其他人。工作积极主动、高效，学习认真，待人诚恳，实习期间主动加班，学习掌握工作中需要的技术和知识。热爱自己的岗位，工作能力比较强，能跟同事友好相处。在短时间内取得了相对不错的成果。 -四、主要成果 -实习期间的有效代码量超过十万行。主要完成了以下需求： -电子钱包数据库 使用MySQL构建了电子钱包系统的数据库，符合BNF范式，用来存储从合作方获取的金融数据。 -Mybatis数据读写 使用MyBatis访问MySQL数据库，完成了大量的MySQL命令，实现了数据的存储和展示。 -Spring Boot电子钱包服务 通过java http请求，获取第三方金融数据，对数据内容进行拆解和校验，并存储到自己的数据库中。 -Redis缓存 在系统中添加了Redis缓存，大大提升了系统的性能，数据访问的QPS提升了两倍。 -gRpc微服务框架 使用grpc微服务框架，重构后端服务，形成为了更高性能的微服务系统。 -支付营销预计算 对支付过程的营销金额进行计算。并在退款的时候进行校验，保证了退款的准确性。 -分账后退款 针对分账完成后的退款业务，实现退款的流程，校验退款参数，实现退分账过程。 -五、收获体会 -在实践期间，我深刻的感受到，企业文化的重要性。整个团队是一个完整的一体的团体，大家有这共同的目标，团结、上进、充满活力。每天大家都笑脸相迎，即使面临巨大的压力，办公室内外依旧能够听到笑声。面对同事，大家总是热情真诚，面对工作上的困难，大家总是互帮互助，直到解决苦难，整个机体和睦相处，气氛很和谐很亲切。领导与下属之间、同事与同事之间非常团结、凝聚，就像一个温馨的大家庭，领导就是这个大家庭的家长，给每个人很大的发挥空间。从他们身上，我体会到什么是爱岗敬业，体会到了劳动的快乐，体会到了什么是求真务实。特别令我感动的是，每当我遇到技术和生活上的困难，需要别人支持我的工作的时候，大家都会很热情的协助我。我对能在这样的单位实习感到荣幸和字号。 -通过这次实习，我的个人能力得到飞速的提升。巩固计算机开发的基本知识，又了解了行业的前沿，学到了很多新技术。更多的是，尝试去适应了一个伟大的开发团队，从生活上、从习惯上，开始接触真正创造价值的工作，自己的动手能力有很大的提升。相信自己可以在未来的工作中，能够利用好这次实习的经验，学以致用，能够实现自我的人生价值。 - - - - - - -填写《北京航空航天大学全日制专业学位研究生专业实习环节考核表》，并给出考核成绩 - -全日制专业学位研究生专业实习环节总成绩 =（单位评价平均成绩 + 学院考核成绩）/2，并按优、良、中、及格、不及格五级定级。90以上为优，80-90为良，65-79为中，60-64为及格，60以下为不及格。学院同一年级学生专业实习环节成绩，优的比例不超过15%，中、及格与不及格的比例不少于10%。 -学生的<专业实习总结报告>以学号为文件名的word文档由班长收齐电子版提交学院教学部门，成绩符合要求资料齐全者给予三个学分。 -截止时间为2021年8月30日，请各单位自行确定学生和导师分组名单以及考核的具体时间和地点 diff --git a/工作日志/小论文.md b/工作日志/小论文.md deleted file mode 100644 index 0e3ec592..00000000 --- a/工作日志/小论文.md +++ /dev/null @@ -1,43 +0,0 @@ -## Introduction - -### Background -* 恶意软件 -* 恶意软件检测的主要方法 -* 恶意软件检测的主要问题（隐私问题） - -### Problems - -* 联邦学习应用的问题（非独立同分布） -* 什么是非独立同分布 -* 非独立同分布的数学表示方法 -* 非独立同分布对机器学习和联邦学习产生的影响，以及数学上的证明。 - - - -### Contributions -> what we do to achieve aims. -* fedRed算法 -* 收敛速度 -* 实验内容（通过实验内容得出来的结论） - -### Aims & Goodneeds -* More local updates. -* Gains of cooperation. -* Generalization to new clients. - - -## Model -### problems -* 用数学语言描述自己的目标 -### models -* 用数学语言描述自己的**模型**本身。 -* 这里更偏向与目标的模型 - -## Algorithm - -* **模型训练**算法。这里更偏向与训练的过程和合作的过程。 - - - -## Experiment - diff --git a/工作日志/毕业设计.md b/工作日志/毕业设计.md deleted file mode 100644 index 263a9536..00000000 --- a/工作日志/毕业设计.md +++ /dev/null @@ -1,229 +0,0 @@ -# 基于联邦学习的恶意软件检测系统研究 - -## 第一章：绪论 - -### 1.1 研究背景和意义 -> 论述原则：所有的描述都是针对Android恶意软件领域的问题进行说明。Android恶意软件的隐私问题，Android恶意软件联邦学习的应用。将论述范围压缩在一个很小的领域。 - - -1. 安卓应用广泛。 -2. 恶意软件泛滥。 -3. 恶意软件检测。 -4. 在Android恶意软件检测当中数据的需求和隐私保护的矛盾。 -5. 基于联邦学习的恶意软件检测系统 - -> 论述的路径： - -### 1.2 国内外研究现状 -#### 恶意软件的研究现状 - -1. 数据集方案（当前流行的主流数据集、恶意软件数据集） -2. 特征提取方案（静态特征、动态特征） -3. 模型构建方案（卷积神经网络、图神经网络） -4. 检测方案（特征码检测、指纹检测） -5. 各种方法的优势和不足。缺乏保护隐私的方案。 - -#### 联邦学习的研究现状 - -1. 联邦学习概念和分类 -2. 联邦学习与非独立同分布问题 -3. 联邦学习与隐私保护问题 -4. 联邦学习与系统构建 - - -5. 恶意软件检测的机器学习和联邦学习方案。 -6. 当前解决恶意软件数据隐私保护问题的方案——传统的数据隐私保护方法的研究（差分隐私、数据加密） -7. 当前解决恶意软件数据无标签问题的方案——恶意软件检测与半监督学习的方案（sephew、基准分类器） -8. 当前解决恶意软件数据非独立同分布问题的方案——现有的非独立同分布数据方案（prox？） -9. 联邦学习的隐私保护、半监督学习、非独立同分布等开放问题的解决方案。 - - - -### 1.3 研究内容和目标 - -1. 联邦隐私保护学习方案——差分隐私、同态加密 -2. 联邦非独立同分布学习方案——联邦元学习 -3. 面向恶意软件检测的，基于联邦元学习和增强隐私保护能力的联邦学习框架 - -论文贡献（到时候再展开或者压缩内容。） -1. 图卷积神经玩过解决了恶意软件检测问题 - 1. 完成算法，结合了代码的语义信息和恶意软件的行为信息 - 2. 通过实验验证了高效性和准确性。 -2. 联邦元学习解决了非独立同分布问题。 - 1. 完成算法，理论上的证明和解释。 - 2. 完成了相关的实验验证。证明了算法的有效性。 -3. 构建了联邦学习框架和恶意软件检测系统。 - 1. 实现了文章的两个算法和多个可选的算法。能够使用差分隐私保护用户的隐私，能够应对非独立同分布场景。 - 2. 一个恶意软件特征提取和分析工具.恶意软件检测系统包括特征提取模块和模型检测模块。 - 3. 提供了一个训练框架，以及框架中的模型和算法。通过对比，验证了系统的可用性和可扩展性。 - -### 1.4 论文结构 - -## 第二章：相关的理论和技术 - -### 2.1 Android恶意软件检测的原理 - -1. 安卓平台：安卓操作系统，安卓安全机制、安卓反编译工具和原理。 -2. 恶意软件的数据集介绍 -3. 特征提取的方法介绍：动态提取和静态提取。统计特征、线性特征、图特征。 -4. 恶意软件分类的方法：机器学习的方法、深度学习的方法、LSTM、CNN、行为图匹配等 -5. 恶意软件检测的方法：特征码识别，机器学习的方法检测 - -### 2.2 图神经网络和图表示学习以及图嵌入相关的知识 - -1. 介绍图嵌入的目标 -2. 介绍图嵌入的先关算法deepwalk、node2vec、GNN、GCN等。 -3. 介绍每种方法的优点和缺点，以及和恶意软件检测的结合。 - -### 2.3 联邦学习原理与联邦平均算法 -> 联邦学习的基础原理。联邦学习的实现方案。联邦学习的分类和数学表示。联邦学习中的开放问题。 -1. 介绍联邦学习的基础概念和分类 -2. 介绍联邦学习面临的几个大问题。以及常见的解决方案 - - - - -### 2.5 元学习原理（放到算法那一章） - -## 第三章：基于图嵌入的恶意软件检测方法 - - - -### 3.1 恶意软件特征提取 - -> 恶意软件主要分类、恶意软件主要分类的依据和数学表示（接口、行为？）、恶意软件主要的检测方法利用到的原理。 -> 哪些内容能够表现恶意软件 - -> 特征提取技术，特征降维方法。动静态特征的提取方法。 - -* 权限、API特征的提取。包括对API特征的假设，恶意软件API特征的频率更高、且更加聚集。 -* 函数调用图特征的提取。包括对函数调用图的举例和描述 -* 词嵌入处理统计特征 -* 图嵌入处理行为特征 - -### 3.2 神经网络模型 - -* 基于两种类型的特征，合并构建神经网络模型 -* 完成二分类和多分类的任务。 -* 介绍图卷积神经网络的原理 - ------------------------------------------------------------------- - -### 3.3 实验验证 - - -#### 3.3.1 数据集设置 -#### 3.4.2 实验环境、实验设置 -#### 3.4.3 实验结果 -#### 3.4.4 实验结论 - - -## 第四章：基于贡献度和元学习的联邦学习框架 - -### 4.1 联邦图学习算法 - -### 4.2 非独立同分布问题的建模 - -* 非独立同分布原理 - * 非独立同分布的原理、表示方法（衡量标准）、产生的影响（论证非独立同分布是联邦学习解决问题中的关键问题。） - * 对非独立同分布的数学的描述。 - -* 数据处理和非独立同分布数据集的设置 - * 包括五种设置方法，模拟现实场景的非独立同分布问题 - -### 4.3 基于贡献度的聚合方法 - -* 能够衡量用户的贡献度的方法 - - -### 4.4 基于元学习的联邦学习方法 - -### 4.5 实验验证 - -## 第五章：恶意软件检测系统构建 - -### 5.1 系统总体设计 - - -### 5.2 系统详细设计 - - -> 存在多个功能模块。按子系统讲解。需要起个合理的名字。 -> 服务端子系统 -> * 服务注册和发现模块 -> * 客户端选择模块 -> * 控制服务模块 -> * 聚合服务模块（提供多种聚合服务） -> * 训练服务模块（提供多种训练类型的聚合，不同端） -> -> 控制端子系统 -> * 训练控制模块 -> * -> -> 客户端子系统 -> * 服务访问模块 -> * 模型训练模块 - - -1. 特征提取模块 -2. 训练控制模块 -3. 网络通信模块 -4. 训练展示模块 -5. 实验结果对比模块 - -### 5.3 系统测试 -> 列出测试过程中的关键指标。 -1. 各个模块的功能测试 -2. 系统整体的集成测试 -3. 最终的界面展示 - - -## 第六章：结论 -> 3个研究内容。 -### 基于贡献度和元学习的联邦学习算法 - -### 基于差分隐私的联邦学习算法 - -### 基于微服务的恶意软件检测系统 - - - - -一下内容是多次修改中存在的问题： - - ----------------------------- - - -## 补充：存在的问题 -（1）算法的稳定性存在问题，部分算法收敛过程中出现较大范围的不合理的抖动。 -（2）算法的最终准确率问题，部分算法无法收敛，由实验设置导致部分算法出现偏差，需要调参，进行更好的对比。 -（3）基于差分隐私的联邦学习方法进行实验。 -## 补充：尚未完成的工作 -（1）新的恶意软件数据集的数据处理工作。 -（2）针对非独立同分布问题的算法调试工作。需要调试参数，对比算法，画出实验结果对比的图形， -（3）基于差分隐私的联邦学习算法实现，并进行实验验证工作。 -（4）基于微服务技术的恶意软件检测系统中，实现服务的注册和发现。将前端控制和展示服务实现。 -## 补充：解决问题的思路和措施 -（1）查找相关的资料，对论文中提到的方法进行实现。 -（2）针对系统构建中出现的问题，进行详细设计和技术选型，编程实现，并分析效果。 -（3）对比别人的实验过程，借鉴实验的方法和参数的设置。 - ------------------------------------ - - -## 补充 - -### 相关要求 -1. 按照毕业论文的水准来写研究背景、研究目标、研究内容。把引用的文献写清楚。 -2. 已经完成的工作尽量详细点。按照毕业论文理论和实验部分的要求来写。 -3. 每一个技术或者内容的名字现在应该固定下来。不应该这么随意了。 -4. 对框架和系统部分进行区分。（是算法框架，是一种模式。系统是对这种模式的实现。） -5. 命名规范确定一下（基于联邦学习的恶意软件检测系统？面向恶意软件检测的联邦学习系统）搞明白啊，术语不统一自己也很凌乱。 - -### 术语规范 -1. 基于联邦学习的恶意软件检测方法、基于联邦学习的恶意软件检测系统 -2. （差分隐私+元学习+用户贡献度）联邦学习框架恶意软件检测方法/系统 -3. 基于差分隐私的联邦学习框架 -4. 基于用户贡献度和元学习的联邦学习框架 -5. 基于用户贡献度和联邦元学习的恶意软件检测方法