数据处理

Sklearn/sklearn-cookbook-zh/0.1 fit&transform.md

@@ -0,0 +1,61 @@
+# fit&transform说明
+
+## 1 概述
+
+* fit和transform没有任何关系，仅仅是数据处理的两个不同环节，之所以出来fit_transform这个函数名，仅仅是为了写代码方便，会高效一点。
+
+* sklearn里的封装好的各种算法使用前都要fit，fit相对于整个代码而言，为后续API服务。fit之后，然后调用各种API方法，transform只是其中一个API方法，所以当你调用transform之外的方法，也必须要先fit。
+
+* fit原义指的是安装、使适合的意思，其实有点train的含义，但是和train不同的是，它并不是一个训练的过程，而是一个适配的过程，过程都是确定的，最后得到一个可用于转换的有价值的信息。
+
+## 2 使用
+
+## 2.1 数据预处理中方法
+
+```
+fit(): Method calculates the parameters μ and σ and saves them as internal objects.
+解释：简单来说，就是求得训练集X的均值，方差，最大值，最小值,这些训练集X固有的属性。
+```
+```
+transform(): Method using these calculated parameters apply the transformation to a particular dataset.
+解释：在fit的基础上，进行标准化，降维，归一化等操作（看具体用的是哪个工具，如PCA，StandardScaler等）。
+```
+```
+fit_transform(): joins the fit() and transform() method for transformation of dataset.
+解释：fit_transform是fit和transform的组合，既包括了训练又包含了转换。
+```
+* transform()和fit_transform()二者的功能都是对数据进行某种统一处理（比如标准化~N(0,1)，将数据缩放(映射)到某个固定区间，归一化，正则化等）
+
+* fit_transform(trainData)对部分数据先拟合fit，找到该part的整体指标，如均值、方差、最大值最小值等等（根据具体转换的目的），然后对该trainData进行转换transform，从而实现数据的标准化、归一化等等。
+
+* 根据对之前部分trainData进行fit的整体指标，对剩余的数据（testData）使用同样的均值、方差、最大最小值等指标进行转换transform(testData)，从而保证train、test处理方式相同。
+* 所以，一般都是这么用：
+
+```
+from sklearn.preprocessing import StandardScaler
+sc = StandardScaler()
+sc.fit_tranform(X_train)
+sc.tranform(X_test)
+```
+
+## 2.2 各种算法的fit，transform方法
+
+1. CountVectorizer举例，sklearn的CountVectorizer库是根据输入数据获取词频矩阵（稀疏矩阵）
+   1. fit(raw_documents) :根据CountVectorizer参数规则进行操作，比如滤除停用词等，拟合原始数据，生成文档中有价值的词汇表；
+   2. transform(raw_documents):使用符合fit的词汇表或提供给构造函数的词汇表，从原始文本文档中提取词频，转换成词频矩阵.
+   3. fit_transform(raw_documents, y=None):学习词汇词典并返回术语 - 文档矩阵(稀疏矩阵)。
+
+2. TfidfTransformer举例，TF-IDF(Term frequency * Inverse Doc Frequency)词权重。
+   
+   在较低的文本语料库中，一些词非常常见（例如，英文中的“the”，“a”，“is”），因此很少带有文档实际内容的有用信息。如果我们将单纯的计数数据直接喂给分类器，那些频繁出现的词会掩盖那些很少出现但是更有意义的词的频率。
+   
+   为了重新计算特征的计数权重，以便转化为适合分类器使用的浮点值，通常都会进行tf-idf转换。词重要性度量一般使用文本挖掘的启发式方法：TF-IDF。IDF，逆向文件频率（inverse document frequency）是一个词语普遍重要性的度量（不同词重要性的度量）。
+   1. fit(raw_documents, y=None)：根据训练集生成词典和逆文档词频 由fit方法计算的每个特征的权重存储在model的idf_属性中。
+   2. transform(raw_documents, copy=True)：使用fit（或fit_transform）学习的词汇和文档频率（df），将文档转换为文档 - 词矩阵。返回稀疏矩阵，[n_samples, n_features]，即，Tf-idf加权文档矩阵（Tf-idf-weighted document-term matrix）。
+
+## 3 总结
+* 上述第一类和第二类等价。算法中的fit方法的应用等价于第一类的fit，只不过产生的结果意义不同（不是均值等统计意义，而是根据算法本身拟合获取不同信息以备后用），transform根据fit的结果转换成目标形式，具体需深究代码实现。
+
+* 必须先用fit_transform(trainData)，之后再transform(testData)
+  * 如果直接transform(testData)，程序会报错。
+  * 如果fit_transfrom(trainData)后，使用fit_transform(testData)而不transform(testData)，虽然也能归一化，但是两个结果不是在同一个“标准”下的，具有明显差异。(一定要避免这种情况)