From bdc2fc7b8c8ce0c4a7871582fce457d6ae347868 Mon Sep 17 00:00:00 2001 From: Shine wOng <1551885@tongji.edu.cn> Date: Thu, 9 Jan 2020 11:14:58 +0800 Subject: [PATCH] update conclusion on linear regression. --- ml/linear regression/images/overfitting.jpeg | Bin 0 -> 27776 bytes ml/linear regression/linear regression.md | 169 +++++++++++++++---- 2 files changed, 139 insertions(+), 30 deletions(-) create mode 100644 ml/linear regression/images/overfitting.jpeg diff --git a/ml/linear regression/images/overfitting.jpeg b/ml/linear regression/images/overfitting.jpeg new file mode 100644 index 0000000000000000000000000000000000000000..921b676a7ba09c04cc71d08a9e860cd41ac8dfef GIT binary patch literal 27776 zcmdqI2UL^I);1hO;jthB0s;yG0@9@`C8+c+C82|W^d_B9Z6G~T0t5_EI)s3PCS9a= z=}m&tdkLYpFQ|{_Ip;j*{l4#i*Zco#{gbsabI(09_nvEJ_Uzev&&lw~H^3ETc_n!O z5fK1DMEC(t#sD$^GBPsq|4ulm15o@yjv_+B)Vgu5N{_B4!pZqGR7pQqMM-YWVm>ai{(`%+FmC~bp+(7m&SX3hbK ze^EeajY^9`P)J)q^Tk<8=7+87XYus}CtZ8?gKmYZp=n^rS+aX&lM5piezh~%6)v3mQGINEjaEQtT)YF9`}p~s)^b!P z7re$kG@LHwo}_F6dgdlP(q1Fk2YFuIP12%$1b*P(r!CF3xTVIIw49hbTZY!dPobtW z6!-)URf>Y4YS(hKFi%Fz<-SzM8#2>DTrF29KMVqO72rtEC;nAP)a{Q0(IB+>;CiRg zhIi;{>!PW4H4N2ItxaLxum?7{$2X&!wqYG?ca$9(0pFEYV)EDlNpX}WOW0n8fPsu@ zQ5%cTog7Vx^A{yqYKr`;j*t`MqN}Z$Vf$kaItAZs6GsCI^yc(F?gu5Ar_S%@$Afsk ztHl~gwtH5L#GABpejL6xw6O0ynI%^&d8}VCO zU}z+#<%r6ND*wndQ?80O76nP>R?cfsgZQeP_T;vuam07;xKz&24xa#8e#C!1Uq5{f z=(_YHCS|D6^nWJw@<;r8=7Y_5elEylIn230Gwp*Ab`E9e)O^X*>eH$H*SF$fmBa3z6#ADb^; zi|3!+h8Sa6ybW7pTNhlg7f%3ZyF@cQ<#S*mAvI)S(d5nvapSeNVh6Xn4Nduk%v~p( z1UK4usEt|PCJ9&OLkyhT=KK?edxjHMJL>&!gf;G%$+K<+&g#>J#Pq$*aRv_-Kqk8+ zeLnDu=Vv)Fsw36xBFc5QGF0#$wtNFmFoUoHFM_TmkgYh4tL4mNNeOBRr%1b2PM?;Jge z%$%*MUrkC!J$!}oOkARk#oA=byk6yQEPh&y>7l6VkX4BHlGIg*?1809#&X~3IRQ|< z43N)?&3HWS36x>;JOM1(6(Arq{nglJMpMj_UO@qddwv%>A|P>zMWkGeHJAY5xrIO* z+E0(?yjm5?NUK)&Zf}3P^r^mUEe7gDDp8{>^^y3_oz2SWw6W(u@&Fx|B!3igJI#A0 zL`?pp(Dnb1E0W(E$7!y7qN{s}wy}I&0OcHIXGnkux8Cn2H@1;5mrb(3sfOP=>X+V3YQ>15I`xwBh0$ z1)1SqRb@S=N}r=6!{Nk*R=7d=lPT4%iP!+{=@Y=-^;8X7Zf<^qmhbj_msvcVO=Dk< zEkOJ&*_;O5_f1hn%*?5th$%VShdUt;?-OO^UI%95N+t(cNAdm>igP0%-WqeFAu-z5n#l#p^TLv`vyDH{AH|76kO? zChZwyGIBpO_Ca;0-N=FF(^i1<9V-mwvHB4V))5-L_yG0J!Hk$m+-6LT#V`s}Fs zwjGmzXjbG)u%}33nJ*$-pb9eRPxtaEe!V!?yWFw3OB9^pkLUWVYx+k)1i#l?l;`e# zo}z9VmuSkSo6uvKhpKrB`fYdj{Iwjef^qJ&4k*E=n+~7t)9gRqlD@ZlpoSH_<1Xo^ zaVbj8&T2gw+%=T&ng%ge-Cm79|LL4YBZ`GSX^VU5vn_7&^BSgjJBDYbRcE5@OW|sB zb85VURl`no$qs5O^vgLfS{aX)0uC|3jwMd)?bnKEdnDA-sgLI7DUg2?^6&-RLbPi3 zcP1h2pDTHsxlKCT0*N)=mzR&|d5RhpeXbc8?kVo@ldFRnuo*C?TG)n0PHIq4vxae{ zHYd?ATO8l?f2mt9u)ms?Uywf*kWYV);r=Dh0|e5nmY6we!mVgo?Aw_Fw}NH5Z_E7A)d4?gBF#D6@ECZb76$XZy}1n)alG)gYP8_} z02hYY4Qy>&2=yU(BJ{l1)deqM%@u)7M zgW>6(+S9GiGW;obH!P2kx2OmDJd*DuYXqK4P0Y0mw@pmI&`3yRQBSq^@jaf-h3+xx z45V|5_}tmJ*^PJ6*IDOC10@#&C7Lml4sB_-y1=*OD)5l_g;9; z_|rOV_bleTs3P;CM-nw-f}5fmA(y^7DIYg8?l5H<-KVa^zirznv>@l4j1AZKwPnVoqr`Ed6eY?izkr)rvlIr;qml5!+{wwQ=uy#MG*a-WI%O=T9hp46U z0#7(B6l*<|qL8&|9B6ZZtLnE8F;oz1S1f0 z=qoT*Zs}&UvM!@=qitOLvXAyRwH&c$1+iiM;TF0$zoFt zRIb7e&H|muuZ}mZwR%=tY9gvsktD6}@5(%V4K@uk3;*K`I;iKsrr*B5pxq%NB)0)$ zX=Ya5Og$<^tvyrB)8V^Tsn)gbgR@4&l_;5`e6-$H)?TFfaLzN5NSox)&>1u4YK5h_+>TF@{xGMpag|pic0U+iJXhQWU%8)$cgvcoxV*TsTu8^jK0QI5xY~ zM9MMRP%~QKdM-xP3gO>-cC*wg z{s$t5nitM~ywm5e%Oe72ix#L^{4(b6=bQPMq(;FbV7sF|TlKkk+7 zKA)}MM{a1pn>@fm%TXr)hq;MK(q!_*z()0#;cGs?+1jHLiS`ob+1S!gfN$>r@BX%n zKQf6l7o1S=EOYR#OOeF#pfWB98t$Ba?jz1`!U%HAQrM%W!mn9pFF1q?IW+J5*ciUi z5ZF*m)Pb5W&90cXQfYqKq-r|272TSEn>S$ifL=f%7M+x(~jk}yI+xqEh!Jul<4T;WO*Jo z(2-vfodziv>1|wzZcXdzVPYKrCX|RSt%y!(eg%pgwepK*N{^@%V%hasw_gzvu)Iej zk1wur)r(vHpvIq9+K$Wfwc6LJbjkE;3f2KZUL8Cl9jJI&HD10tp*^ft$vM+UIWw z$|9MCohpIjt=ji0-+w37<16M9GLmHvhX|+7^sN1>@ht8doj!s4%7O2dECjc5pAp~u zd(?=~0aifC+;I;Nm9F;7>qWpX3^z9n=vmCY2yzJF@8y>>_usH$@Kusc3a#&X-4O$s zk{=w4bmdIXWY|xK;2bZm%QB9bgE3uS3MqtU5M@V9iV<>-5B3Lf=KSY#=x*?ZYeA%e z#xt8f0DrB>1nXD&7e#pTresx61?WKqcbF9P1RzSF&3+u4wHCM#`O;){OWOAYpnA&F z?yYH5uY_+8&nrkR>{J&9jNRbbxfu>7tO6>+DqzMlb$&#;r`N%cPXMF;xr^TzUy_^Z z0t?Uud3!*Y?%_4McLW>_TRzpd4Md|0U~vPy+?*q}%j^C}>{>0d=2bQC;iI*7lNpQ4 zp|*31c=PP+pT9&0rm1lY4LzQ4qK?Ocjhd5S!dZ8s7 zMVLriL@ zTFp+{s@-wWy%PX|hkri8^kv&^*@}AtsT(Tg1G72oALg3p-FhItpqEoz7ctWeq z#a02l*$~S?{iC_R`2+cAz8gdJ>1aRUg#p*m<2E)^2kgf$GezMq61xtu?D|>XLY-fn zPx}I(_p<6!(KVD*OHj>Ft}#*l&{<}^NbE43Gz%^>DJ$U(j4_+fEr;Yp`}WoO^3;@n ziFd=y(CgOa!V7uPl`CY|LEpxjKjkLoTl@0l(rGp0s$_Q3o{Dg{cC;z8=k8amr233G zM2TvFTTql{ho(&DN~3Xt7#+;kt2a;p{vLYAh^M5-lNr zs7ZZyk98+DN&Y>36gAz`D)C{&pmis=q~W?$zi^(E9LRMc+>FBm>zQ~0@DSbDSZvDS z%wXou7nOs)0CfG{Z@hd@MP>lCZ<0SjLJk(M?gV~5CbVd&dk`gs~;s9a|jb;Z20~^nHyB@GXfK=osh!Dlx(dJFx@~nge z6LE;KdGolPe#+*`NQek;mwj?hy*|c-SE(iB5Ft7+FU_BBnMMT494o~P#@Wt{>Uc!) za<*5HO7s+MsUBI^ZGx~VPJ@H(cZxTrTLl)kQ!k@PL~=`PJ{ON0FVnw`J&~OnTP5)G-mwxCE_NI0UOE%1 z;yTyH4pEkKlPbm2R+yD*As!}|DkjI+dszo)H<$l`_`>!HU~5N5V=-y!q14s3WCel- zgD=p^dQ{7ZJ!(a<8?=qncg_U}V|KKpObiLyj`>0LmOcsfb|C?vEza+jRqShZDb=kn zaV7byhn^`$S@8$^?^HekE~sbpMqD=rhZ(c`Wc#d?IlCr%?^QbsxXZr=dEiia!WzwF z*W+@m-KEKeMBNzMX=7!iG%4yb0t8149Qy8m9#9nC|H`w!))BcwY`2KSZrNY5mr%=kX-G&RjAg#Z>oOT&&*pwzc{!0?Z*woF~4GIn%n?)UN-|J zo0Vkjl`k&fYJ(`YGEpfAbxHelTySLPRPur`WoP5SpXt15pJ)eZ5z~vFAo3j`dw~>{l{+7|WLxobEYOE!?Jj^v^Qc(0zpawrycM4iKOO0fALvG*DIMVUY!c+Uq$c?f(WjnnWdd$bJx4f z^_8D8JDas_u#SnKb&v3Mf0jy`Oketu@sUhvYYXc?MUnP{3$jc8Tv^Jk1&p@I@X~}t zr#V)^EuBH`r#1W5Xq%ZqZhg)s=1NKKpw)tOhkO$WL*d2&wL*r@ryIOXD=lFaqhoa* zR~=C$K4pa~i@n9(%iSbvV)~NG0ZejR^d;r(R#4LLq~Qvt;>Ga^j$T1=_kWu#0AdAc z&8APN{8kLN5+W^-r}$8lF?uT~S>BO5K%x;=yh6ov_E77rwc?hca1}{w4)bz?j-Jgp z*pOgXvUfK%tOPe<+Lv@NW#0v(??g^-)|s_5WwDp$?hlTRb)gyRHp5>-Lrp=ES~}4Z z8;Yas0e3|23mDqzR3YA*Tie7V%8>E^+|tr}`gVOy8g|Phb5;yUz#~bd3MIf<8!XNu z`LG_nVy@p>>bblXptu|}IN6n@jov7g3TeICw!C<-?eLnV7#KQ~VJWI>DyG`dXx|LI z<_sNNZlP&FYl(t_u$Eain?+vfEq^$=>8f#1y6UsH#=nw-vM*1hpMRrUA(hWp7`46S zuRVB3=Y^I0TK4tBGXhM1uU(j{2JY1Gk6FCGzLSOBX*_W7DEj)sB!(*E1d!zJ6QNgx za=K_PR(Gj-e5zNQNd_NMm$_8M?7Wl&X4CAYp~YYo@Z}FA-Um1|9%Qpj=r{D>oSHjZ zknQ?3kHS?y>qK7noakL~`WkV{tkJK#MJAwZGjmf_&Iiyiv`REjz8T6pSUwa>&+z>o zAIN8HX;6;J4>Lg-OC_b1d6XEa0HtF6K&)|LuOe}dTQtiGD>WRbV)69fMxCV6@)49; zqy!x~t7H?5+$LUaXDPv2i6Oqz7|`gKt}5^=W-Z;mYN*UJMegcp^ z=$N+3bu{dQGE`ukmb_9IfKV&N>c9u}?RJ~ID)em`EZ}UcgGqobbmvSf)Mr}Txb?R3@#aW;ygDUB4pfyW@c$*EmbH#BZcdFW|?WWLLglx3mwP zu+iJ>?&bSryGYhdkDXnPiKbC+`#KfXC#|?cl8vH|3wkv|V+r=sLsV)q$-Z7-%upv0 zadRelU1DxuDBfbJzv9SPMyajV-Q3-je`t%%iA)upYSJw##fDH`IR*ZIFW=rhm2d3{ z^6kz)t0)TgudeV7)F%07JFG^2o1Gbg+jZ;3GBiMvbSuk&sEb!nH;}>#jigzk3-Xn@ z-|dvtIoL8l^vqfYyzx=}N{z<1@Iy_7%c;pcCVX40;)hzTE&J8873e|>Pv!AR;5|Jn zJ>om}@`HN)Rrqz*?U!b>+gCpnQRy-+^gjFNDRZS_JC?rm`jp$^DB}&o?itgF=vuBM zij?ND7wv6(ShIjzYZS+{(TV75uuhK=1##D9+${+&bM0~IZ)bHC@N!>rT8db<;E-U* z1SWi(Ew7))tMsh_+cKJ>w_QSbz~**PTh>qUPV6Y2>wlf?k)~3SrE-Y$z$0!d-peU+jRU07IP)jeQV#_K0 z54siIhdWOI{K-=VGfft@Q|;Fh+sTjK}7tJG+ z@FxI#9O1m4l$51#$AcSHvz1cFE(SxCKRl##wE4&Tm`uw7kgefs9fBp2Wy>y^rNaru zIjTRl;&6vAIa?`ydSOq3!LeMr`5Z%r&uq?1gxcM=G5Hq`a&b%6fub`7YNabVzVYL@ zY!wp&djng~C^Z9)3Rgi6qNpaAyiMc`*op;6r?+{1N`3*Dk&ws7+j>JSUR?QehsT|& zkKH)pjGw(Fbm&(=rdKFgrf5 zF-Bi*Q_60x%R(=4oy{M-LTM8gmR*R+ljTvUyEsm~$ZE5nX7R;Of{R;7y{(X^Px>s6 zt1a)eXDf7-GC1Ae~!CqIuzlWsb3j8mt?&(qk^-Sq;smq^JKQC!#bvRYy{ z9N`)LA#!W`^51Z^^+Eb4iG_rYwH37n&X8~nNUvB-X*5PiDhrsEdx(6N(a6|WbKp~p zP3*<>bTWgrXkTA*GF09vr(V&`a7!=I+nL&e3x4RP?w%fyqI8pKS}j@L75l^eQqT0p{D$Im)Iu6mPVD0CsWk49#Z|NADFl`AU{k zANW{?nxuWZ0g9w}0uqyLW^^3c^m((a#HB}ebWHf^? zE^&Wu5GW!t^ZHGd{vP{R&_^MNZYMBwBV*;-p&3gJjrd0J97R(AP*p@RxampKV2fwa zWOseS0q&7lFX8kWYA#u$ze#GM++OoF)gmxt-(>MPBxLLedOx(+#Nf5kQl@>$puv2Q z)k;|sZO_(ua~fEL>enb^XWiHR5c9u;%KA0hhEB3W*;!~@FVUF zs+X7JaB*=%Yb2*IArGFo+zsr0oA?C}>-{i9!<3f@_q5%$%!*D>Go&+R=_;q6O$c+2 zgXc;q#^IIjpJMwTRM3Fge^ECV%xfcmpDn~M^HX zDuEJq=9YffahdCUD^z+o4y?`2 zlszF!OhgLrRc%nsO5Mwnvm4abtZ|*(&4kEw_6ZhAY;0MsLs1mwpr01HkzjWN5B?)0_BleeNkbBR8P``xW^>NEwf@Bd7O!uBC~XjbheL8 zS#m4#Yr45H+f^rks)?W=!k!rdz4ZVOk;b2uv9Iv4lD{;;NFg+Bst_3NYV>aG%b>qu zy$``{rZd{1Ijgq8^t61KC~@!0eD|7h3C*|4^RJaN#9NUPZb8nsP5|Wr%tgXCq{Wy8 zF`RR*jsg-ZWX+XbQa9PSit^Ar&|Bi%vKn=5_vkbdBU4Yel~ESpAHZi6mq{by zS<)(JYwwi@3bERs?hA5I4TjI$-EP{r5KXPgz0uvvX3@^joMhpRj7aNivH39}DD7vq zQpmitSBtc_0-c>&yTv)dm?T&coVHQ0U{I|{((>rWvxR5BCdbc65dyjhn2m~^b$dY&ghZ|HJ>s4#9bcz|-tr_2Vzy zP=n!6aCe*x&xS2D%zA)Lpb&McZ1WzBzFyJIiYV~q8_bwfP9Nonyh6aS$b|-)D zEf{nQXEXQAHx9TFYM*cd&{tiDjIfKhK!Qy9le8-uo-z6{wUIyQ$Xkd9`4m}fNfyRq zQ790$Tl&Vg%SmJoez~qJ23f&V0^}5P@?#0-_vL>`K7S4#v4*&3V{H-d-o0hi)A*w+ z$Dto}_D#VaNnXd$1j|XsusLhknRci^|4>=-i#>LTAbm$n~{1q6NFmK#cne~2D!W}bJA5C~~ zi7sRuZq8!3M0^K8E*i3_fW$K*CF9vy3|I_XDTGQ-0GfCJkxC6W0K*RASd*b{?~1%8n?&Ms1eO==B|8)YsD)Ula{J6|4; zUq;f}qT!dzJv#vxyg1K(yGc5g2!%rUQtw7JCXWZDXD#f^Lyv%dg z*LY$?^w|&eF4QWCKMXd0(fjc~VgC95Q+Yzr zCI4WU6VERER4L2c_-V7b2>_gV-M8j#akLcpFyZs>B!btYhpRI+z`pMU(5roPL4`t` zW42oQh)w!SdLi6rK!!T6-4K(%j1s!Iq>i~3f2jpiyE zK@63Q@OzhysMVa077{w&$&ZN7G2TVHw3iH0UW6)3=#``nkI#mT8ZHUUm=C={UH;G! z%WqT$H+AZWb2tGI&bhLFCV|omtWR;t-pwsG>tTb;%RzDZgGZ)(8#RN2u@|~fyb^@t zhKm3FC&W(yj6x3^Iyz)!orQ#oAK>D-n{U}zB7>~GiI;zaaz+E52<6!m#dUNi-Q2&8 z;93w#@<0WF9vzv>j&?H2qo=}I{P`rFTNI?2=nRjW_sDk0X`JV@*r!P^$W^7Mw}g!a zMOxa|(WfWsZx-Cv_WRv3A@SP*;!jJ_GXQ|}PqWY;e=039Ql=^KB{tH@F2Dt)7fcTh z$3l0MRq2qc@4wH-vV5!WT*D9cdaU9gm(w zmjJt_h5kCfWgffQPKH3vzdP^ggpoR{v^Ircty1(jn-OB!Z6IH^(6hZ5o zSYFYol~mDsh#-41@R`l9w7SO6mv?@rJJ--rf%)E;bgWVk>@ev_dx^HE3-Mj}_H6HEr-AcjST5E`o`k$G|?^+LxJz(V~;L z%%;PBJQieBE@rEl_x;AKPLx_P5eB^fXh$9%{cZ4RA(-CG+B$CHo9GlbH=lN0AF8n; zA+aU#5G~5j$dKl#+P_eOj`q(Rn)dKF9I=K^1(@iVbRPmT+%*m-1#r=WGx0ip_JS;y z3~}4r@%wCz?p=j>ekl5xii+H+i$_KesP`JS(d!J%I3Kp83Is`M-zbMhrup)3g+r`dyH!kDqEjC*Q9)+V; z4B$)uS{c(tmPK7yj<%qz{4of6Pkuh7I>*{tUtVK|>sz-_JrumeJ^gillR}_)&)hGT zYCW+xDaJ~xSP3ba`>^BSrsYp+PyhdixZ8cAFaU`JkMa;KBD-+Cc;y`ZhDxgUwOq{#}OO$0{a@NsK%!b2A|0gT=3rk@2+AZ=;&qQnb|;w<<70h9eY=6q5IZ zvX~UQ6p2h1MER`12up8m0WUUqPzq05_52Ho_aF6l6U#3mE?2FD=J3GdL1QJ@)$Q=O z-?*HU&b&v5f1LN-EfUKzl+Te=K(Lwck+yTK6gQ}9q_B%U{YdkhhP+ms2W# zD7;89tv4!JxdQMGDalQhZ;QS_m}9d1o`0A`TUweg42_3Wjuv7=uwW_9VT7b*FqUAk zCyXaU!*iv1rwk-Q4NF@Ij->z-hqN!QCF%3KcGXyW2Kf`}k8I=C1 z0{&BF@Y@Ra`j4sqM2`rA^S@knyN}zw&Bpc zaW=1}SXH(|c14=8!^XC&7ph${D85KRqgDa4+vKb zDz~)8aom&|8RwE>=x_)!9GX1Wg0GiR0U4^g!1czhyb`xnKmA0QoTGD#F@;E_GE;BM zPWxqlN9tIA$=Dt;0I0a7!kE!mXu#frHW7Ut7tUI;e=TrPTZdfjWJ;wqx3f*!sn<5@gmuVw;Cf~g z@qTl%0z+R-ix~AIvpW2rYY&OM^=IWuc9^p;h^aQ{jy4ORd!Zsz?ONz30Qo#!RmELg z#-z}@nzTP5zfls3Mq}Dcs<-VX*$sf4(<OTR5AxLSlc>m78FIm8Ub@T~*h{zZ%+teue0Jxh?&asYb zW!#SxYT}&nD=N_zZoaFacLLbDyQ6akJ9?0_5 z=#qg@UVLlOTb;^HI4Gq}rNA=ajNI*hL948q#-_!5h}}{Oh7aZOoeBtjGTzuX-((_^ zztOoI3Yp{TTJ9|4TeG|0KZA%H5SF$0vcBXh7C)cTo0nc->2G1dq?VbJGX@*d!G!x4 zRlhaF^eo1ZzJpw(nBA4^VN`p*Fx}N71hk2qCR$KZPyDi<^~{5cy1i2~;8;Ikaa+nn zuAltA2*!0|gFD%kR~Z#L7TbO8E7_aJ%`I8%A1lIXM#nl@B?|hjh`%V*n%Agl z`l|OBRk=<~4!w?!-cO-!I0RXNY;e(3=r#p|I-Ve_R4slEx)!(5z=%Wj!|46!* z49TKIL-z_aP5??8cupSKzvy^lnk<(<0Fv93+WTgi)^^v5^BGq}##)y`r+67$CS1Q= z;I5|o-2S-_l_rqs_&Poaj@6{64Rgl(WxT=@&MOfKe0>#FUOc9(L(=sAtPg}3=o_2c zW{RqYZQF`;c_@jt z%j&cX?TKueIvYk?i@2^YbYv8+se4p83f$De1LJ@>YOqd;S^lJoxiE}aJ>~eI)>ydC zfL3}@@t%QIYpCN`NpahLb)PP=;^)382RjhQ(3n@E^GjD%GKZ4j=5i|*b9=|{S(ZqS zdc3N*Gt=2rTGWUZ3rqPpEwql((UhUjK^<#=l`x(Vf*gmwPgnJ3krh$9D8$f5aeic% zHH1=a9GPpqN0AgTXfBM?4QC%7*Rr2zYcK5_6~i$FfyL~+)4STQCm#{~D+L6(vS?B& zX4HK<)OxNKsc0lWqZ7t<-T=2%tEfHAT|YDnkWN>OzN=jFWCmQM=`n&aPegxs6xO)O%}^? z=?FFsk*C({z6cJg;wVvtCsa^?v_~pT+_wDQ)lD_1*@1T0VNN z#-f+G#oL+QJ2gqqZPh1_H0L%63cGE;f+S$}Ci4DII)48Dw>T)l^n$Sd!9w9lK)Mjz z3YAbH{eDcxaN_(34am`B%s>IgyyrPLpWhstr3UqSWwg`3%?lgsD+X~&COF*+8$=0l z6;h5l3oxkoTT{z+F@jaZf{g1Zw@O1YeT}FkKqKS$P%f8+REAtdb;r)_$a1kJhcmAL z017&BEHd0@aw68)OS0i%@t#G3m#fj-Xst|McRvTGAczYR>R|)--YPvqa5t%PX4Ff> zvU7AZ(XFM3B7;Q}1vGWFK_J;R>OojTcZ&DJ{LO=iPoSaHBp-sdDN$DX9t6V;UzRzv ze0%jc1`or(&aB7@XKaaw2P`XCcbxl#axYM99k{bpK$nI9tF(2jkds~aWEXyW0@%F7 z<+{60xRa*8%cgXb+y7c`LEjygh~UsdL<-2-L(fUlVueQN3#nkoeCB(nl6y+#9^`(8 zG#%X{pcF$dU#vQZsuWQFy}6YY3yT<>a6Jh40r)%^wOGn-SI85B$kcpax~*FIe1R%= zem5z@-bAZo9nll-31ee^pXQO6xamw)jwgvnK8I#aWdcv#HwXrrzKxFLcYhuA|3bW; zGd=ai008da_6P0+OJmFMoPPgE4h|Vp;*0)jT5ACRgJE--o0L2PJOP{|x=Cczy&#Hw z8UN9%aw}5cQac5wF5lWcyvl`QVHpK@Dm%Mm-#KZ}d?bCapOr|*o8BVVW<-W>Wxymh z^pCLcamApJqYI?{b*7bRiBgtuy@6d(`-ZkB1@QO^edqqBqc>w`82WvS-@e440C3&sn104OVJupT+qQ3s2Z`j6Z`vjmE(<9uC z>)bVqcW;B(u=}_*z>lkh{Ak-86bv2yXcj!-T?hb0IqS-e7VJQr%NSB3KMfRA}3+8iyC#5*Ot zMl^rUHvFi*BqT(|*jfov(&F{VW4R^E)!;~R;mJQuv;QN%+S4tC;8&ZFf%>5?QQ4*X zdE_8fSK4?kF4Vsebgy~j*eJpbA zu5my7j+29o=gG}T><2p%YjwZ1tQ1W)MTh4l1O>e^NQ>E)_=-N$n5$YU*-yxs9+;Otb9PE^e}Ne+K%EWlJF}duetg$IinuF$Aj{(C=Ao zVL>jzB>1t2v9ZuIG*KU`n^1StvZXLLx1HK@gd&MXa)p~ztVdia&w6eoRFa*?78bA0 z9hD=Q#18T`iod%Zg#eoFFuQly+1HA<&F5#@kFxceTc+VRR*&8Yo&e%2RZHOD((Q~7 zg_zH68hjMZRcL%zvl2!~*w3Tr@zn-N)zrEZj@nvrKi5Ey{bmbTzZ*Y zO?8PS&)&qKBq#(oCPdxL30m1$als`&aZ1M(yMX2FZ-B)c5|nT#$2;$=bIad?^6%d2 zG%~k`$LZVPfuWrr#JO{Z@|t9dc||4$J28EGaue~*S|9?)yS+>P?w{w;f3WxcxN>p= zSpMO|{6oFN{nN*TkXNfJJ(-cflT8DqP63=LYX)jSnL2TK-_7 zbBCt%t&r0dLsNQPo2A$}o)b@rMsJQPM2sqQ+g_VXZ&<(SXVnYz)hL$y83}YNB~vxO zqWw`|`}NN#_}+q$x%U;IkS&u`)+po8=(P3*12V(h?n)s{Ri9G=rGW^PRm%GD0sr^E zq9`BL;l$Lid9+=Q8MopHm|!at`rVM=0-?PzLPMQljPG-oRPsx>#klwsF64qz$aR73 zM|>&^Hw<$?Bpf4UaN+U^97UB zGqxjFC(9U;Sj^2mV)A4!rYa|snk_j}hUdO{fdp9~098eh6Z}Knj z!Gy=oCu`ix`7RpB&qvnmJbK%}Syf1&TpM-*$jL|rv-`#03J5hh0jw}U`@X`s4YbpT zmr8sQfu|QF$TOC%83ZYP+flfy7n+mF(m2I*iHek~x43}%5x}~iaK`cf$8pDh3cBy~ z<4(~>O@5WX9(ddk5}7^$d^CI#L(#ly)PuMjN=)l@KSY{WbG6ts&i|!Wkz3NxvMB$} zH1EC4!xW7Vl74*w8XUtyFJ@ohE{H*soLi?4h?_f43qKED`%sl~HIPYoBDQs#^w&GG z2@Bnqy^&M1$v6n`)5fOSo+R?IS%ux-)h;uAO}Lyi)Mxya!y}o7!NLqo!weP$MW(X0 zQZP{{{i^(n5+gDH$nd&$Nh;$Lfb^VHAZTc<%gQIEU~-~DZTBCLC*o(x@*Nl8m%` z(`r=4cclteoxg$l6M(f-0L)1kQkojS;eVmJK6UW=CtPRi-DJ#vLql;?{}bAfDJ<-^&@% z#(qcWI;l}qtuS@V+!iAlN4_LBgC{f&rVvywIt)NsJP|$ zV!+OE;_%(sgx7Pj1{{1?b;qU8UN49{<1W2B8gAaO zcBQ9E7EWzu5g|*sR762BJ-iR_Ccl3LakH*cTCJri)qC{N(hHI5t-)KiZ`_OOL2&Ez zOtCC2g(?`Qz6wz7s2?CX{||i9LNX7aV32Wr*8lzjj_tLbJKwWr&ro9NZ@$(bSt) zJ)bDn63L{DQf^Q+NHVpJ_d-etd8Nk_YfDfIX8V}>XIX{lPf7MdI1*N5uc}nodWzb8 z9|@-rspt!IPH+z3|Lnb^9`SG*AE?^e8c|vJz92L-IM@TL`#ljn`ALN>cL1GY`Q$a$ zFIh%`pHp!_+%Qr-4H|AT*c-nRZP(3~qS^e)=c}O=&(^|+Du}UtZly3!S9@di69Ca933-?EQH$xbPB*u!Oh2k0{w_)^(%BJ4 z{&tGmPp8#BGzX=(AZF#r*>yi9VqDkzN|1ZAw&(t2DJEh=P-s*$Dbj#&$X%+ad za!&xCe$o2vUx2y$6GPw)=7AWmkyLXl4%;Z1pD0y$b@Lu=r8GYfJ^>)cj(cPL@Gq4L zNRk}WSh*NG;?QLkR(EUp9_iWi3al>{vGBDzZj743Fk}3>t(m|#1o&A<#ED-59Z+-l zX5xt}Pk#)gU9~AGDKX80Z)Ujf?M}*VjiDt0Xj9(Z0NR0AC>7;^NO8qh;r#k^b*32s zX<6R!v!C-(JQ3kL1iw~xs&=l3Mpm^iZY4CMVYA$!qmJGqtOVa>*1Yda!{rIP41NAI zdPTR(`nMX}7aUuCjbkT|?8!+ch?|;A=W@l|8*}yTpkbD@)p)h~MJIV!mXy4FW@L|~ zF;HuXF2B_{D;}4P-e>lmC^n2FlP0WO&ZWXp&rq0$&A0jX5gT`>-sJVCaVV}$Q&0!s z>=_Bo-i;Fa!93V>c5e@bgyXFcUTy>3qzeV1`x-4L0D(!*Se&52^Qxk8L9QAOTj^Vp z8odGXfe^d1tx{dorc`)jG!pw~9`UW6|EVm6z4&*68g4^*yPLkM^ z%jv@#pZ~ww`4XU}vTbd;y=p5CjR>>~*g^|RfXIwYdX+(uLBJ#=VNf6mAq+AE8AG>- z5CcR+W(kc9VMst`8A6Q%j}w^Nncb@r;Y z&i>XqJ3D8u^+}ZWzOd*-cr2M75|zlD;7F%kdjQ zDg@#qYWQ`{>vnjNGwtmvN?>|E)Z;aPypVBceu?qnPX09AKrh(ACU~D6FTedoYYpL* zT+k|hvV_}y)7gIlV7fDDbnE7{5fOm=eHi9ZXPrKi(JOECu6OCa8@HqY7C$^xY^*fNQ(S?AFo2`WqfQE;E0 z-fg@3*CT%$)I%`o_S+J>y`^6j?JKmj3QayWI`&%<^Z%%F{5Psp`5c@oZ=`7V_^xcD zeemkYyRbQ3c`)ha)+L?tRSDK_B ztEk%hhJC;ytv@GrWsUeZ>DhEx5MlPsSJ49j0l%mGS5)n9DvTd|Ad3Sr2C7E$45uSpjTffe2ViW27l~eYPeG#WXUOV9b_{U zCY-xi%S-3Hm%W;>L5e}M_~8Jv&E4V~^EHiWqZ?XI*;I3{pCUP;jpBhSQaLL&mTy=o zdNOk_5wkI4@|>s@ixPgawOEb^`7`!&ce;snyMVLFo~TeF6^)NoLouaG-1H)1>f*{n zL`2H3>Vc>L7$Zhs=v(5*Up@)#`&H+q@b=W!aYoT^fXgSul>@=7R7 z3*Sx-5G;GkgeiF}zq?G`6#*q4yD{h-FjO%vwk{`9S5&_HDs}L^v7<|rM1ZY6KzkHhdkjXO7%)_sCPf?31x77t1?c+kiD)P1A@36Gbhz87&qWICO8M!QC_omZM4*`_3e@LqZ!3~zT^lF|FZT@4kgUe4FMnQ6 z?M>VhaumHJn7e>n^GlTcyY?MuPiQM+PiRT7AAbF~>xQalQ=wFT;LVVNxLgA<6v$Qj zP}t^r#A3$5MY%%CNK030WfOyj_XpYXuK7N1$sd#nX)U7k`~_^3!h+2Wh)q=d)J-ra zHrz||w^R?Rqd7aCrWsX8(#~$b>pGAxK2UEhxB1uzS&Xww>S9k#KU*1fQKrWwX>^6x zD``;EHqXatm!GwL9eAh+IicZu5)N`p^cqLs0lDs8HU2a;E?6*9IU~LUb9>Lg|!UBn?i1q7_Q+t!d`JoRTw{v-=tF9&IFSd~*z-F80D>YPX zfX7AOo;BeuUxXG>B2071t5OrSj_$$-BJvC}e{(QO!@eL@CB$T=l3k`mxRoFA53k%R z;FbXFqNtwfEXL~yqeK$ifSpp*WnJ2w;wX{z|R;JboDJj-pVK+eWU%_JOQ zp#Fgl?X(i9UWX9FYRpbLJgJovf6dcXMNO1;4$Zd3MwgnPp`i->i;1%#lpyhHY}#B= zQQ1WXwDJ)QRsn)O*}@Ndj^s%xiYXnpYpy+L&|w5tRd4dE2cNsQA*=OFx32C*s73cF zLR=5^=9PADj}J|a=%lP;A7bXIxD0T|;A+j_ujS~VIyVV7^#(P_uZViZa=JmK)$rxH zhJfIV2UTpjW5M0-?0g-g^k?x9$u?ExBGkw2D&OKY%NpPexPT;u$0;9EYw!4JTcoDX zVYW*l6lg2Fp}@B&i%TM8fI;5IS!5%8h@$`b1gU2q9#63NR}90ueS&Tkaya7xW+p4R zKA4sO(VS3SMg~MQAwZz#RPDuit&l_MCOOi=sRKXN_=7XC_sjgO=;NdGYfOyR-2H2g z7JbU?AqiCnwzXdl7-BNl>NVF5Ctz#1F13sq+tgWJb#qOGNF3xgYpny_Btr^q<-FZ8 zXmE6Ybq~QEe1v(uf>a7TiNxB1S)h=MMrH9I-t~OkgdC$~;}*r0bni6wd5-|3VXn8N zU;8_#4&MQ&eR%MCGgO(ip3A-Cre0~RrJV0knw%J`+6xgwN3Dj`$8`n)2^3cLc)c|C zq;nOl0z4hv=Cf+=5w8?GoLG!qpbu!(NV1Y&pSqkh&eZX+i8nYdEahSs-!eN=IA8TU z&1?3%?zdgj%`+B7q%)B?%>w|lj*|mXb3Te|NW@G*A9io_RzEUQzCn?0exvIPATL!%ka}k#|&tr*q7+as2x(+sFqUbJE5T% zta3pR1mpu>f&f(}$*=S@=V9|u)8<4cZl!HHygpcssYVxfV?GbQDyU%p=k143N4xhu z7;ptcT5DR9ln!Kdn#6KjEZ`VZL6tKxeL@pjX$pHigSPX9v;WOVY#6o_-R=L7r zY)d9y;7vHfOKbVCFDcJx_ukbb9wt(%C64Kqb%D+V05DKmU)*s|NcUi;Lr!?4LQ3GB z+YH54YS$q}+VI$!x@?P>(*}xe;%F8=)L(DH9^{|ZPh_vFgXZ~HO7}mP+>P#h#=E^4 z6gsf+)BU-VMtRZe3fmzwReM6e0W*0}2~DJQ9^S$;LvjwWd_KXwgYg~uph1>acIrn1 zhjdSajPPSTLs-;;PxcZUQCPLBCz|10)szCr##D=r4%ARFVC0K*ywyHdnBNcgYe4&LA%~pNl1u8bE7fVS~T%s zeJ-ok(KAc_x<~132X3g4>lspm9IRT`)oPtg+o8UxKdC-L0`;Q8r%zR1w2!f4U1z!Z zScdz(M}UEm7p4WtK(0MAtxaX3s%!2;l*dg}DVftC{}hZw`TkaWhkckb&JyN$!foig8RE0yVF%LiI93Dwe5`vK9Ldsk7PYTn60U zw%X79=JB?3B4SxMU4Lk;p~vOaTqKSjVQkG9*ny2|BrxAS7EmRehSDj*;_3Mu?nP{J zPp`d}#)A6gpgr2(s1Sl!~>I$h7Nl8t1H_3)KPFLk-52J^%>G$ zD?ccSW|yPA(~Xi-lG;!X+a=v+TqoHU{e(ePZt7~fY}1~QQm@}O9-~y`UO9c^$vyeR zoyVS6%u}{r{5rFwq9Q6J13^>6 zo({N$yUCXqOx2jO!q+=9<(fkVy-de~&2<6PFwAprgXK~kNI2XL!oqv%7()GzqR;d? z=1B7E%^O0ME8fr_W>7GYMrC3`xO-m;%TFopUDX7xJuF0*_%3OLpaKZ};3v}Ao}aVH(srQ^1L8;0Ezh0-h#uWE-=uU~7c7YU z5Z%6@-|r|t^vf|+&yi4Q&0on4m!D@1X?A8P#;L>z!+i-?WIk301`m4$Os^;r%y0Q# z|5%X?6CBam=GC!fpR7TvJjcHKdz$Y*u0;F8vQM|6pZ6uNu5PjtvD(i!*Zs%pCiOw+ z2+mAxXsL*wMZ8@Jc5uAguSxl3c1k{~Zx{;UchTT2J+#B_>la@RKuHVm_WsSVQSc%aIMruwJ`6X#0&;@BW&VLX@)15= zVm@=Mw`f|$VK@x-d3*tjbiW}8pcy%^R%#3^uZ`SK;7%|;gaUUZuU2Xr9dff~-l>9$ zYVXOsMa^)-Q^cC0`#$uoLtw*9N+k#ER&8m2E^O zrAi4{WJB4!j4gpAaW^yX_7;Y?zj)lt=vBddC~(i5HR7HVfiAmmm)(bh&sVF;gsPT! zhUaSCWFGT&eoJ{*c8*K%ib{Jh(N%^*%@*#yl?^9?XfjNd^gtWrQFWcbV359BblQ5o z^t!=aPgmNxVjuuy_oB|QD4JY+LT50Zq+#PVVGX4#)LRS_26n<1{>pT|B7eJJHrj*N z!d>K=6rGx}^|Z9}nQ+@VKY4WpW!Ot?V~n*2xHfdr#iMv$u_tk`+~P76X4zY~rJCNW zKV6>@Va{*7W3_31MXs-rgqv~%&$i5GWc5t$-;&jmkRU!9=Wv$iSJxqyz```3td5Rt z!D?xZx+f+62=%O_>6-1h4mMTUWhAXg6AT8e)whTt&F{QyQ@CcJx>nz1aOmTwTdtS= zM%^yI<_Eh#bD>e28cM6Mbo15gYVs4HFiT7?-}86BGiBbc*rIJpko|U4;)uQH$Q@mP z)@;HY04Ov30Gc^pGM(d^ib1BBZu(5T)0Z}s3-8`maui$DH+OGoZmVp>^V}^8+ota$ z_Jraxvb24}sTggV^I!!e<_CtQJa@}Ij^2G6_~suUtpBTjVdq>)`LMGYL%J#i#w$C$ zc4MOd{W3>wOVhIShJEkR(>1UUtpo>g1lkZ+lIGd&pY$XVLREy`60?VCCb&L^67!>0 zy47n&sAfk%rSbs*Ip?arr*+rC^SgbEs^zLW-0Sj;V{$;eF_NW8S=kwT;q3;(+Jd0m z*r%tJQd%aW&B`bypQQH8p05=a8kdb8}J>iYgu%P3Wb0UNOCziQec+kWy%} z*r`&NpYc4<7}?{YD`8HSP-Qi?yeqm;N;=+=Thz5pNY_qY(I__8=v&v)g^G*2d&Nxk zTw>*Xg8Pg^BV*So3*r?wfoIA0FX&u@=8vxASjpA;lqx1rvyk8gte12NIj272Q(g*- zpC}GedB@cQ$~NvquN)T1TaNnHpXCvro!gs4Q$p-l7>- zxvhwCAHjK9tKoKk29=*)bclfi4p0UJWC!`pZS@|DMPfrkb3jxV+v$2{SaJzYP|v7?hQ zN$1Wae+j7cNn(O~x5}l(7b1aM#&i=lg(iHvhd;2$aPP#ier6eZ_<-VC>aNn2oFVlLXY1oAzZt69`rIkSh!ij9XF-v5qkx?$O`b8$p z>&k-Dua2VU+{q3jlC?A1;RdxlF{$^GdyVQ@QK@1mTgmO2gFI&hpBilzf-ZHf$DBZ4S-TeQEm57=sqgC z+rA&D3z^OhInPS8dODrvji{o4Mv~IzL}*eCb_9*CeT^X@k~K~g0}McPfHOX^Qsp(M z9QP7^f5!#Ak&fJ%&pD(4vW*aY1V!q5Lcd>-lA1Yi?7-m}egx@I{NpY-Sz^wA)APk0 zwCP}D7L}`B2#JZue^S?Ns=--CK7Bnt6L89s;WEl$?^Yzps#M#9`r_T*Ao z|FJ+?B#WR>_2~YTG{Ji)qgN>jovbxjHH;@BhPJZ$q9@(FRi=X}xvAXXLFqNa2n;m1 zbeT5!dF!hC$<9YxO=^PINo>205O=c>kV|83jTqZLvEtEV{{_9BpEVC7@q0pj`af@B zCDa`1%z~(u{28ipy>n3s_}m<4cJ;rgS4Ees~-{dSP9i^Ds6h(h*8GFVQv=S>y~nn8Mi7#W}m5uh%^ea zJ}SGVZxEvnhg}a{$O~JS%-}iOz;io}Ytk@>P;cF_#a2x>Sn|)8cz0`@$2gqp%K92T zMW3A;Fv3UX*nymxQ_8uuydY1iM?vR~*N?4jOYZxD*^Gr>;j^9BCLlnS zzRcM&VNiQ$%EJcS63-XW(W$uw(}uYFj3((3)Jh`X+j}Ngg_~P5ZJYcgK?V@z6&~r= zPrlKcS5`z8K3$7^z!T4YJi;5>FAORe*1b7BNb^~Dp6teeL~7M2RGI_3O1TACxI#9k zThzROBe!1^Eg5JBq8@U4alEa7PX0F7y3&)^%M>{&c9 z(_*HFrI7q$Kw>R7A>?(>;$T{ke%`ny zoc%Nzuc@PTaqjvuXm$$)TXd7lIGBn_6%(&0u$HSZjJ@zQovl!E*o`xzgHu~g-U#Sp z8Kh%nsusrfTROHBpMg&ATG$wYUfOH2RP?~GO7Q&7#fP8a)Tl)8A1zLRER&Q3&a?JV zap)z)J*P?F5lT?07%Bj6EiI1I9(M=hVdt@w^Vouy3XQD=aScwg-5}es|5RoA_n+P$ zq=JoNz)$$KI?;6~p0^iK=L)JtFI0T+ipQOY_9i*c6>szHFKZfJ+c2%W*43K~yn8q{ z=H+AnhC4_jAf4q87g#F!0jK%Kp7Ea$j$maZ>DlJMWnqMAt&a;?w=mSEZ=z{>fFPPxV5pShj@ke0S7^*&}76G=pfWc>*p(c`COFx5`#D zm;ZWE$HE|=%+rbRh-BQInjDJ1e1CVcm{AkvC^~iXL*F7+Z#($X%l0GN1f`I?fFa~# zNBG*UH~TVrjp>;huQ#;ud7o&-2$8Pv{!VD+8lEPX?kv+D9RnRpr53preqSAX=;)ph zSC7xeBZPcsgLM9yS&o?6Lj>?F;!q literal 0 HcmV?d00001 diff --git a/ml/linear regression/linear regression.md b/ml/linear regression/linear regression.md index f789fc7..5669efb 100644 --- a/ml/linear regression/linear regression.md +++ b/ml/linear regression/linear regression.md @@ -22,12 +22,12 @@ + 过拟合 - 过拟合概述与产生原因,解决方案 - 正则化的损失函数 - + 梯度下降法:仍然是凸函数 - + 规范方程法:一定是可逆阵 + - 规范方程法:一定是可逆阵 + - 梯度下降法:仍然是凸函数 ## 摘要 -这篇文章主要介绍线性回归问题。任何一种统计学习方法都由三个要素组成,即**模型**,**策略**以及**算法**;所谓模型,就是本文中的**假设函数**(`hypothesis function`),策略或者评价准则,即本文中的**损失函数**,而算法,则是选取最优模型的方法。本文将从这三个方面对线性回归问题进行总结。 +这篇文章主要介绍线性回归问题。任何一种统计学习方法都由三个要素组成,即**模型**,**策略**以及**算法**。所谓模型,就是本文中的**假设函数**(`hypothesis function`);策略或者评价准则,即本文中的**损失函数**;而算法,则是选取最优模型的方法。本文将从这三个方面对线性回归问题进行总结。 第一部分阐述了线性回归问题的基本概念,给出了它的假设函数以及损失函数的数学表达式,并且指出**平方损失函数**在本质上与**最大似然估计**无异。接下来的两个部分,分别阐述了求解该模型的两种算法,即**梯度下降法**与**规范方程法**,给出了两种方法的数学推导与数学表达式,并就实际应用中可能存在的问题进行讨论。最后,介绍了在统计学习中常见的一个问题——**过拟合**,并且就解决过拟合问题的常见方法——**正则化**(`regularization`)进行了深入的探讨。 @@ -135,10 +135,8 @@ $$ 学习率的选择在梯度下降法中至关重要。如果学习率太小,则需要更多次迭代才能找到最优解,需要较长的学习时间;而如果学习率太大,也有可能导致收敛速度慢,甚至可能会发散。这是因为学习率太大时,不再满足全微分方程中微小变化量的条件,因此每次迭代后被优化函数都未必可以取到比上一次迭代更小的值。学习率的选择对$J(\theta)$收敛速度的影响如下图所示: - - 可以看到,当$\alpha$很小时(如图中红色曲线所示),损失函数$J(\theta)$收敛速度较慢。随着$\alpha$逐渐增大,曲线逐渐变得陡峭,收敛速度越来越快。可是当$\alpha$很大时($\alpha = 1.3$,图中黑色曲线)收敛速度反而相对此前变慢了;$\alpha$继续增大将导致代价函数发散(图中洋红色曲线)。 因此,理想的方案是选择这样一个$\alpha$,它应该处于收敛与发散的临界点,一方面保证被优化函数最终收敛,另一方面还要有较快的收敛速度。 @@ -180,7 +178,7 @@ $$ 容易看出, $$ -H = X^TX +H = \frac{1}{m}X^TX $$ 因此$H$显然是一个**半正定矩阵**,根据凸函数判别的充分条件,可以得出平方损失函数为凸函数。 @@ -203,30 +201,15 @@ $$ ## 规范方程 -## 过拟合 +> 规范方程的直觉理解 -> 规范方程法的推导 - -假设函数(hypothesis)$h_\theta(x)$满足 +前面提到假设函数的表达式为 $$ -h_\theta(x) = \theta^Tx = \theta_0x_0 + \theta_1x_1 + ... + \theta_nx_n = \Sigma_{i = 0}^{n}\theta_ix_i +h_\theta(x) = \theta^Tx = x^T\theta $$ -因此,平方损失函数(cost function)$J(\theta)$可以写作 - -$$ -J(\theta) = \frac{1}{2m}\Sigma_{i = 1}^m[h_\theta(x^{(i)}) - y^{(i)}]^2 -$$ - -参数$\theta$应该是使$J(\theta)$最小的一组列向量。由多元函数极值可知,$\theta$应该满足: - -$$ -\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}\Sigma_{i = 1}^m[h_\theta(x^{(i)}) - y^{(i)}]x_j^{(i)} = 0 -$$ -解上述方程即可以得到$\theta$的解析解。 - -为了简单起见,下面用矩阵形式来对$J(\theta)$进行表述。矩阵$X, Y, \theta$可以分别表示为 +设样本容量为$m$,则输入$X$以及对应的输出$Y$都可以写成矩阵的形式 $$ X = \left[ @@ -254,7 +237,44 @@ Y = \left[ \end{matrix} \right] $$ -所以$J(\theta)$可以写作 + +这样,就可以把假设函数也写成矩阵形式 + +$$ +Y = X\theta +$$ + +为了得到$\theta$,只需求解该矩阵方程,为此将等式的两边同时乘以$X^T$ + +$$ +X^TY = X^TX\theta +$$ + +所以 + +$$ +\theta = (X^TX)^{-1}X^TY +$$ + +这就是规范方程法的数学表述。以下就这个结论给出严格推导。 + +> 规范方程法的推导 + +平方损失函数(cost function)$J(\theta)$可以写作 + +$$ +J(\theta) = \frac{1}{2m}\Sigma_{i = 1}^m[h_\theta(x^{(i)}) - y^{(i)}]^2 +$$ + +参数$\theta$应该是使$J(\theta)$最小的一组列向量。由多元函数极值可知,$\theta$应该满足: + +$$ +\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}\Sigma_{i = 1}^m[h_\theta(x^{(i)}) - y^{(i)}]x_j^{(i)} = 0 +$$ + +解上述方程即可以得到$\theta$的解析解。 + +为了简单起见,下面用矩阵形式来对$J(\theta)$进行表述。所以$J(\theta)$可以写作 $$ J(\theta) = \frac{1}{2m}(X\theta - Y)^T(X\theta - Y) = \frac{1}{2m}(\theta^TX^TX\theta - 2Y^TX\theta + Y^TY) @@ -272,21 +292,65 @@ $$ \theta = (X^TX)^{-1}X^TY $$ -> 引入正则化项的规范方程推导 +该结论与上面的直觉理解完全一致。 -为了避免过拟合(overfitting),在损失函数$J(\theta)$中添加正则化项(`regularization term`),所以 +> 规范方程法存在的问题 + +需要注意的是,在实际应用中,$X^TX$往往是不可逆的,比如当特征的数量多于样本容量时。因此,往往是通过对$X^TX$求伪逆,来代替$(X^TX)^{-1}$。 + +> 梯度下降法与规范方程法的比较 + +在通常情况下,当样本的特征比较少时,比如特征数少于10000时,选择规范方程法会有比较好的效果;而当样本数量太多,则应该选择梯度下降法来对模型进行求解。 + +这是因为,在规范方程法中,涉及到矩阵的求逆运算,其时间复杂度是$O(n^3)$,因此当模型的特征太多时,该逆矩阵的计算会消耗大量的时间。反之,即使特征数量非常多,梯度下降法也仍然具有较好的性能。 + +## 过拟合 + +> 过拟合概述 + +过拟合是统计学习中非常常见的一个问题,它是指模型的选择过于复杂,因而可以在训练集上得到很好的训练效果,使得损失函数接近于零,可是却难以将该模型**泛化**(`generalize`)到其他应用场合,比如说在一个新的测试集上预测准确率就会非常低下。**欠拟合**,正常拟合,以及过拟合的关系如下图所示 + +![overfitting](images.overfitting.jpeg) + +可以看到,第一张图中的模型选择过于简单,用线性函数去拟合一个多项式回归问题,发生了欠拟合;第三张图的模型则过于复杂,用了一个非常高阶的多项式来拟合一个简单问题,发生了过拟合。 + +关于过拟合,我想到这样一个直观的理解:训练模型的过程就好比一个人复习考试的过程,一种复习方案是深入理解题目背后的原理和知识点,另一种复习方案则是把每个题目都记忆下来。显然后者在训练集上会有出色的表现,如果记忆里足够好,甚至可以达到100%的正确率,可是在实际考试过程中,遇到的都是他从未记忆过的题目,此时就束手无策了。第二种复习方案就是这里的过拟合。 + +过拟合会发生,主要是因为模型选择过于复杂,选择的特征太多。因此,一种解决过拟合的方案,就是手动剔除一些不重要的特征,简化模型,或者可以使用**模型选择算法**(`model selection algorithm`),后者将在后面的文章中提到。另一种更加常见的方案,就是下面要重点阐述的正则化。 + +> 正则化的损失函数 + +考虑这样一种情况,当前模型的假设函数为 + +$$ +h_\theta(x) = \theta_0 + \theta_1x + \theta_2x^2 + \theta_3x^3 + \theta_4x^4 +$$ + +为了避免发生过拟合,我可以限制$\thete_3, \theta_4$的大小,使得高阶项具有相对更小的权重。具体的方案是在损失函数中对$\theta_3, \theta_4$添加**罚项**(`penalty`),比如 + +$$ +J(\theta) = \frac{1}{2m}\Sigma_{i = 1}^m[h_\theta(x^{(i)}) - y^{(i)}]^2 + 1000\theta_3^2 + 1000\theta_4^2 +$$ + +这样,为了使$J(\theta)$取到最小值,$\theta_3, \theta_4$的取值必然相对较小,因此在一定程度上简化了模型。 + +在实际应用中,很难知道哪一些特征会导致模型过拟合,因此常见的方案是对每一个$\theta_j$,都添加一个上述的罚项,也称为**正则化项**(`regularized term`)。这样,正则化的损失函数就有以下的形式: $$ J(\theta) = \frac{1}{2m}[\Sigma_{i = 1}^m(h_\theta(x^{(i)}) - y^{(i)})^2 + \lambda\Sigma_{i = 1}^n\theta_i^2] $$ -同样可以利用多元函数极值,令 +需要注意的是,这里并没有对$\theta_0$引入正则化项,老师说这是一种约定俗成,并没有特别的原因。使用梯度下降法或者规范方程法,就可以求得在正则化下的最优参数$\theta$了。 + +> 引入正则化项的规范方程推导 + +为了令引入正则化项的$J(\theta)$取到最小值,同样可以利用多元函数极值,令 $$ \frac{\partial}{\partial \theta_j}J(\theta) = 0 $$ -逐个求解出$\theta_j$,在此不再赘述。 +逐个求解出$\theta_j$,就可以得到最优的一组$\theta$,在此不再赘述。 为了简化问题,仍然用矩阵形式表示$J(\theta)$,所以 @@ -327,6 +391,7 @@ $$ \end{matrix} \right])^{-1}X^TY $$ + 需要说明的是,正则化项的引入不仅解决了过拟合的问题,还使得新的矩阵 $$ X^TX + \lambda I @@ -392,3 +457,47 @@ $$ $$ 因此两者之和也必定是一个半正定矩阵。由于此前已经得到$X^T + \lambda I$可逆,故不存在为零的特征值,所以所有特征值都必定大于零,因此$X^T + \lambda I$是一个正定矩阵。 + +> 引入正则化项的梯度下降法 + +关于梯度下降法自然不必多说,这里主要证明,引入正则化项后的平方损失函数仍然是凸函数,因此使用梯度下降法仍然可以收敛到全局最优点。 + +再次给出$J(\theta)$的表达式 + +$$ +J(\theta) = \frac{1}{2m}[\Sigma_{i = 1}^m(h_\theta(x^{(i)}) - y^{(i)})^2 + \lambda\Sigma_{i = 1}^n\theta_i^2] +$$ + +所以有 + +$$ +\frac{\partial}{\partial \theta_0}J(\theta) = \frac{1}{m}\Sigma_{i = 1}^m(h_\theta(x^{(i)}) - y^{(i)})x_0^{(i)}\\\\ +\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}\Sigma_{i = 1}^m(h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} + \frac{1}{m}\theta_j\ (j \ne 0) +$$ + +$$ +\frac{\partial^2}{\partial \theta_0^2}J(\theta) = \frac{1}{m}\Sigma_{i = 1}^mx_0^{(i)}x_0^{(i)}\\\\ +\frac{\partial^2}{\partial \theta_j^2}J(\theta) = \frac{1}{m}\Sigma_{i = 1}^mx_j^{(i)}x_j^{(i)} + \frac{\lambda}{m}\ (j \ne 0)\\\\ +\frac{\partial^2}{\partial \theta_j\partial \theta_k}J(\theta) = \frac{1}{m}\Sigma_{i = 1}^mx_j^{(i)}x_k^{(i)} \ (j \ne k) +$$ + +因此,可以写出`Hessian`矩阵 + +$$ +H = \frac{1}{m}\left[ + \begin{matrix} + \Sigma_{i = 1}^mx_0^{(i)^2} & \Sigma_{i = 1}^mx_0^{(i)}x_1^{(i)} & \cdots & \Sigma_{i = 1}^mx_0^{(i)}x_n^{(i)}\\\\ + \Sigma_{i = 1}^mx_1^{(i)}x_0^{(i)} & \Sigma_{i = 1}^mx_1^{(i)^2} + \lambda & \cdots & \Sigma_{i = 1}^mx_1^{(i)}x_n^{(i)} \\\\ + \vdots & \vdots & & \vdots&\\\\ + \Sigma_{i = 1}^mx_n^{(i)}x_0^{(i)} & \Sigma_{i = 1}^mx_n^{(i)}x_1^{(i)} & \cdots & \Sigma_{i = 1}^mx_n^{(i)^2} + \lambda\\\\ + \end{matrix} +\right] +$$ + +容易看出, + +$$ +H = \frac{1}{m}(X^TX + \lambda I) +$$ + +上面已经证明了,该矩阵是一个正定矩阵。根据凸函数的充分条件,可以得到正则化后的平方损失函数仍然是一个凸函数。