add lots file of APUE

Zim/Utils/sed/Sed_-_An_Introduction_and_Tutorial_by_Bruce_Barnett.txt

@@ -334,7 +334,7 @@ s/e/E/g
 s/i/I/g 
 s/o/O/g 
 s/u/U/g'  <old >new
-#bash的字符串引号里**可以包含换行**，但是单引号单不能对单换行单转以，双引号可以。
+#bash的字符串引号里**可以包含换行**，但是单引号单不能对单换行单转义，双引号可以。
 
 ===== A sed interpreter script =====
 
@@ -362,7 +362,6 @@ Sed comments are lines where the **first non-white** character is a "#." On many
 does work.
 
 ===== Passing arguments into a sed script =====
-
 Passing a word into a shell script that calls sed is easy if you remembered my tutorial on the Unix quoting mechanism. To review, you use the single quotes to turn quoting on and off. A simple shell script that uses sed to emulate grep is:
 
 #!/bin/sh
@@ -887,7 +886,7 @@ This line\
 And this line
 '
 
-===== Adding lines and the pattern space     =====
+===== Adding lines and the pattern space =====
 
 I have mentioned the pattern space before. Most commands operate **on** the pattern space, and subsequent commands may act on the __results__ of the last modification. The three previous commands, like the read file command, add the new lines to the output stream, __bypassing__ the pattern space.
 

Zim/Utils/ulimit.txt

@@ -0,0 +1,160 @@
+Content-Type: text/x-zim-wiki
+Wiki-Format: zim 0.4
+Creation-Date: 2012-10-15T18:47:54+08:00
+
+====== ulimit ======
+Created Monday 15 October 2012
+http://www.ibm.com/developerworks/cn/linux/l-cn-ulimit/
+
+==== 概述 ====
+系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作，ulimit 是我们在处理这些问题时，经常使用的一种简单手段。ulimit 是一种 linux 系统的**内建功能**，它具有一套参数集，用于为__由它所在的 shell 进程及其子进程__的资源使用设置限制。本文将在后面的章节中详细说明 ulimit 的功能，使用以及它的影响，并以具体的例子来详细地阐述它在限制资源使用方面的影响。
+
+===== ulimit 的功能和用法 =====
+
+==== ulimit 功能简述 ====
+假设有这样一种情况，当一台 Linux 主机上同时登陆了 10 个人，在系统资源无限制的情况下，这 10 个用户同时打开了 500 个文档，而假设每个文档的大小有 10M，这时系统的内存资源就会受到巨大的挑战。
+
+而实际应用的环境要比这种假设复杂的多，例如在一个嵌入式开发环境中，各方面的资源都是非常紧缺的，对于开启**文件描述符**的数量，分配**堆栈**的大小，CPU 时间，虚拟内存大小等等，都有非常严格的要求。资源的合理限制和分配，不仅仅是保证系统可用性的必要条件，也与系统上软件运行的性能有着密不可分的联系。这时，ulimit 可以起到很大的作用，它是一种简单并且有效的实现资源限制的方式。
+
+ulimit 用于__限制 shell 启动进程所占用的资源__，支持以下各种类型的限制：所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存。同时，它支持硬资源和软资源的限制。
+
+作为临时限制，ulimit 可以作用于通过使用其命令登录的 shell 会话，在会话终止时便结束限制，并不影响于其他 shell 会话。而对于长期的固定限制，ulimit 命令语句又可以被添加到由登录 shell 读取的文件中，作用于特定的 shell 用户。在下面的章节中，将详细介绍如何使用 ulimit 做相应的资源限制。
+
+==== 如何使用 ulimit ====
+ulimit 通过一些参数选项来管理不同种类的系统资源。在本节，我们将讲解这些参数的使用。
+
+ulimit 命令的格式为：ulimit [options] [limit]
+
+具体的 options 含义以及简单示例可以参考以下表格。
+**表 1. ulimit 参数说明**
+
+选项 [options]	含义	例子
+-H	设置硬资源限制，一旦设置不能增加。	ulimit – Hs 64；限制硬资源，线程栈大小为 64K。
+-S	设置软资源限制，设置后可以增加，但是不能超过硬资源设置。	ulimit – Sn 32；限制软资源，32 个文件描述符。
+-a	显示当前所有的 limit 信息。	__ulimit – a__；显示当前所有的 limit 信息。
+-c	最大的 core 文件的大小， 以 blocks 为单位。	ulimit – c unlimited； 对生成的 core 文件的大小不进行限制。
+-d	进程最大的数据段的大小，以 Kbytes 为单位。	ulimit -d unlimited；对进程的数据段大小不进行限制。
+-f	进程可以创建文件的最大值，以 blocks 为单位。	ulimit – f 2048；限制进程可以创建的最大文件大小为 2048 blocks。
+-l	最大可加锁内存大小，以 Kbytes 为单位。	ulimit – l 32；限制最大可加锁内存大小为 32 Kbytes。
+-m	最大内存大小，以 Kbytes 为单位。	ulimit – m unlimited；对最大内存不进行限制。
+-n	可以打开最大文件描述符的数量。	ulimit – n 128；限制最大可以使用 128 个文件描述符。
+-p	__管道缓冲区__的大小，以 Kbytes 为单位。	ulimit – p 512；限制管道缓冲区的大小为 512 Kbytes。
+-s	线程栈大小，以 Kbytes 为单位。	ulimit – s 512；限制线程栈的大小为 512 Kbytes。
+-t	最大的 CPU 占用时间，以秒为单位。	ulimit – t unlimited；对最大的 CPU 占用时间不进行限制。
+-u	用户最大可用的进程数。	ulimit – u 64；限制用户最多可以使用 64 个进程。
+-v	进程最大可用的虚拟内存，以 Kbytes 为单位。	ulimit – v 200000；限制最大可用的虚拟内存为 200000 Kbytes。
+
+我们可以通过以下几种方式来使用 ulimit：
+
+在用户的启动脚本中如果用户使用的是 bash，就可以在用户的目录下的 .bashrc 文件中，加入 ulimit – u 64，来限制用户最多可以使用 64 个进程。此外，可以在与 .bashrc 功能相当的启动脚本中加入 ulimt。在应用程序的启动脚本中如果用户要对某个应用程序 myapp 进行限制，可以写一个简单的脚本 startmyapp。
+
+ulimit – s 512
+myapp
+
+以后只要通过脚本 startmyapp 来启动应用程序，就可以限制应用程序 myapp 的线程栈大小为 512K。
+
+直接在控制台输入
+
+user@tc511-ui: ulimit – p 256
+限制管道的缓冲区为 256K。
+
+==== 用户进程的有效范围 ====
+ulimit 作为对资源使用限制的一种工作，是有其作用范围的。那么，它限制的对象是单个用户，单个进程，还是整个系统呢？事实上，ulimit 限制的是__当前 shell 进程以及其派生的子进程__。举例来说，如果用户同时运行了两个 shell 终端进程，只在其中一个环境中执行了 ulimit – s 100，则该 shell 进程里创建文件的大小收到相应的限制，而同时另一个 shell 终端包括其上运行的子程序都不会受其影响：
+**Shell 进程 1**
+ulimit  – s 100
+cat testFile >newFile
+File size limit exceeded
+
+**Shell 进程 2**
+cat testFile >newFile
+ls  – s newFile
+323669 newFile
+
+那么，是否有针对__某个具体用户__的资源加以限制的方法呢？答案是有的，方法是通过修改系统的 /etc/security/limits 配置文件。该文件不仅能限制指定用户的资源使用，还能限制指定组的资源使用。该文件的每一行都是对限定的一个描述，格式如下：
+
+<domain><type><item><value>
+
+domain 表示用户或者组的名字，还可以使用 * 作为通配符。Type 可以有两个值，soft 和 hard。Item 则表示需要限定的资源，可以有很多候选值，如 stack，cpu，nofile 等等，分别表示最大的堆栈大小，占用的 cpu 时间，以及打开的文件数。通过添加对应的一行描述，则可以产生相应的限制。例如：
+
+* hard noflle 100
+
+该行配置语句限定了**任意用户**所能创建的最大文件数是 100。
+
+现在已经可以**对进程和用户分别做资源限制**了，看似已经足够了，其实不然。很多应用需要对__整个系统的资源__使用做一个总的限制，这时候我们需要修改 /proc 下的配置文件。/proc 目录下包含了很多系统当前状态的参数，例如 /proc/sys/kernel/pid_max，/proc/sys/net/ipv4/ip_local_port_range 等等，从文件的名字大致可以猜出所限制的资源种类。由于该目录下涉及的文件众多，在此不一一介绍。有兴趣的读者可打开其中的相关文件查阅说明。
+
+===== ulimit 管理系统资源的例子 =====
+ulimit 提供了在 shell 进程中限制系统资源的功能。本章列举了一些使用 ulimit 对用户进程进行限制的例子，详述了这些限制行为以及对应的影响，以此来说明 ulimit 如何对系统资源进行限制，从而达到调节系统性能的功能。
+
+**使用 ulimit 限制 shell 的内存使用**
+在这一小节里向读者展示如何使用 – d，– m 和 – v 选项来对 shell 所使用的内存进行限制。
+首先我们来看一下不设置 ulimit 限制时调用 ls 命令的情况：
+图 2. 未设置 ulimit 时 ls 命令使用情况
+{{./1}}
+
+
+大家可以看到此时的 ls 命令运行正常。下面设置 ulimit：
+ulimit -d 1000 -m 1000 -v 1000
+这里再温习一下前面章节里介绍过的这三个选项的含义：
+
+-d：设置数据段的最大值。单位：KB。
+-m：设置可以使用的常驻内存的最大值。单位：KB。
+-v：设置虚拟内存的最大值。单位：KB。
+
+通过上面的 ulimit 设置我们已经把当前 shell 所能使用的最大内存限制在 1000KB 以下。接下来我们看看这时运行 ls 命令会得到什么样的结果：
+haohe@sles10-hehao:~/code/ulimit> ls test -l
+/bin/ls: error while loading shared libraries: libc.so.6: **failed to map segment**
+from shared object: Cannot allocate memory
+从上面的结果可以看到，此时 ls 运行失败。根据系统给出的错误信息我们可以看出是由于**调用 libc 库时内存分配失败**而导致的 ls 出错。那么我们来看一下这个 libc 库文件到底有多大：
+图 3. 查看 libc 文件大小
+{{./2}}
+
+从上面的信息可以看出，这个 libc 库文件的大小是 1.5MB。而我们用 ulimit 所设置的内存使用上限是 1000KB，小于 1.5MB，这也就充分证明了 ulimit 所起到的限制 shell 内存使用的功能。
+
+**使用 ulimit 限制 shell 创建的文件的大小**
+接下来向读者展示如何使用 -f 选项来对 shell 所能创建的文件大小进行限制。
+
+首先我们来看一下，没有设置 ulimit -f 时的情况：
+图 4. 查看文件
+{{./3}}
+
+现有一个文件 testFile 大小为 323669 bytes，现在使用 cat 命令来创建一个 testFile 的 copy：
+图 5. 未设置 ulimit 时创建复本
+{{./4}}
+从上面的输出可以看出，我们成功的创建了 testFile 的拷贝 newFile。
+
+下面我们设置 ulimt – f 100：
+ulimit -f 100
+-f 选项的含义是：用来设置 shell 可以创建的文件的最大值。**单位是 blocks**。
+
+现在我们再来执行一次相同的拷贝命令看看会是什么结果：
+图 6. 设置 ulimit 时创建复本
+{{./5}}
+这次创建 testFile 的拷贝失败了，系统给出的出错信息时文件大小超出了限制。在 Linux 系统下一个 block 的默认大小是 512 bytes。所以上面的 ulimit 的含义就是限制 shell 所能创建的文件最大值为 512 x 100 = 51200 bytes，小于 323669 bytes，所以创建文件失败，符合我们的期望。这个例子说明了如何使用 ulimit 来控制 shell 所能创建的最大文件。
+
+**使用 ulimit 限制程序所能创建的 socket 数量**
+考虑一个现实中的实际需求。对于一个 C/S 模型中的 server 程序来说，它会为多个 client 程序请求创建多个 socket 端口给与响应。如果恰好有大量的 client 同时向 server 发出请求，那么此时 server 就会需要创建大量的 socket 连接。但在一个系统当中，往往需要限制单个 server 程序所能使用的最大 socket 数，以供其他的 server 程序所使用。那么我们如何来做到这一点呢？答案是我们可以通过 ulimit 来实现！细心的读者可能会发现，通过前面章节的介绍似乎没有限制 socket 使用的 ulimit 选项。是的，ulimit 并没有哪个选项直接说是用来限制 socket 的数量的。但是，我们有 -n 这个选项，它是用于限制一个进程所能打开的文件描述符的最大值。在 Linux 下__一切资源皆文件__，普通文件是文件，磁盘打印机是文件，socket 当然也是文件。**在 Linux 下创建一个新的 socket 连接，实际上就是创建一个新的文件描述符。**如下图所示（查看某个进程当前打开的文件描述符信息）：
+图 7. 查看进程打开文件描述符
+{{./6}}
+因此，我们可以通过使用 ulimit – n 来限制程序所能打开的最大文件描述符数量，从而达到限制 socket 创建的数量。
+
+**使用 ulimit 限制 shell 多线程程序堆栈的大小（增加可用线程数量）**
+在最后一个例子中，向大家介绍如何使用 -s（单位 KB）来对**线程的堆栈大小**进行限制，从而减少整个多线程程序的内存使用，增加可用线程的数量。这个例子取自于一个真实的案例。我们所遇到的问题是系统对我们的多线程程序有如下的限制：
+
+ulimit -v 200000
+
+根据本文前面的介绍，这意味着我们的程序最多只能使用不到 200MB 的虚拟内存。由于我们的程序是一个多线程程序，程序在运行时会根据需要创建新的线程，这势必会增加总的内存需求量。一开始我们对堆栈大小的限制是 1024 （本例子中使用 1232 来说明）：
+
+# ulimit – s 1232
+
+当我们的程序启动后，通过 **pmap** 来查看其内存使用情况，可以看到多个占用 1232KB 的数据段，这些就是程序所创建的线程所使用的堆栈：
+图 8. 程序线程所使用的堆栈
+{{./7}}
+每当一个新的线程被创建时都需要新分配一段大小为 1232KB 的内存空间，而我们总的虚拟内存限制是 200MB，所以如果我们需要创建更多的线程，那么一个可以改进的方法就是__减少每个线程的固定堆栈大小__，这可以通过 ulimit – s 来实现：
+# ulimit -s 512
+我们将堆栈大小设置为 512KB，这时再通过 pmap 查看一下我们的设置是否起作用：
+图 9. 设置 ulimit 后堆栈大小
+{{./8}}
+从上面的信息可以看出，我们已经成功的将线程的堆栈大小改为 512KB 了，这样在总内存使用限制不变的情况下，我们可以通过本小节介绍的方法来增加可以创建的线程数，从而达到改善程序的多线程性能。
+
+===== 总结 =====
+综上所述，linux 系统中的 ulimit 指令，对资源限制和系统性能优化提供了一条便捷的途径。从用户的 shell 启动脚本，应用程序启动脚本，以及直接在控制台，都可以通过该指令限制系统资源的使用，包括所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存，等等方面。本文中的示例非常直观的说明了 ulimit 的使用及其产生的效果，显而易见，ulimit 对我们在 Linux 平台的应用和开发工作是非常实用的。

Zim/Utils/ulimit/实验.txt

@@ -0,0 +1,93 @@
+Content-Type: text/x-zim-wiki
+Wiki-Format: zim 0.4
+Creation-Date: 2012-10-15T19:33:26+08:00
+
+====== 实验 ======
+Created Monday 15 October 2012
+
+ulimit命令是shell的__内置命令__，因为它设置的资源限制值需要被当前shell或其子进程继承。进程的资源限制通常在系统的初始化时由进程0建立，然后由每个后续进程继承。一般用户登录时使用PAM机制时，系统会自动读取__/etc/security/limits.conf__文件中的内容，设置__会话中所有进程__的资源限制。
+
+limits.conf 文件实际是 Linux __PAM__（插入式认证模块，Pluggable Authentication Modules）中 __pam_limits.so__ 的配置文件，而且只针对于**单个会话**。
+
+limits.conf的格式如下：
+
+username|@groupname type resource limit
+
+username|@groupname：设置需要被限制的用户名，组名前面加@和用户名区别。也可以用通配符*来做所有用户的限制。
+
+type：有 soft，hard 和 -，soft 指的是当前系统生效的设置值。hard 表明系统中所能设定的最大值。soft 的限制不能比hard 限制高。用 - 就表明**同时设置**了 soft 和 hard 的值。
+
+resource：
+	core - 限制内核转储文件的大小
+	date - 最大数据大小
+	fsize - 最大文件大小
+	memlock - 最大锁定内存地址空间
+	nofile - 打开文件的最大数目
+	rss - 最大持久设置大小
+	stack - 最大栈大小
+	cpu - 以分钟为单位的最多 CPU 时间
+	noproc - 进程的最大数目
+	as - 地址空间限制
+	maxlogins - 此用户允许登录的最大数目
+
+要使 limits.conf 文件配置生效，必须要确保 pam_limits.so 文件被加入到启动文件中。查看 /etc/pam.d/login 文件中有：
+
+session required /lib/security/pam_limits.so
+
+Bash__内建了__一个限制器"ulimit"。注意任何硬限制都不能设置得太高，因此如果你在/etc/profile或用户的 .bash_profile （用户不能编辑或删除这些文件）中定义了限制规则，你就能对用户的Bash shell实施限制。这对于**缺少PAM支持的LINUX旧发行版本**是很有用的。你还必须确保用户不能改变他们的登录shell。
+
+[__root__@kb310 ~]# **getconf **-a |grep OPEN   
+**OPEN_MAX                           1024**
+_POSIX_OPEN_MAX                    1024
+[root@kb310 ~]# ulimit -HSn 2048       #root可以提高系统的硬限制(H)和软限制(S), 但是H__必须大于或等于__S的值。
+[root@kb310 ~]# getconf -a |grep OPEN    #getconf和ulimit -a显示的是进程的__软限制值__。
+**OPEN_MAX                           2048**
+_POSIX_OPEN_MAX                    2048         
+[root@kb310 ~]# ulimit **-a**
+core file size          (blocks, -c) 0      #(a, b)：a表示后面数值的单位，b表示设置或显示该资源的**ulimit命令行选项**。这里为0表示**不能生成**core文件。
+data seg size           (kbytes, -d) unlimited     #可以从__ulimit -c unlimited__命令指定进程生成的core file大小不限。 
+scheduling priority             (-e) 30
+file size               (blocks, -f) unlimited
+pending signals                 (-i) 30802
+max locked memory       (kbytes, -l) unlimited
+max memory size         (kbytes, -m) unlimited    
+**open files                      (-n) 2048**
+pipe size            (**512 bytes**, -p) 8   #管道的容量(pipe capacity)，决定write是否阻塞。PIPE_BUF决定一次write的内容是否可能与别的进程write内容__交错，即write的原子性__。
+POSIX message queues     (bytes, -q) 819200
+real-time priority              (-r) 99
+stack size              (kbytes, -s) 8192
+cpu time               (seconds, -t) unlimited
+max user processes              (-u) 30802
+virtual memory          (kbytes, -v) unlimited
+file locks                      (-x) unlimited
+[root@kb310 ~]# logout
+[__geekard__@kb310 Documents]$ ulimit -a
+core file size          (blocks, -c) 0
+data seg size           (kbytes, -d) unlimited
+scheduling priority             (-e) 30
+file size               (blocks, -f) unlimited
+pending signals                 (-i) 30802
+max locked memory       (kbytes, -l) unlimited
+max memory size         (kbytes, -m) unlimited
+open files                      (-n) 1024
+pipe size            (512 bytes, -p) 8
+POSIX message queues     (bytes, -q) 819200
+real-time priority              (-r) 99
+stack size              (kbytes, -s) 8192
+cpu time               (seconds, -t) unlimited
+max user processes              (-u) 30802
+virtual memory          (kbytes, -v) unlimited
+file locks                      (-x) unlimited
+[geekard@kb310 ~]$ ulimit -n 1026   #没有加H或S参数时，默认设置进程的软限制。非root进程__只能减小__其软限制值。
+-bash: ulimit: open files: cannot modify limit: __Operation not permitted__
+[geekard@kb310 ~]$ ulimit -n **1023**
+[geekard@kb310 ~]$ ulimit -a |grep open
+open files                      (-n) 1023
+[geekard@kb310 ~]$ ulimit __-H__n 1022  #任何进程都可以降低其硬限制值，但是它__必须要大于或等于__其软限制值。这种降低对普通用户不可逆。
+-bash: ulimit: open files: cannot modify limit: __Invalid__ argument  #因为软限制值为1023，所以设的硬限制值**无效**。
+[geekard@kb310 ~]$ ulimit __-S__n 1022
+[geekard@kb310 ~]$ ulimit -Sn 10
+[geekard@kb310 ~]$ ulimit -Hn 1022  #__降低__硬限制值，而且比软限制值大。
+[geekard@kb310 ~]$ ulimit -a |grep open
+open files                      (-n) 10    #显示的是进程的软限制值。
+[geekard@kb310 ~]$