实习总结

常用命令：

mvn打包文件：mvn archetype:create -DartifactId=Test -DgroupId=com.laiwang.algo.antisam.test -DarchetypeArtifactId=maven-archetype-profiles -DpackageName=com.laiwang.algo.antispam.test

至于创建好后的pom.xml就去别人那拷吧~ 

代码的第一行是XML头，指定了该xml文档的版本和编码方式。紧接着是project元素，project是所有pom.xml的根元素，它还声明了一些POM相关的命名空间及xsd元素，虽然这些属性不是必须的，但使用这些属性能够让第三方工具（如IDE中的XML编辑器）帮助我们快速编辑POM。

根元素下的第一个子元素modelVersion指定了当前POM模型的版本，对于Maven2及Maven 3来说，它只能是4.0.0。

这段代码中最重要的是groupId，artifactId和version三行。这三个元素定义了一个项目基本的坐标，在Maven的世界，任何的jar、pom或者war都是以基于这些基本的坐标进行区分的。

groupId定义了项目属于哪个组，这个组往往和项目所在的组织或公司存在关联，譬如你在googlecode上建立了一个名为myapp的项目，那么groupId就应该是com.googlecode.myapp，如果你的公司是mycom，有一个项目为myapp，那么groupId就应该是com.mycom.myapp。本书中所有的代码都基于groupId com.juvenxu.mvnbook。

artifactId定义了当前Maven项目在组中唯一的ID，我们为这个Hello World项目定义artifactId为hello-world，本书其他章节代码会被分配其他的artifactId。而在前面的groupId为com.googlecode.myapp的例子中，你可能会为不同的子项目（模块）分配artifactId，如：myapp-util、myapp-domain、myapp-web等等。

顾名思义，version指定了Hello World项目当前的版本——1.0-SNAPSHOT。SNAPSHOT意为快照，说明该项目还处于开发中，是不稳定的版本。随着项目的发展，version会不断更新，如升级为1.0、1.1-SNAPSHOT、1.1、2.0等等。

没有任何实际的Java代码，我们就能够定义一个Maven项目的POM，这体现了Maven的一大优点，它能让项目对象模型最大程度地与实际代码相独立，我们可以称之为解耦，或者正交性，这在很大程度上避免了Java代码和POM代码的相互影响。比如当项目需要升级版本时，只需要修改POM，而不需要更改Java代码；而在POM稳定之后，日常的Java代码开发工作基本不涉及POM的修改。

 插入一份pom供参考

 <modelVersion>4.0.0</modelVersion>
  <groupId>com.laiwang.algo.antispam.test</groupId>
  <artifactId>Test</artifactId>
  <packaging>jar</packaging>
  <version>1.0-SNAPSHOT</version>
  <name>Maven Quick Start Archetype</name>
  <url>http://maven.apache.org</url>
  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>
  <build>
        <defaultGoal>package</defaultGoal>
    <plugins>
      <plugin>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>2.3.2</version>
        <configuration>
          <source>1.6</source>
          <target>1.6</target>
          <encoding>UTF-8</encoding>
        </configuration>
      </plugin>
    </plugins>
  </build>
  <dependencies>
          <dependency>
                    <groupId>mysql</groupId>
                          <artifactId>mysql-connector-java</artifactId>
                            <version>5.1.6</version>
                        </dependency>
          <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
        <dependency>
                  <groupId>org.apache.hadoop</groupId>
                    <artifactId>hadoop-common</artifactId>
                          <version>2.0.0-alpha</version>
        </dependency>
          <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
        <dependency>
                  <groupId>org.apache.hadoop</groupId>
                    <artifactId>hadoop-common</artifactId>
                          <version>2.0.0-alpha</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
                  <artifactId>hadoop-core</artifactId>
                    <version>2.0.0-mr1-cdh4.5.0</version>
   </dependency>
   <dependency>
             <groupId>com.github.jsimone</groupId>
                   <artifactId>webapp-runner</artifactId>
                     <version>7.0.34.0</version>
   </dependency>
   <dependency>
             <groupId>commons-io</groupId>
                   <artifactId>commons-io</artifactId>
                     <version>2.4</version>
   </dependency>
   <dependency>
      <groupId>commons-logging</groupId>
      <artifactId>commons-logging</artifactId>
      <version>1.1.1</version>
    </dependency>
    <dependency>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
      <version>1.2.15</version>
    </dependency>
    <dependency>
      <groupId>commons-cli</groupId>
      <artifactId>commons-cli</artifactId>
      <version>1.2</version>
    </dependency>
  </dependencies>
</project>

运行：java -jar target/Test-1.0-SNAPSHOT.jar      java -cp target/Test-1.0-SNAPSHOT.jar com.laiwang.algo.antispam.test.App

然后就是svn  详见http://blog.csdn.net/ithomer/article/details/6187464

在svn上创建一个目录，co来下 不停的add 然后st  确认无误后 ci  svn up 更新到某个版本

接下来是shell 脚本

[ -f "$file" ] 判断$file是否是一个文件

[ $a -lt 3 ] 判断$a的值是否小于3，同样-gt和-le分别表示大于或小于等于

[ -x "$file" ] 判断$file是否存在且有可执行权限，同样-r测试文件可读性

[ -n "$a" ] 判断变量$a是否有值，测试空串用-z

[ "$a" = "$b" ] 判断$a和$b的取值是否相等

[ cond1 -a cond2 ] 判断cond1和cond2是否同时成立，-o表示cond1和cond2有一成立

测试的标志    代表意义
1. 关於某个档名的『文件类型』判断，如 test -e filename 表示存在否
-e    该『档名』是否存在？(常用)
-f    该『档名』是否存在且为文件(file)？(常用)
-d    该『档名』是否存在且为目录(directory)？(常用)
-b    该『档名』是否存在且为一个 block device 装置？
-c    该『档名』是否存在且为一个 character device 装置？
-S    该『档名』是否存在且为一个 Socket 文件？
-p    该『档名』是否存在且为一个 FIFO (pipe) 文件？
-L    该『档名』是否存在且为一个连结档？
2. 关於文件的权限侦测，如 test -r filename 表示可读否 (但 root 权限常有例外)
-r    侦测该档名是否存在且具有『可读』的权限？
-w    侦测该档名是否存在且具有『可写』的权限？
-x    侦测该档名是否存在且具有『可运行』的权限？
-u    侦测该档名是否存在且具有『SUID』的属性？
-g    侦测该档名是否存在且具有『SGID』的属性？
-k    侦测该档名是否存在且具有『Sticky bit』的属性？
-s    侦测该档名是否存在且为『非空白文件』？
3. 两个文件之间的比较，如： test file1 -nt file2
-nt    (newer than)判断 file1 是否比 file2 新
-ot    (older than)判断 file1 是否比 file2 旧
-ef    判断 file1 与 file2 是否为同一文件，可用在判断 hard link 的判定上。 主要意义在判定，两个文件是否均指向同一个 inode 哩！
4. 关於两个整数之间的判定，例如 test n1 -eq n2
-eq    两数值相等 (equal)
-ne    两数值不等 (not equal)
-gt    n1 大於 n2 (greater than)
-lt    n1 小於 n2 (less than)
-ge    n1 大於等於 n2 (greater than or equal)
-le    n1 小於等於 n2 (less than or equal)
5. 判定字串的数据
test -z string    判定字串是否为 0 ？若 string 为空字串，则为 true
test -n string    判定字串是否非为 0 ？若 string 为空字串，则为 false。
注： -n 亦可省略
test str1 = str2    判定 str1 是否等於 str2 ，若相等，则回传 true
test str1 != str2    判定 str1 是否不等於 str2 ，若相等，则回传 false
6. 多重条件判定，例如： test -r filename -a -x filename
-a    (and)两状况同时成立！例如 test -r file -a -x file，则 file 同时具有 r 与 x 权限时，才回传 true。
-o    (or)两状况任何一个成立！例如 test -r file -o -x file，则 file 具有 r 或 x 权限时，就可回传 true。
!    反相状态，如 test ! -x file ，当 file 不具有 x 时，回传 true

# 那么如果想要列出第 3 与第 5 呢？，就是这样：
[root@www ~]# echo $PATH | cut -d ':' -f 3,5

范例二：/etc/passwd 内容是以 : 来分隔的，我想以第三栏来排序，该如何？
[root@www ~]# cat /etc/passwd | sort -t ':' -k 3

范例一：将 last 输出的信息中，所有的小写变成大写字符：
[root@www ~]# last | tr '[a-z]' '[A-Z]'

范例二：将 /etc/passwd 输出的信息中，将冒号 (:) 删除
[root@www ~]# cat /etc/passwd | tr -d ':'

awk

hadoop fs -text /checkout/* | awk '{if($3=="199.168.148.90") sum += $2 } END {print sum}'
awk '{if($2>50) print $0}'
awk '{if(match($1,"www.laiwang.com/user/qrcode/is_logged.json") ) sum += $2 } END {print sum}'
awk '{ sum += $2 } END {print sum}'
awk '{if(match($1,"www.laiwang.com/user/qrcode/is_logged.json") && $3=="183.63.136.35") sum += $2 } END {print sum}'

hadoop配置也可以在pom中配置

mapred.child.java.opts 堆大小设置 一般为<value>-Xmx1024m</value>
io.sort.mb <value>900</value>
当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，
并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。
每一个map都会对应存在一个内存buffer（MapOutputBuffer，即上图的buffer in memory），
map会将已经产生的部分结果先写入到该buffer中，这个buffer默认是100MB大小，
但是这个大小是可以根据job提交时的参数设定来调整的，该参数即为：io.sort.mb

<property> |~
<name>io.sort.spill.percent</name> |~
<value>0.95</value> |~
<description></description> |~
</property>
当map输出超出一定阈值（比如100M），那么map就必须将该buffer中的数据写入到磁盘中去，这个过程在mapreduce中叫做spill。
map并不是要等到将该buffer全部写满时才进行spill，因为如果全部写满了再去写spill，势必会造成map的计算部分等待buffer释放空间的情况。
所以，map其实是当buffer被写满到一定程度（比如80%）时，就开始进行spill。这个阈值也是由一个job的配置参数来控制，即io.sort.spill.percent，
默认为0.80或80%

也可以配置各自名字的变量