python写mapReduce初步

最近在学了python了，从mapReduce开始 ，话不多说了，直接上代码了哈

map阶段，map.py文件

import sys

# 标准输入
# 在终端的话，就需要这样了 cat a.txt | python map_new.py，通过一个管道的形式进行标准输入
# strip 就是避免字符串前后有回车或者是隐含字符，一般对于字符串都要strip() 一下。

for line in sys.stdin:
    # print(line.strip())
    ss = line.strip().split(' ')
    for word in ss:
        # word和1之间用制表符进行分割
        print('	'.join([word.strip(),'1']))

reduce阶段：reduce.py文件

map到reduce阶段要做一个排序，相同的key放到了一起

import sys

cur_word = None
sum = 0

for line in sys.stdin:
    ss = line.strip().split('	')
    if len(ss) != 2:
        continue
    word,cnt = ss
# 当读取第一行时，cur_word肯定是None吧
    if cur_word == None:
        cur_word = word
    if cur_word != word:
        # 当 cur_word 和 word不相等时，将其输出
        print('	'.join([cur_word,str(sum)]))
        cur_word = word
        sum = 0

    sum += int(cnt)
# 对最后一行进行输出
print('	'.join([cur_word,str(sum)]))

还需要一个run.sh

HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"

INPUT_FILE_PATH_1="/1.data"
OUTPUT_PATH="/output"

$HADOOP_CMD fs -rmr -skipTrash $OUTPUT_PATH

# Step 1.
$HADOOP_CMD jar $STREAM_JAR_PATH 
    -input $INPUT_FILE_PATH_1 
    -output $OUTPUT_PATH 
    -mapper "python map.py" 
    -reducer "python reduce.py" 
    -file ./map_new.py 
    -file ./red_new.py

# HADOOP_CMD： hadoop的bin的路径
# STREAM_JAR_PATH：streaming jar包的路径
# INPUT_FILE_PATH：hadoop集群上的资源输入路径
# OUTPUT_PATH：hadoop集群上的结果输出路径

执行和查看 

# cat data.txt | pyton map.py | sort -k1 | python reduce.py > result.txt
# cat result.txt | sort -k2 -rn | head

写的比较简单哈