[zz]HDFS文件读写 使用c api

1.用haddop提供的C API to HDFS来实现文件写入到HDFS中。过程中主要是在配置环境花了点时间

参考官网：http://hadoop.apache.org/common/docs/r0.20.203.0/libhdfs.html

不用重新编译直接用$HADOOP_HOME/c++/Linux-Linux-amd64-64/lib即可，若要编译libhdfs，在hadoop顶层目录运行：ant compile-c++-libhdfs -Dislibhdfs=true

API主要可以去hadoop软件包解压目录中查看hdfs.h定义的一些已实现的函数

一门语言的初学入门例子，一般都是“hello,world”，下面看写hdfs文件代码，文件hello_hdfs.c

#include "hdfs.h"

 int main(int argc, char **argv) {

    hdfsFS fs = hdfsConnect("127.0.0.1", 9000);
    const char* writePath = "/tmp/testfile.txt";
    hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY|O_CREAT, 0, 0, 0);
    if(!writeFile) {
          fprintf(stderr, "Failed to open %s for writing!\n", writePath);
          exit(-1);
    }
    char* buffer = "Hello, World!";
    tSize num_written_bytes = hdfsWrite(fs, writeFile, (void*)buffer, strlen(buffer)+1);
    if (hdfsFlush(fs, writeFile)) {
           fprintf(stderr, "Failed to 'flush' %s\n", writePath);
          exit(-1);
    }
   hdfsCloseFile(fs, writeFile);
 return 0;
 }

编译命令:

gcc hello_hdfs.c -I${HADOOP_HOME}/src/c++/libhdfs -I${JAVA_HOME}/include -I${JAVA_HOME}/include/linux  -L${HADOOP_HOME}/c++/Linux-Linux-amd64-64/lib -lhdfs -L${JAVA_HOME}/jre/lib/amd64/server -ljvm -o hello_hdfs

运行的时候报：error while loading shared libraries: libjvm.so: cannot open shared object file: No such file or directory
这个是LD_LIBRARY_PATH 没有设置：

这个是我本机上面的配置： /etc/profile（Ubuntu有一个bug,在这里设置的所有环境变量都是all user wide，除了LD_LIBRARY_PATH，你必须重新source一遍才行）

export JAVA_HOME=/usr/lib/jvm/java-6-sun
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/home/hadoop/hadoop-0.20.203.0
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/hadoop-core-0.20.203.0.jar:$HADOOP_HOME/lib/commons-logging-1.1.1.jar:$HADOOP_HOME/lib/commons-configuration-1.6.jar:$HADOOP_HOME/lib/commons-lang-2.4.jar

查看文件是否写入，bin/hadoop fs -ls /tmp，或直接拷到本地以便查看：bin/hadoop fs -get /tmp/testfile.txt /home/test

如果写入不成功，一定要检查启动hadoop的是否与运行这个程序的是同一个用户！