机器学习/深度学习/其他开发环境搭建记录

=======================================python源码安装===================================================

在项目部署的过程中发现公司centos系统中没有bz2编解码支持，从而python引用bz2失败，不得已只好重新装了一遍python

如果报错：Ignoring ensurepip failure: pip 8.1.1 requires SSL/TLS，则yum install openssl-devel

=======================================python虚拟环境（py2.7 virtualenv）===================================================

场景介绍：部署python应用的时候总会碰到版本的问题，python不像java 有meavn这种自动构建和打包的工具，所以是通过在项目下安装虚拟环境解决的；

那么我遇到的问题是服务器中大部分版本是python2.6,而我需要一个至少python2.7的环境。所以既需要安装python包，又需要安装虚拟环境

=======================================python下mysql支持===================================================

在以上链接没有找到相应系统，相应python版本的驱动包，所以改用pymysql这个类库。这个直接pip就可以了

=======================================pyspark环境安装===================================================

2.解压spark包，将spark下pythonpyspark目录拷贝到python安装目录的Lib/site-packages下

=======================================xgboost4.0安装===================================================

　　我用到了git(内含git bash),Visual Studio 2012(10及以上就可以)，xgboost源码（0.4版本），java 环境还需要maven（Win）

　　附：Visual Studio 2012下载 xgboost源码（0.4版本）链接：http://pan.baidu.com/s/1i4Kem5B 密码：ieox

　　检查”…/xgboost-master/windows/x64/Release/”问件夹下是否含有“xgboost_wrapper.dll”如果含有，就表示前面两步都成功了，下面进入最后一步安装的过程。

　　复制xgboost_wrapper.dll xgboostjavawrapper.dll粘贴到xgboost-masterJava 里面　

　　通过maven下载commons-lang3-3.1.jar（不懂的搜下maven的commons-lang3-3.1.jar依赖）

　　在xgboost-masterjava 里面，下载一下这个代码，链接：http://pan.baidu.com/s/1dEWxABv 密码：d6cs 替换掉xgboost4j 里面的代码

　然后xgboost-masterjavaxgboost4jsrcmain esourceslib 的dll文件删掉，用你前面编译好的xgboostjavawrapper.dll替换

命令行 cd 到xgboost-masterjavaxgboost4j 里面 mvn package（git bash 推荐）

如果结果是这样表示生成jar包成功，把jar包添加到工程里面就ok了。

4.使用指南
　　参数：http://blog.csdn.net/bryan__/article/details/52056112

　　在XGboost根路径运行：cp make/config.mk config.mk
　　修改config.mk：

=======================================tensorflow(1.0.0版本)安装===========================================

之后将一定将cuda添加到path环境变量中，然后将cuDNN的目录拷贝到cuda的安装目录中

=======================================keras 安装===================================================

解决下载自己对应py版本和win版本的scipy的包，再pip install 对应whl的scipy即可，然后安装keras 成功

=======================================libffm1.14.0 安装===================================================

======================================= mysql-python 安装===================================================

========================================= lightGBM安装 ======================================================

安装gmp

tar jxvf gmp-4.3.2.tar.bz2
cd gmp-4.3.2
mkdir build;cd build
../configure --prefix=/data/gmp
make -j4
make install

注意 --prefix= 一定要配置到/data目录，因为其他目录没有写权限的哦！--prefix=就是配置安装路径的意思

安装mpfr

tar jxvf mpfr-2.4.2.tar.bz2
cd mpfr-2.4.2
mkdir build;cd build
../configure --prefix=/data/mpfr --with-gmp=/data/gmp
make -j4
make install

记得一定要加--with-gmp=/data/gmp

安装mpc

tar xzf mpc-0.8.1.tar.bz
cd mpc-0.8.1
mkdir build;cd build
../configure --prefix=/data/mpc --with-gmp=/data/gmp --with-mpfr=/data/mpfr
make -j4
make install

安装GCC

先将以上安装的依赖库添加到环境变量

echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/data/mpc/lib:/data/gmp/lib:/data/mpfr/lib' >> ~/.bashrc
source ~/.bashrc

再回到/data，进行安装GCC

tar jxvf gcc-4.8.4.tar.bz2
cd gcc-4.8.4
mkdir build;cd build
../configure --prefix=/data/gcc-4 -enable-threads=posix -disable-checking -disable-multilib --enable--long-long -enable-languages=c,c++,java --with-gmp=/data/gmp --with-mpfr=/data/mpfr --with-mpc=/data/mpc
make -j4
make install

其中make的过程估计要等40分钟左右，然后到此GCC就编译安装成功啦

安装cmake

tar zxvf cmake-3.9.0-Linux-x86_64.tar.gz
echo 'export PATH=$PATH:/data/cmake-3.9.0-Linux-x86_64/bin' >> ~/.bashrc
source~/.bashrc

安装LightGBM

此时，如果你想把gcc添加到/usr/local/bin里面是不行的，因为没有写权限，所以我们配置一下LightGBM编译时调用的GCC即可。LigthGBM是先通过Cmake生成的，所以编辑CMakeLists.txt即可。

cd LigthGBM
vim CMakeLists.txt
# 添加以下代码在文件开头
SET(CMAKE_C_COMPILER "/data/gcc-4/bin/gcc")
SET(CMAKE_CXX_COMPILER "/data/gcc-4/bin/g++")
# 保存退出后，就跟着官网教程，默认方式安装即可
mkdir build ; cd build
cmake ..
make -j4
python ../python-package/setup.py install

附：win下pip 可以直接安装

======================================================mongodb安装================================================================================

安装包：下载地址：https://www.mongodb.com/download-center#community

下文以mongodb的主目录是为例，建立data,logs,和logs/mongo.log.

在主目录添加配置文件如下：

dbpath=D:MongoDBServer3.4data #数据库路径  
logpath=D:MongoDBServer3.4logsmongo.log #日志输出文件路径  
logappend=true #错误日志采用追加模式  
journal=true #启用日志文件，默认启用  
quiet=true #这个选项可以过滤掉一些无用的日志信息，若需要调试使用请设置为false  
port=27017 #端口号 默认为27017

启动服务

mongod --config "D:MongoDBServer3.4mongo.conf" --install --serviceName "MongoDB"  
net start MongoDB

验证服务

======================================================python打包egg================================================================================

背景：在pyspark开发的过程中driver程序需要引用其他的python模块，所以这里需要用python打成egg供spark worker中调用

新建一个setup.py文件，例子如下：

 1 from setuptools import setup,find_packages
 2 setup(
 3     name='your_mod',
 4     version='1.0',
 5     url='',
 6     license='',
 7     author='arachis',
 8     author_email='arachis@xxxx.cn',
 9     description='',
10     packages = find_packages(),
11 )

然后运行python setup.py bdist_egg,如下是运行之后生成的三个目录：

而dist目录下就是我们需要的egg包：

安装egg包

easy_install your_mod-1.0-py2.7.egg