大数据集群挂接分布式存储

s3a对接存储

需要分布式存储服务器方提供如下参数信息

fs.s3a.access.key; fs.s3a.secret.key; fs.s3a.endpoint; fs.s3a.impl

公钥          私钥      sa3IP和端口     固定jar包

hdfs对接对象存储

登录CDH管理界面，选择hdfs，然后点击配置，

 

<property>

<name>fs.s3a.impl</name>

<value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>

</property>

<property>

<name>fs.s3a.endpoint</name>

<value>100.7.44.201:8009</value>

</property>

<property>

<name>fs.s3a.establish.timeout</name>

<value>5000000</value>

</property>

<property>

<name>fs.s3a.connection.timeout</name>

<value>5000000</value>

</property>

<property>

<name>fs.s3a.access.key</name>

<value>key11</value>

</property>

<property>

<name>fs.s3a.secret.key</name>

<value>sec11</value>

</property>

<property>

<name>fs.s3a.buffer.dir</name>

<value>/mnt/icfs/s3a</value>

</property>

<property>

<name>fs.s3a.connection.ssl.enabled</name>

<value>false</value>

</property>

其中fs.s3a.endpoint根据实际情况修改，建议使用域名，这里例子设置为ip

fs.s3a.access.key、fs.s3a.secret.key请根据实际情况修改

修改完配置根据CDH提示，重启HDFS服务，并推送配置到客户端

Hbase对接对象存储

登录CDH管理界面，选择hbase，然后点击配置，添加core-site.xml配置

与HDFS上面相同，详情见hdfs对接对象存储，根据管理界面提示重启hbase相关服务并推送配置文件到客户端

在存储端为hbase创建桶，这里创建的桶为hbase

修改hbase-site.xml配置

添加hbase.rootdir，设置为hbase在对象存储中的路径。

添加hbase.wal.dir，为hdfs路径。

Hive对接对象存储

登录CDH管理界面，选择hive，然后点击配置，添加core-site.xml配置

与HDFS上面相同，详情见hdfs对接对象存储，根据管理界面提示重启hive相关服务并推送配置文件到客户端

 

Spark对接对象存储

登录CDH管理界面，选择hive，然后点击配置，添加core-site.xml配置

与HDFS上面相同，详情见hdfs对接对象存储，根据管理界面提示重启spark相关服务并推送配置文件到客户端