怎么快速搭建一个Hadoop伪分布式文件系统-大数据-互联网-天达云

怎么快速搭建一个Hadoop伪分布式文件系统
更新：HHH 时间：2023-1-7

这篇文章主要讲解了“怎么快速搭建一个Hadoop伪分布式文件系统”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“怎么快速搭建一个Hadoop伪分布式文件系统”吧！

Step

1. 安装必备软件，并配置好Java环境变量

2. 下载解压hadoop 2.6.0

3. 修改SSH配置

允许root登录：sed -i "28s/.*/PermitRootLogin yes/g" /etc/ssh/sshd_config（Dockerfile中）
修改sshd的端口（容器net模式为host时，并且主机也运行sshd时会冲突）
取消主机验证：sed -i "35s/.*/ StrictHostKeyChecking no/g" /etc/ssh/ssh_config（entrypoint.sh中）
ssh无密码登录到localhost

4. 下面就可以构建/运行镜像了

Usage

1. quick start

docker run -d --net host --name hdfs dockerq/docker-hdfs

浏览器浏览 localhost:50070查看HDFS的WebUI界面

2. 挂载数据卷

容器中hdfs的datanode和namenode默认文件夹是/hdfsdata

docker run -d --name --net host -v host_data_path:/hdfsdata dockerq/docker-hdfs

3. 修改sshd默认端口

docker run -d --net host -e SSH_PORT=2222 --name hdfs dockerq/docker-hdfs

感谢各位的阅读，以上就是“怎么快速搭建一个Hadoop伪分布式文件系统”的内容了，经过本文的学习后，相信大家对怎么快速搭建一个Hadoop伪分布式文件系统这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是天达云，小编将为大家推送更多相关知识点的文章，欢迎关注！