西电分布式计算大实验——在腾讯云轻量服务器上搭建分布式计算环境：从MPI到Spark全栈指南

本文将详细记录如何在腾讯云轻量服务器上配置完整的分布式计算环境，涵盖MPI、Hadoop和Spark三大框架的安装部署、环境配置及实验运行全过程。无论你是分布式计算初学者还是需要快速搭建实验环境的研究人员，这篇指南都能为你提供清晰的实现路径。

环境概览与准备

服务器配置：

• 型号：腾讯云轻量应用服务器
• 规格：2核4GB（72元一个月）
• 系统：Ubuntu 20.04 LTS
• 存储：60GB SSD云硬盘

技术栈：

• MPI：OpenMPI 4.1.1
• Hadoop：3.3.6
• Spark：3.3.2
• Python：Anaconda3 (2024.10)

一、基础环境配置

1. MPI环境安装（OpenMPI）

# 安装OpenMPI及相关依赖
sudo apt update
sudo apt install -y openmpi-bin openmpi-common libopenmpi-dev

# 验证安装
mpirun –version

输出示例：

mpirun (Open MPI) 4.1.1
Report bugs to http://www.open-mpi.org/community/help/

2. Python环境配置（Anaconda）

# 下载最新版Anaconda
wget -c https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh

# 安装（注意修改安装路径）
bash Anaconda3-2024.10-1-Linux-x86_64.sh

# 安装选项：
# 1. 接受许可协议 (yes)
# 2. 自定义安装路径（如：/opt/anaconda3）
# 3. 自动初始化环境变量 (yes)

# 激活环境
source ~/.bashrc
conda –version

二、Hadoop集群部署

1. 获取并解压实验包（课程资料中下载）

unzip hadoop-sandbox.zip -d ~/hadoop-sandbox
unzip spark-install.zip -d ~/spark-install

2. 关键目录映射配置

修改docker-compose.yaml：

services:
clientnode:
volumes:
# 修改为宿主机实际路径
– "/home/ubuntu/hadoop-sandbox/sandbox-data:/home/sandbox"

# 删除volumes段中的clientnodehome声明

3. 创建本地数据目录

mkdir -p ~/hadoop-sandbox/sandbox-data

4. 启动Hadoop集群

cd ~/hadoop-sandbox
docker-compose up -d

5. 验证容器状态

docker ps

预期输出：

CONTAINER ID IMAGE PORTS NAMES
a1b2c3d4e5f6 hadoop-sandbox:latest 0.0.0.0:2222->22/tcp clientnode
9876fedcba98 hadoop:3.3.6 0.0.0.0:9870->9870/tcp namenode
…

6. 访问Hadoop容器

ssh -p 2222 sandbox@localhost # 密码：sandbox

三、Spark环境部署

1. 构建Spark镜像

cd ~/spark-install
docker build -t packet23/hadoop-client:latest .

2. 重启Hadoop集群

cd ~/hadoop-sandbox
docker-compose down
docker-compose up -d

四、访问Hadoop Web UI

由于云服务器限制，需建立SSH隧道访问Web UI：

# 建立本地到服务器的隧道
ssh -L 9870:localhost:9870 ubuntu@<your-server-ip>

访问 http://localhost:9870 即可查看HDFS状态：

五、文件系统操作指南

1. Hadoop Shell常用命令

# 在sandbox容器内执行
hadoop fs -ls / # 查看根目录
hadoop fs -mkdir /test # 创建测试目录
hadoop fs -put data.txt /test # 上传文件
hadoop fs -cat /test/data.txt # 查看文件内容

2. 目录映射验证

# 在宿主机添加测试文件
echo "Hello Hadoop" > ~/hadoop-sandbox/sandbox-data/test.txt

# 在sandbox容器内验证
cat ~/test.txt # 应显示"Hello Hadoop"

六、实验代码运行指南

1. MPI程序运行（定积分计算）

# mpi.py
from mpi4py import MPI
import math

def f(x):
return math.sin(x*x + x)

comm = MPI.COMM_WORLD
rank = comm.Get_rank()
size = comm.Get_size()

a, b = 0.0, 1.0
n = 1000000
h = (b – a) / n

# 各进程计算局部积分
start = a + rank * (b – a) / size
end = a + (rank + 1) * (b – a) / size
local_integral = (f(start) + f(end)) / 2.0

for i in range(1, int(n/size)):
x = start + i * h
local_integral += f(x)

local_integral *= h

# 汇总结果
total = comm.reduce(local_integral, op=MPI.SUM, root=0)

if rank == 0:
print(f"Integral result: {total:.10f}")

运行命令：

# 在宿主机运行
mpiexec –allow-run-as-root -n 4 python mpi.py

2. MapReduce程序运行（学生成绩分析）

# 在sandbox容器内操作
cd ~
mkdir -p code && cd code

# 编译Java程序
javac -cp $(hadoop classpath) RequiredCourseAverage.java

# 打包JAR
jar cvf rca.jar RequiredCourseAverage*.class

# 提交作业（确保输入路径存在）
hadoop jar rca.jar RequiredCourseAverage /input/grades.txt /output/avg_results

# 查看结果
hadoop fs -cat /output/avg_results/part-r-00000

3. Spark程序运行（分数段统计）

# spark/count.py
from pyspark.sql import SparkSession
from pyspark.sql.functions import *

spark = SparkSession.builder.appName("ScoreSegmentAnalysis").getOrCreate()

# 定义数据结构
schema = "class STRING, name STRING, subject STRING, course_type STRING, score DOUBLE"
df = spark.read.csv("hdfs:///input/grades.txt", schema=schema)

# 处理逻辑
result = (df.filter(col("course_type") == "必修")
.groupBy("class", "name")
.agg(avg("score").alias("avg_score"))
.withColumn("segment",
when(col("avg_score") >= 90, "90-100")
.when((col("avg_score") >= 80) & (col("avg_score") < 90), "80-89")
.when((col("avg_score") >= 70) & (col("avg_score") < 80), "70-79")
.when((col("avg_score") >= 60) & (col("avg_score") < 70), "60-69")
.otherwise("0-59"))
.groupBy("class", "segment")
.count()
.orderBy("class", "segment"))

# 输出结果
result.write.csv("hdfs:///output/segment_analysis", header=True, mode="overwrite")

运行命令：

spark-submit spark/count.py

# 查看结果（从Web UI获取实际路径）
hadoop fs -cat /output/segment_analysis/part-00000-*

七、环境优化技巧

1. 容器资源限制

# 在docker-compose.yaml中添加
services:
namenode:
deploy:
resources:
limits:
cpus: '1.0'
memory: 1024M

2. Hadoop性能调优

# 修改hadoop-env.sh
export HADOOP_HEAPSIZE_MAX=512m
export HADOOP_OPTS="-XX:+UseG1GC"

3. Spark配置优化

# 在Spark代码中配置
spark = (SparkSession.builder
.config("spark.executor.memory", "1g")
.config("spark.driver.memory", "512m")
.config("spark.sql.shuffle.partitions", "16")
.getOrCreate())

八、常见问题解决方案

九、学习资源推荐

结语

通过本文的指导，你应该已经成功在腾讯云轻量服务器上搭建了完整的分布式计算环境。这种环境不仅适用于学习实验，也可作为小型研究项目的开发环境。配置环境只是开始，真正的价值在于：

下一步建议：

经验分享：在配置过程中遇到问题时，善用docker logs <container-id>查看容器日志，这能快速定位90%以上的配置错误。记住：耐心和系统化调试是成功部署的关键！

希望这篇指南能帮助你顺利开启分布式计算的学习之旅！如果有任何问题或建议，欢迎在评论区交流讨论。