跳到主要内容

本地数据盘

本地数据盘是aifare实例的高速本地存储，提供优秀的读写性能，适合存放训练数据和临时文件。

什么是本地数据盘​

本地数据盘是挂载在实例上的本地存储设备，具有以下特点：

  • 高速读写：本地存储，读写性能优秀
  • 大容量：30GB起，支持扩容
  • 数据持久：实例关机后数据保留
  • 独立存储：与系统盘分离，互不影响

存储路径​

本地数据盘的挂载路径为：/data

# 查看数据盘使用情况
df -h /data

# 查看数据盘内容
ls -la /data

主要用途​

训练数据存储​

  • 存放训练数据集
  • 存放验证和测试数据
  • 存放数据预处理结果

模型文件存储​

  • 存放训练中的模型检查点
  • 存放最终训练好的模型
  • 存放模型配置文件

临时文件存储​

  • 存放程序运行产生的临时文件
  • 存放日志文件
  • 存放缓存数据

代码和数据​

  • 存放项目代码
  • 存放配置文件
  • 存放实验结果

性能特点​

读写速度​

  • 读取速度：最高可达600MB/s
  • 写入速度：最高可达500MB/s
  • 随机访问：优秀的随机读写性能

容量管理​

  • 基础容量：30GB
  • 扩容支持：支持在线扩容
  • 使用监控：实时监控使用情况

使用方法​

基本操作​

# 进入数据盘目录
cd /data

# 创建目录
mkdir /data/my_project

# 复制文件到数据盘
cp /path/to/file /data/

# 移动文件到数据盘
mv /path/to/file /data/

在JupyterLab中使用​

  1. 打开JupyterLab
  2. 在文件浏览器中可以看到/data目录
  3. 直接在JupyterLab中操作数据盘文件

在代码中使用​

import os

# 设置数据盘路径
data_path = '/data'

# 创建项目目录
project_dir = os.path.join(data_path, 'my_project')
os.makedirs(project_dir, exist_ok=True)

# 保存文件到数据盘
with open(os.path.join(project_dir, 'data.txt'), 'w') as f:
    f.write('Hello, aifare!')

扩容操作​

在线扩容​

  1. 在实例详情页面选择"扩容"
  2. 选择更大的数据盘容量
  3. 确认扩容操作
  4. 系统自动完成扩容

扩容后操作​

# 检查扩容结果
df -h /data

# 如果需要，重新挂载文件系统
sudo resize2fs /dev/mapper/docker_vg-volume--xxxxx

最佳实践​

目录组织​

/data/
├── datasets/          # 数据集
├── models/           # 模型文件
├── projects/         # 项目代码
├── logs/             # 日志文件
└── temp/             # 临时文件

数据管理​

  1. 定期清理：及时删除不需要的临时文件
  2. 合理分类：按用途组织文件目录
  3. 备份重要数据：重要数据及时上传到公网网盘
  4. 监控使用量：定期检查磁盘使用情况

性能优化​

  1. 避免小文件过多：合并小文件或使用压缩
  2. 合理使用缓存：避免频繁的磁盘IO
  3. 批量操作：尽量使用批量文件操作

注意事项​

  • 本地数据盘数据不会随镜像保存
  • 实例释放后数据会丢失
  • 建议重要数据定期备份到公网网盘
  • 扩容操作不可逆，请谨慎选择容量

故障排除​

磁盘空间不足​

# 查看磁盘使用情况
df -h

# 查找大文件
du -sh /data/* | sort -hr

# 清理临时文件
rm -rf /data/temp/*

权限问题​

# 修改文件权限
chmod 755 /data/my_directory

# 修改文件所有者
chown user:group /data/my_file

下一步​