Skip to content

上传数据

本文介绍将本地数据上传到智川云实例的方法。

上传方式对比

方式适用场景特点
JupyterLab小文件(< 100MB)最简单,详见 JupyterLab
SCP日常文件传输简单快速,推荐
rsync大量文件/增量同步支持断点续传
FileZilla图形化操作界面友好

SCP 命令上传(推荐)

SCP 是基于 SSH 的文件拷贝工具,简单高效。

重要提示

SCP 命令需要在 本地电脑的终端 中运行,而不是在开发机上运行。请勿先 SSH 登录到开发机再执行 SCP 命令。

获取连接信息

在控制台「实例详情」页面复制 SSH 登录信息:

bash
ssh root@<> -p <>
# 示例:ssh root@connect.gpuhome.cc -p 12345

上传文件

将下方命令中的 <端口><地址> 替换为您从控制台复制的实际信息。

建议上传到数据盘

/root/rivermind-data/ 是数据盘挂载路径,建议将文件上传到此目录,避免占用系统盘空间。

bash
# 上传单个文件
scp -P <> ./model.pth root@<>:/root/rivermind-data/
# 示例:scp -P 12345 ./model.pth root@connect.gpuhome.cc:/root/rivermind-data/

# 上传目录
scp -P <> -r ./dataset root@<>:/root/rivermind-data/
# 示例:scp -P 12345 -r ./dataset root@connect.gpuhome.cc:/root/rivermind-data/

常用参数

参数说明
-P指定端口(大写 P)
-r递归上传目录
-C启用压缩

rsync 增量上传

rsync 支持断点续传和增量同步,适合大量文件。

安装

bash
# macOS 默认已安装
# Linux
apt update && apt install -y rsync

Windows 用户

Windows 原生不支持 rsync,可通过以下方式使用:

  • WSL(推荐):安装 Windows Subsystem for Linux 后直接使用
  • Git Bash:安装 Git for Windows 后在 Git Bash 中使用
  • cwRsync:Windows 原生 rsync 客户端,下载地址 cwrsync.com

如果不想安装额外工具,建议 Windows 用户使用 SCP 或 FileZilla。

上传文件

bash
rsync -avz --progress -e "ssh -p <端口>" ./data/ root@<>:/root/rivermind-data/
# 示例:rsync -avz --progress -e "ssh -p 12345" ./data/ root@connect.gpuhome.cc:/root/rivermind-data/

参数说明:

参数说明
-avz归档模式 + 显示详情 + 压缩传输
--progress显示传输进度
-e "ssh -p <端口>"指定 SSH 端口(替换为实际端口)
./data/本地源目录(末尾 / 表示同步目录内容)
root@<地址>:/root/rivermind-data/远程目标路径

常用参数

参数说明
-a归档模式
-v显示详情
-z压缩传输
--progress显示进度
--partial断点续传

图形化工具

FileZilla

  1. 下载 FileZilla
  2. 站点管理器 → 新建站点
  3. 配置:协议 SFTP,主机、端口、用户名、密码
  4. 连接后拖拽文件上传

详见 FileZilla 使用指南

其他工具

  • XShell:专业终端软件,支持 SFTP
  • Termius:跨平台 SSH 客户端

大文件建议

先压缩再上传

bash
# 本地压缩
tar czf data.tar.gz data/

# 上传
scp -P 12345 data.tar.gz root@connect.gpuhome.cc:/root/rivermind-data/

# 远程解压
ssh -p 12345 root@connect.gpuhome.cc "cd /root/rivermind-data && tar xzf data.tar.gz"

使用 screen 保持传输

bash
screen -U -S upload
# 执行传输命令
# Ctrl+A+D 离开

常见问题

上传速度慢

  • 启用压缩:scp -Crsync -z
  • 先压缩再上传

上传中断

  • 使用 rsync --partial 支持断点续传
  • 大量小文件建议先打包

磁盘空间不足

bash
df -h /root/rivermind-data

建议上传到数据盘 /root/rivermind-data/

智算无疆 川流不息