Cách sử dụng Rclone trên Colab để copy file từ Google Drive sang OneDrive

Google Colab là gì?

Google Colab, tên gọi đầy đủ là Google Colaboratory, là một sản phẩm của Google, cung cấp một môi trường notebook trực tuyến tận dụng sức mạnh tính toán của GPU và TPU giúp bạn chạy code Python trên nền tảng đám mây.

Một số đặc điểm chính của Google Colab:

1. Miễn phí sử dụng: Google Colab là một công cụ miễn phí, cho phép người dùng truy cập và sử dụng các tài nguyên tính toán của Google mà không cần setup hay cấu hình phức tạ
2. Môi trường notebook: Google Colab sử dụng giao diện notebook tương tự như Jupyter Notebook, cho phép kết hợp code, văn bản, công thức toán học, hình ảnh và visualize dữ liệ
3. Tích hợp GPU và TPU: Người dùng có thể truy cập và sử dụng GPU/TPU của Google để thực hiện các tác vụ tính toán song song, đặc biệt hữu ích trong các lĩnh vực như machine learning, deep learning, xử lý ảnh và xử lý ngôn ngữ tự nhiê
4. Kết nối với Google Drive: Colab cho phép người dùng dễ dàng truy cập và lưu trữ dữ liệu, mã nguồn trên Google Drive của riêng mì
5. Chia sẻ và cộng tác: Colab hỗ trợ chia sẻ và cộng tác, cho phép nhiều người dùng cùng làm việc trên cùng một notebook.
6. Thư viện và gói phần mềm phong phú: Colab tích hợp sẵn nhiều thư viện và gói phần mềm phổ biến trong lĩnh vực khoa học dữ liệu, machine learning như NumPy, Pandas, Matplotlib, Scikit-learn, Keras, TensorFlow, PyTorch và nhiều thứ khá

Google Colab được sử dụng rộng rãi trong giáo dục, nghiên cứu và phát triển các dự án liên quan đến khoa học dữ liệu, machine learning và trí tuệ nhân tạo. Nó giúp người dùng có thể làm việc với các tài nguyên tính toán mạnh mẽ mà không cần phải cấu hình phức tạp.

Bài viết này mình sẽ hướng dẫn các bạn cách chạy Rclone trên Colab để copy data giữa các cloud một cách nhanh chóng và không tốn tài nguyên của máy tính cá nhân.

Chạy Rclone trên Google Colab có lợi gì?

1. Tốc độ mạng internet khá nhanh, quá trình copy file nhanh
2. Rclone không chạy trực tiếp trên máy tính của bạn, không hao tốn tài nguyên máy, chỉ cần mở 1 trình duyệt duy trì truy cập Colab

Cách chạy Rclone trên Colab copy file từ Google Drive sang OneDrive

Bước 1. Truy cập https://colab.research.google.com nhấn New notebook (Sổ tay mới)

Bước 2. Đặt tên cho nó là Google Drive sang OneDrive cho dễ nhớ để sau này truy cập nhanh vào, nhấn vào File, chọn Mount Drive, hoặc bạn cũng có thể chạy lệnh này để thêm Google Drive vào Colab, nhấn biểu tượng ► để thực thi lệnh:

from google.colab import drive
drive.mount('/content/drive')

Hiện ra thông báo cấp quyền thì cứ đồng ý hết nhé.

Bước 3. Ở đây mình chọn cách chạy lệnh để thêm Google Drive vào Colab, tiếp theo nhấn vào + Code để thêm code cài Rclone cho Colab, kết nối OneDrive vào Rclone:

!sudo -v ; curl https://rclone.org/install.sh | sudo bash
!rclone config create one onedrive --all

3.1. Nhấn vào biết tượng ► để thực thi lệnh

3.2. Hướng dẫn tùy chọn:

Option client_id và client_secret nhấn Enter để trống

Option region: chọn 1 Microsoft Cloud Global

Edit advanced config? nhấn Enter để chọn mặc định là No

Use web browser to automatically authenticate rclone with remote? Chọn n, vì đây là máy ảo, không có trình duyệt để bạn mở lên đăng nhập tài khoản OneDrive vào.

Lúc này Rclone sẽ yêu cầu bạn cung cấp token của tài khoản OneDrive, để lấy token thì bạn chạy Rclone trực tiếp trên máy tính, thêm OneDrive vào Rclone theo hướng dẫn ở link này, khi hoàn tất sẽ có token như ảnh này:

Kéo chuột để bôi đen từ dấu { đến dấu }, rồi nhấn Ctrl + C để copy token dán vào config_token ở Colab:

Tiếp tục cài đặt:

Type of connection: chọn 1

Option config_driveid: chọn 1

Drive OK? Found drive “root” of type “personal”: nhấn Enter để chọn mặc định là Yes

Bước 4. Tiếp tục nhấn + Code để thêm code copy data từ Google Drive sang OneDrive, hoặc copy Google Drive này sang Google Drive khác, OneDrive này sang OneDrive khác, OneDrive sang Google Drive, v…v… thực hiện tương tự:

!rclone copy --update -v /content/drive/MyDrive/"Phan Mem" one:"Phan Mem"

Lưu ý:

1. “Phan Mem” là tên thư mục muốn copy, vì tên thư mục có khoảng cách nên tên được đặt trong dấu ngoặc kép, nếu tên thư mục không có khoảng cách thì bạn có thể bỏ dấu ngoặc kép đi, ví dụ: !rclone copy --update -v /content/drive/MyDrive/PhanMem one:PhanMem
2. Nếu muốn copy toàn bộ thì câu lệnh là: !rclone copy --update -v /content/drive/MyDrive/ one:
   
3. one là tên của cloud OneDrive lúc thêm vào ở Bước 3, nếu bạn cần thêm một (hoặc nhiều) OneDrive vào nữa để copy file từ OneDrive này sang OneDrive khác thì đặt tên không trùng nhé, ví dụ tên là one2 thì câu lệnh để thêm vào là !rclone config create one2 onedrive --all
4. Muốn copy từ OneDrive này sang OneDrive khác thì chạy lệnh: !rclone copy --update -v one:"Phan Mem" one2:"Phan Mem"
   
5. Muốn copy từ Google Drive này sang Google Drive khác thì cách thực hiện cũng tương tự như OneDirve: thêm Google Drive vào bằng token, sau đó chạy lệnh để copy, ví dụ lệnh: !rclone copy --update -v /content/drive/MyDrive/"Phan Mem" googledrive:"Phan Mem"

Hình ảnh ví dụ mình chạy lệnh để copy thư mục Phan Mem từ Google Drive sang OneDrive:

MỘT VÀI LƯU Ý KHI SỬ DỤNG RCLONE TRÊN COLAB

1. Có cần giữ trình duyệt mở để Colab hoạt động không?
   • Không, Colab chạy trên môi trường máy chủ của Google, không yêu cầu phải giữ trình duyệt mở để hoạt động.
2. Colab tự động chạy code trong bao lâu?
   • Thời gian chạy code trong Colab phụ thuộc vào nội dung của từng cell code và tài nguyên tính toán hiện có. Thường thì, Colab sẽ thực thi code ngay khi bạn nhấn Shift + Enter hoặc nhấn nút “Run”, và thời gian thực thi có thể từ vài giây đến vài phút, tùy thuộc vào phức tạp của code và tải trọng tính toán.
3. Có giới hạn thời gian sử dụng Colab không?
   • Có, Colab có giới hạn thời gian hoạt động liên tục. Sau một thời gian không hoạt động, máy ảo của bạn có thể bị hủy. Thời gian này thường là khoảng 12 giờ.
4. Tài nguyên tính toán như CPU và GPU trên Colab có giới hạn không?
   • Có, Colab bản miễn phí có giới hạn về tài nguyên tính toán như CPU và GPU. Mặc dù GPU không phải lúc nào cũng có sẵn và bạn có thể phải chờ đợi trước khi được kích hoạt, thời gian sử dụng mỗi session thường là khoảng 12 giờ.
5. Tôi có thể sử dụng GPU miễn phí trên Colab không?
   • Có, Colab cung cấp một số lượng giới hạn về sử dụng GPU miễn phí. Bạn có thể chọn môi trường thực thi là GPU trong cài đặt runtime. Thời gian sử dụng mỗi session là khoảng 12 giờ.