Hãy nói về dự án lưu trữ khác mà đội ngũ @SuiNetwork phát triển, @WalrusProtocol 🧐🧐 Công ty phát triển Sui, Mysten Labs, thực ra cũng đã phát triển một dự án lớp dữ liệu @WalrusProtocol. Walrus là một dự án về lưu trữ dữ liệu và khả năng sử dụng dữ liệu. Sau khi nghiên cứu, tôi chỉ có một cảm nhận - "thật tuyệt vời". Đây là dự án lưu trữ tốt nhất mà tôi từng thấy. Dưới đây là nội dung chính, Các dự án lưu trữ phi tập trung chủ yếu có hai loại. Loại đầu tiên sử dụng phương pháp sao chép hoàn toàn (full replication), đổi lấy độ an toàn bằng cách sử dụng sự dư thừa không hiệu quả, tức là mỗi nút đều lưu trữ một bản sao đầy đủ của dữ liệu, đại diện cho các dự án như @Filecoin và Arweave. Loại thứ hai sử dụng phương pháp mã sửa lỗi Reed-Solomon, lưu trữ các mảnh dữ liệu gốc, đại diện cho các dự án như @Storj, Sia, v.v. ———————————————————————————————— Giải thích mã sửa lỗi (Erasure Codes) bằng ngôn ngữ dễ hiểu Cách lưu trữ bằng mã sửa lỗi (Erasure Codes) cần được giải thích, chính xác hơn là chia tệp gốc thành f+1 mảnh gốc, tạo ra 2f mảnh sửa chữa (repair slivers) bổ sung, mỗi nút lưu trữ một mảnh khác nhau, bất kỳ f+1 mảnh nào cũng có thể tái tạo lại tệp gốc. Được rồi, bạn có thể bỏ qua đoạn này không nói bằng ngôn ngữ dễ hiểu, hãy xem đoạn dưới đây. Giả sử chúng ta cần lưu trữ 4 số quan trọng: [3, 7, 2, 5], 4 số này chính là "mảnh gốc" của chúng ta. Tiếp theo, chúng ta cần tạo ra các mảnh bổ sung, Mảnh sửa chữa 1 = 3 + 7 + 2 + 5 = 17 Mảnh sửa chữa 2 = 3×1 + 7×2 + 2×3 + 5×4 = 47 Mảnh sửa chữa 3 = 3×1² + 7×2² + 2×3² + 5×4² = 131 Bây giờ chúng ta có 7 mảnh: [3, 7, 2, 5, 17, 47, 131], đúng không. Giả sử hệ thống có 7 nút, chúng ta phân phối ra, Trương Tam: 3 Lý Tứ: 7 Vương Ngũ: 2 Triệu Lục: 5 Tiền Thất: 17 Tôn Bát: 47 Chu Cửu: 131 Giả sử Lý Tứ, Triệu Lục, Chu Cửu mất dữ liệu, chúng ta chỉ còn: [3, _, 2, _, 17, 47, _]. Vậy làm thế nào để phục hồi dữ liệu gốc? Còn nhớ công thức ở mảnh bổ sung không? Đúng vậy, giải một phương trình bậc nhất hai biến. 3 + X + 2 + Y = 17 3×1 + X×2 + 2×3 + Y×4 = 47 Kết quả là X=7, Y=5. Tất nhiên đây chỉ là một ví dụ rất đơn giản. Bạn chỉ cần nhớ hiệu quả mà mã sửa lỗi đạt được. Hiệu quả là, chỉ cần có hơn 1/3 nút hoạt động là đủ. Nói cách khác, trong hệ thống mã sửa lỗi, các nút chỉ cần lưu trữ các mảnh dữ liệu, chỉ cần hơn 1/3 nút có thể hoạt động, dữ liệu có thể được phục hồi, nhưng cần các nút ổn định vì chi phí thay thế cao. Nhưng trong hệ thống sao chép hoàn toàn, cần có các nút đầy đủ để tải xuống toàn bộ bản sao dữ liệu. Phương pháp trước đánh đổi một phần độ an toàn để đổi lấy chi phí thấp, trong khi phương pháp sau đánh đổi sự dư thừa để đổi lấy độ an toàn và ổn định của hệ thống. ———————————————————————————————— Sự đổi mới mã sửa lỗi hai chiều (two-dimensional, 2D) của Walrus Cách của Walrus thực ra là đi đến điểm giữa, đạt được một sự cân bằng nào đó giữa hai phương pháp. Cốt lõi cũng là sử dụng mã sửa lỗi, chỉ là trong công nghệ này đã tạo ra một công nghệ cải tiến gọi là Red Stuff. Red Stuff sử dụng một cách mã hóa tinh vi hơn để phân mảnh dữ liệu. Còn nhớ ví dụ mã sửa lỗi trước đây không? Để lưu trữ 4 số quan trọng: [3, 7, 2, 5], cần tạo ra các mảnh bổ sung, cuối cùng giải phương trình bậc nhất hai biến. Vẫn là ví dụ này để giải thích Red Stuff. Phương pháp mã hóa Red Stuff là thuật toán mã hóa hai chiều (two-dimensional, 2D), bạn có thể tưởng tượng như “sudoku”. 3 7 25 trong mã hóa Red Stuff trở thành, [3 7] [2 5] Giả sử quy tắc mã hóa là, Cột thứ 3 = Cột thứ 1 + Cột thứ 2 Cột thứ 4 = Cột thứ 1×2 + Cột thứ 2×2 Hàng thứ 3 = Hàng thứ 1 + Hàng thứ 2 Hàng thứ 4 = Hàng thứ 1×2 + Hàng thứ 2×2 Đây là các mảnh bổ sung trở thành [3 7 10 20] [2 5 7 14] [5 12 18 34] [10 24 34 68] Tiếp theo, chúng ta phân phối theo hàng và cột cho các nút, Trương Tam: 3 7 10 20, tức là hàng đầu tiên Lý Tứ: 2 5 7 14, hàng thứ hai Vương Ngũ: 5 12 18 34,… Triệu Lục: 10 24 35 68,… Tiền Thất: 3 2 5 10, cột đầu tiên Tôn Bát: 7 5 12 24,… Chu Cửu: 10 7 18 34,… Trịnh Thập: 20 14 34 68,… Giả sử Vương Ngũ mất dữ liệu, tức là dữ liệu hàng thứ 3 bị mất. Thì thực ra anh ta chỉ cần hỏi Trương Tam ở hàng đầu tiên và Lý Tứ ở hàng thứ hai, lần lượt yêu cầu họ số 10 và 7 là đủ. Cũng là giải phương trình bậc nhất hai biến, tìm ra kết quả. Từ ví dụ trên, tuy đơn giản nhưng không quá nghiêm ngặt, chúng ta có thể tổng kết các đặc điểm của Red Stuff, Khi phục hồi dữ liệu, không cần toàn bộ hàng hoặc cột, chỉ cần dữ liệu ở vị trí cụ thể là đủ. Đặc điểm này có thể gọi là “tính cục bộ”. Ngoài ra, một số có thể được phục hồi từ cả hai chiều hàng và cột, tức là “tái sử dụng thông tin”. Thêm vào đó, đối với dữ liệu phức tạp, có thể phục hồi trước các chiều “dễ” hơn để tính toán, sau đó sử dụng dữ liệu đã phục hồi để tính toán các chiều khó hơn, tức là “tính tiến bộ”. Trong ứng dụng thực tế, giả sử một tệp, trong kiến trúc mã sửa lỗi, được mã hóa thành 301 mảnh. Hệ thống mã sửa lỗi thông thường, để phục hồi 1 mảnh cần 101 mảnh, trong khi với Red Stuff, để phục hồi 1 cặp mảnh chỉ cần khoảng 200 ký hiệu riêng lẻ. Giả sử lưu trữ tệp 1GB, hệ thống có 301 nút, hệ thống mã sửa lỗi thông thường, sau khi nút gặp sự cố cần tải xuống 1GB để phục hồi mảnh, trong khi Red Stuff, mỗi nút lưu trữ: mảnh chính (3.3MB) + mảnh phụ (3.3MB) = 6.6MB. Khi phục hồi chỉ cần tải xuống khoảng 10MB dữ liệu ký hiệu, tiết kiệm 99% băng thông. Thiết kế này cho phép Walrus duy trì một mạng lưới lưu trữ phi tập trung quy mô lớn với chi phí băng thông cực thấp, giảm chi phí phục hồi từ O(|blob|) xuống O(|blob|/n). Đó là lý do tại sao Red Stuff được gọi là "tự phục hồi". Ngoài ra, Walrus đã thêm nhiều tính năng bảo mật, chẳng hạn như là giao thức đầu tiên hỗ trợ thách thức lưu trữ trong mạng không đồng bộ. Ở đây, “thách thức” được hiểu giống như cơ chế lạc quan để kiểm tra tình trạng lưu trữ dữ liệu của các nút. Mỗi mảnh của Red Stuff đều thêm cam kết mã hóa có thể xác minh (commitments), mỗi ký hiệu có thể được xác minh độc lập, v.v. Tóm tắt các đặc điểm, 1) Đầu tiên an toàn không đồng bộ: giải quyết vấn đề tin cậy của các nút trong lưu trữ phân tán; 2) Tự xác minh: cơ chế chống giả mạo tích hợp; 3) Tính tiến bộ: xử lý sự thay đổi động của các nút; 4) Có thể mở rộng: hỗ trợ từ hàng trăm đến hàng nghìn nút; Tìm kiếm sự cân bằng tốt nhất giữa an toàn và hiệu quả. (Trên đây là phần đầu của bài viết)