Давайте поговоримо про ще один проект зберігання, розроблений командою @SuiNetwork, @WalrusProtocol 🧐🧐 Mysten Labs, компанія-розробник Sui, також розробила проект @WalrusProtocol рівня даних. Walrus – це проект, який займається зберіганням даних та їх доступністю. Після того, як я закінчила дослідження, у мене з'явилося відчуття - "круто". Це найкращий проект зі зберігання, який я коли-небудь бачив. Далі наводимо текст: Існує дві основні категорії проектів децентралізованого зберігання даних. Перший тип використовує повну реплікацію, коли неефективне резервування обмінюється на безпеку, де кожен вузол зберігає повну копію даних, що представляють проект @Filecoin Arweave. Другий тип використовує метод стирання коду Ріда-Соломона для розрізання та збереження вихідних даних, що представляють проекти @Storj, Sia тощо. ———————————————————————————————— Поясніть коди стирання мовою людської мови Метод зберігання кодів стирання потрібно пояснити, строго кажучи, він полягає в тому, щоб розділити оригінальний файл на f+1 оригінальні фрагменти, згенерувати 2f додаткових фрагментів відновлення, зберегти різний фрагмент для кожного вузла зберігання, і будь-який фрагмент f+1 може відновити оригінальний файл. Що ж, ви можете пропустити цей нелюдський вираз і поглянути на наступний абзац. Припустимо, ми хочемо зберегти 4 важливих числа: [3, 7, 2, 5], і ці 4 числа є нашими «оригінальними зрізами». Далі нам потрібно згенерувати додаткові зрізи, Виправити зрізи 1 = 3 + 7 + 2 + 5 = 17 Ремонтний зріз 2 = 3×1 + 7×2 + 2×3 + 5×4 = 47 Ремонтний зріз 3 = 3×1² + 7×2² + 2×3² + 5×4² = 131 Тепер у нас є 7 зрізів: [3, 7, 2, 5, 17, 47, 131], праворуч. Припустимо, в системі є 7 вузлів, і ми їх розподіляємо, Чжан Сан: 3 Лі Сі: 7 Царів 5:2 Чжао Лю: 5 Гроші 7:17 Син 8:47 Івана 9:131 Якщо припустити, що Лі Сі, Чжао Лю та Чжоу Цзю втрачають дані, ми маємо лише: [3, _, 2, _, 17, 47, _]. Отже, як відновити вихідні дані? Пам'ятаєте формулу додаткових скибочок? Правильно, розв'язати двійкове лінійне рівняння. 3 + X + 2 + Y = 17 3×1 + Х×2 + 2×3 + У×4 = 47 В результаті виходить X=7, Y=5. Звичайно, це лише простий приклад. Потрібно лише пам'ятати про ефект, що досягається за допомогою коду стирання. Ефект полягає в тому, що до тих пір, поки більше 1/3 вузлів є здоровими. Іншими словами, в системі кодування стирання вузли зберігають лише фрагменти даних, доки може працювати більше 1/3 вузлів, дані можна відновити, але потрібна стабільність вузла через високу вартість заміни. Однак у повністю відтвореній системі має бути повний вузол для завантаження всіх копій даних. Перші жертвують частиною безпеки в обмін на низьку вартість, тоді як другі обмінюють резервування на безпеку та стабільність системи. ———————————————————————————————— Інновація в двовимірному (2D) коді стирання моржа Підхід Моржа насправді полягає в тому, щоб знайти золоту середину і досягти певного балансу між ними. Ядро також використовує кодування стирання, але воно створює вдосконалену технологію Red Stuff на цій технології. Red Stuff використовує більш розумний метод кодування для шардування даних. Пам'ятаєте попередній приклад стирання кодів? Щоб зберегти 4 важливі числа: [3, 7, 2, 5], згенеруйте додаткові зрізи, і нарешті розв'яжіть двійкове лінійне рівняння. Знову ж таки, це приклад для пояснення Red Stuff. Кодування Red Stuff — це двовимірний (2D) алгоритм кодування, який ви можете розглядати як «судоку». 3 7 25 в червоному Stuf код стає, [3 7] [2 5] Припустимо, що правило кодування таке: Стовпець 3 = Стовпець 1 + Стовпець 2 Стовпець 4 = Стовпець 1×2 + Стовпець 2×2 Рядок 3 = Ряд 1 + Ряд 2 Ряд 4 = Ряд 1×2 + Ряд 2×2 Саме таким стає зайвий шматочок [3 7 10 20] [2 5 7 14] [5 12 18 34] [10 24 34 68] Далі розподіляємо їх по вузлах в рядках і стовпцях, Чжан 3: 3 7 10 20, тобто перший рядок Лі IV: 2 5 7 14, рядок 2 Царів 5:5, 12, 18, 34,... Чжао Лю: 10 24 35 68,... Гроші 7:3 2 5 10, стовпець 1 8 Нд: 7 5 12 24,... ІВАНА 9:10 7 18 34,... Чжен Ши: 20 14 34 68,... Припустимо, Ван Ву втрачає дані, тобто втрачаються дані в рядку 3. Насправді йому потрібно лише запитати Чжан Саня в першому ряду і Лі Сі в другому ряду, і попросити у них числа 10 і 7 відповідно. Це ж двійкове лінійне рівняння вирішується для отримання результату. З перерахованих вище популярних, але не настільки строгих прикладів можна узагальнити характеристики Red Stuff, При відновленні даних вам не потрібні повні рядки або стовпці, а лише дані про місцезнаходження. Цю характеристику можна назвати «місцевістю». Крім того, число можна відновити з двох вимірів: рядків і стовпців, тобто «повторне використання інформації». По-друге, для складних даних можна спочатку відновити розмірність, яка є більш «легкою» та зручною для обчислення, а потім використовувати розмірність складності обчислення відновлених даних, тобто «прогресивність». На практиці припустимо, що файл закодовано як 301 фрагмент відповідно до архітектури коду стирання. У типовій системі кодування стирання потрібно 101 фрагмент, щоб відновити 1 фрагмент, але в Red Stuff потрібно лише близько 200 окремих символів, щоб відновити 1 пару фрагментів. Припускаючи, що зберігається файл розміром 1 ГБ, система має 301 вузол, звичайна система коду стирання, після відмови вузла, повинна завантажити 1 ГБ для відновлення фрагментів, і Red Stuff, кожен вузол зберігає: основний фрагмент (3,3 МБ) + вторинний фрагмент (3,3 МБ) = 6,6 МБ. Під час відновлення завантажується лише близько 10 МБ символічних даних, що дозволяє заощадити 99% пропускної здатності. Така конструкція дозволяє Walrus підтримувати великомасштабну децентралізовану мережу зберігання даних з дуже низькими витратами на пропускну здатність, зменшуючи витрати на відновлення з O(|blob|) до O(|blob|/n). Саме тому червону речовину називають «самовідновлювальною». Крім того, Walrus додає ряд функцій безпеки, таких як те, що він є першим протоколом, який підтримує проблеми зберігання в асинхронних мережах. Так званий «челендж» тут схожий на вибіркову перевірку механізму Optimistic на зберігання даних вузлів. Red Stuff додає перевірені криптографічні зобов'язання до кожного фрагмента, кожен символ може бути незалежно перевірений і так далі. Якщо узагальнити характеристики, то 1) Перша асинхронна безпека: вирішує проблему довіри розподіленого сховища до вузлів; 2) Самоперевірка: вбудований механізм захисту від підробок; 3) Прогресивні: обробляють динамічні зміни у вузлах; 4) Масштабований: підтримує від сотень до тисяч вузлів; щоб знайти найкращий баланс між безпекою та ефективністю. (Вище наведена перша частина цієї статті)