filecoin中文版白皮书，关于区块链分布式存储的火爆白皮书，值得一看
IPFSMAIN 目录 介绍 11.基本组件 12.协议概述 5556 1.3.论文组织. 2.去中心化存储网络的定义 2.1.故障容错 .a.=:=:=. 22.属性 …………………,………,……………………………10 3.复制证明和时空证明 11 31.动机 …………11 32.复制证明 11 33.时空证明 12 34. PoRe和PoSt的实际应用.12 35.在 Filecoin中的运用 ∴15 4. Filecoin:一个DSN架构. 41.设置 17 42.数据结构… 4.3.协议 18 44.保证和要求 23 5. Filecoin存储和检索市场… 26 51.可验证市场 26 5.2.存储市场… 26 53.检索市场… 29 6.有用的工作共识… :.:::::::::::::a::::.:::::::.::::a::::::::.::·::::::::.:.:...: 32 61.动机… 32 2. Filecoin共识. 32 7.智能合约 .36 7.1. Filecoin中的合约.3 7.2.与其他系统的集成 36 8未来的工作 37 81.正在进行的工作.… 82.开放性问题… 37 83.证明和正式验证…37 3 IPFSMAIN 图表清单 图1 Filecoin协议草图…17 图2 Filecoin协议插图 aaaa: 000000008000000400008000008,aaa曲由aa·taaa自 00000000000000000000. D000080000004000080 图3 PoSt, Prove的基础机制图示 15 图4复制证明和时空证明的协议草图 …16 图5DSN方案中的数据结构 图6 Filecoin dsn的执行示例 22 图7 Filecoin dsn中Put和Get协议的描述 24 图8 Filecoin dsn中 Manage协议的描述 25 图9可验证市场的通用协议 ………26 图10存储市场和检索市场的订单数据结构 28 图11详细的存储市场协议… 30 图12详细的检索市场协议 31 图13在期望共识协议中的领袖选举 D鲁 35 4 IPFSMAIN 1.介绍 Filecoin是一种协议通证,它的区块链运行在一种叫做“时空证明”的新型证明机制上, 它的区块将被存储数据的矿工创建出来。 Filecoin协议通过不依赖于单个协调的独立存 储提供者组成的网络来提供数据存储和检索服务,其中:(1)用户为数据存储和检索支 付通证,(以)存储矿工通过提供存储空间赚取通证,(3)检索矿工提供数据服务赚取通证 11.基本组件 Filecoin协议建立在四个新型组件之上。 1.去中心化存储网络(DSN):我们提出个由独立存储提供者组成的网络的抽 象概念来提供存储和检索服务(见第2章)。接着我们将 Filecoin作为·个可激 励的、可审计并且可验证的DSN构架来展示(见第4章)。 新型的存储证明:我们提出两种新型的存储证明(见第3章):(1)复制证明允 许存储提供者证明数据确实被复制到了其独特的专用物理存储设备上。强制执 行独特的物理副本使验证者可以检验证明者不是在同一个存储空间中将多个重 复数据副本删除;(2)时空证明允许存储提供者证明他们在指定的时间内持续存 储了某些数据。 3.可验证市场:我们将存储请求和检索(检索与取回英文相同)请求建模成由 Filecoin网络运行的两个去中心化的可验证市场内的订单(见第5章)。可验让 市场确保了当一种服务被正确提供的时候,相应的款项会被支付。我们展示的 存储市场和检索市场中,矿工和客户可以分别地提交存储订单和检索订单, 有效的工作证明:我们展示了如何基于“时空证明”米构建一个有效的工作证 明来应用于共识协议之中。矿工将不再需要花费不必要的计算资源来挖掘区块 而是必须在网络屮存储数据 12.协议概述 · Filecoin协议是一个构建在区块链和本地通证之上的去中心化存储网络。用户为 存储和检索数据花费通证,矿工以存储和提供数据赚取通证。 Filecoin的DSN通过两个可验证的市场来分别处理仔储和检索请求:即存储市场 和检索市场。用户和矿L为所要求的和提供的服务设定价格,并将订单提交到 市场上。 ·市场由采用了时空证明和复制证明的 Filecoin网络来操作,以确保矿工准确无 误地存储他们承诺存储的数据。 最后,矿工可以参与区块链屮新区块的创造屮。一个矿工对下一个区块的影响 力与它在网络中当前存储的使用量成正比。 图1是使用了特定术语的 Filecoin协议草图,这些术语将会在本文后面阐述,图2是 个插图。 5 IPFSMAIN 13.论文组织 本文的其余内容安排如下:我们将在第2章中阐述一个埋论上的DSN方案的定义与要 求。在第3章中,我们将会激励、定义并且展示我们的复制证明和时空证明协议,他 们将在 Filecoin系统中用加密的方式保证数据按照订的要求被持续不断地存储。第4 章厕描述了 Filecoin dsm的具体事例,包括描述数据结构、协议以及参与者之间的相互 作用。第5章将定义及描述了可验证市场的概念,包括了存储市场和验证市场是如何 实施的。第6章为演示及评估矿工对网络的贡献描述了时空证明协议的使用情况,这 对扩展区块链以及分配奖励区块是必要的。第7章则提供了 Filecoin智能合约的简要介 绍,第8章则以对未来工作的讨论结束。 6 IPFSMAIN Filecoin协议草图 网络 存储矿井 在每一个纪元t的账本C中: 在任何时候 1.对于每一个新区块: 1.通过 Manage. Pledgesector更新过期的抵押 (a]检查区块是否为有效格式 2.通过 Manage. PledgeSector抵押新的存储 (b)检查所有的交易都有效 3.通过 Put. Addorder提交新的询价订单 (c)检查所有的订单都有效 在每一个纪元t (d)检查所有的证明都有效 1.对于订单簿中的每一个Oask (e检查所有的抵押物都有效 (a)通过 Put, Match Orders寻找匹配订单 (如上述任何一个失败则丢弃区块 b)通过联系匹配的客户开始新的交易 2.对于在t中引入的每个新订单O (a]添加o到存储市场订单簿 2.对于每一个被抵押的扁区、生成存储证明 (b)如具O是报价:锁定ofu Inds (b)如果有时间发布证明(每个△aut纪 (c)如果O是询价:锁定o. space 元),将其提交到区块链 (d)如果O是成交订单:运行 从客户c接受到碎片p: Put. AssignOrders 1.检查碎片是否具有订单Obud中制定的尺寸 3.对于存储市场订单簿中的每一个O 2.创建 Deal并签署、发送绐c (a]检查O如果过期(或取消)了 3.在扇区中存储碎片 从订单簿中移除O 4.如果扇区满了,则运行 Manage. Sealsector 退换未动用的资金 0. funds ·从分配表中解放 0. space 检索矿井 (b)如果O是成交订单,通过运行 在任何时候 冷 e. RepairOrder检查预期证明是否 Ma 1.向网络广播询价订单 2.从网络收听出价订单 ·如果有一个失踪,则惩罚M的抵押客户c接受到检索请求 1.与C开始搭建支付通道 ·如果证明已经失踪了Δalt个纪元 2.将数据分为多份 以上,取消订单并且重新将其推向 3.只有在收到付款时才发送 市场 如果无法从网络中取回和重建该碎 片,则取消订单并为客户退款 客户 在任何时候 1.通过 Put. AddOrders提交新的存储订单 (a]通过Pu Orders寻找匹配订单 (b)向匹配成功的矿工M发送文件 2.通过 Get. AddOrders提交新的检索订单 (a]通过 Get. MatchOrders寻找匹配订单 (b)与M构建支付通道 从存储矿工M收到 Deal 签署0 2.通过 Put. AddOrders将其提交到区块链 从检索矿工M收到(P2) 签署它 2.向M发送一个小额款项 图1 协议草图 IPFSMAIN 订单匹配 结算 ⑦do 存储市场 (链上 tOdeal)M ⑦囵 deal 挑战 回应 付款 订单簿 Filecoin 区块链 交易 分配表 目目 加的小歌交0 C Deal)M d 检索市场 (链下) Deal) 链下广器的订单 部分发送的要求小组文付 数指 回 锁定存储 M被M签署 传递 Filecoin 发送 矿工客户 数据碎片 询问 订单 图2 Filecoin协议插图,展示了客户和矿工之间的互动。此图分别在“区块链”的上面和下面展示了存储市场 和检索市场,随着时间推进从左侧的订单匹配阶段过渡到右侧的结算阶段。请注意,在为检索进行小额支付 之前,用户必须为小额支付锁定资金。 8 IPFSMAIN 2.去中心化存储网络的定义 我们介绍了去中心化存储网络(DSN)方案的概念。DSNs聚集了多个独立存储供应商 提供的存储空间,并且它能自我协调以对用户提供数据存储和检索服务。这种协调是 去中心化并且不需要信任方的:即通过协议调节及验证个体方的操作来达到安全运行 整个系统的目的。DSNs可以根据系统的需求采用不同的调节策略,包括拜占庭协议、 流言协议以及无冲突可复制数据类型( CRDTS)。在后面的第4章中,我们将会提供 个 Fillecoin dsn的架构。 定义21.一个DSN方案∏是一个由存储供应商和客户运行的协议元组 (Put, Get, Manage put(data)→>key:客户执行Put协议在唯一的标识秘钥下仔储数据。 Get(key)→data:寳户执行Ge协议用秘钥检索当前仔储的数据。 Manage():网络的参与者通过 Manage协议米进行协调:即控制可用的存储, 申核供应商提供的服务以及修复可能出现的故障。Maηage协议常常由存储提 供商联合客户或者审计网络一同运行。 个DN方案∏必须确保数据的完整性和可回收性,并且能够容许下面这些管理和存储 上的故障。 21.故障容错 211.管理故障 我们将管理故障定义为由 Manage协议中参与者引起的拜占庭故障。一个DSN方案依 赖于它 Manage协议的故障容错性。违反故障容错性的管理故障假设会对系统的活跃度 和安全性进行妥协。 例如,考虑一个DSN方案∏,其中 Manage办议需要拜占庭协议米审核存储供应商。 在这样的协议中,网络接收存储供应商提供的存储证明并运行拜占庭协议米对这些证 明的有效性达成共识。如果在n个所有节点之中,拜占庭协议能容许最多f个故障节 点,那么我们的DsN可以容许∫<n/2个故障节点。在违反这些假设的情况下,审计 上就要做出妥协。 212.存储故障 我们将存储故障定义为阻止客户检索数据的拜占庭故障:例如存储矿工丢掉了他们的 碎片,检索矿工停止了服务碎片。一个成功的Put操作是(f,m),即它的输入数据存储 在m个独立的存储供应商上(一共有n个),而且它可以容许最多f个拜占庭供应商。 参数∫和m取决于协议的实现情况;协议设计者可以将f和m设置为定值,或是把选 择权交给使用者,将Put(data}扩展为put(data,f,m)。如果故障存储供应商的数目比 f小,那么存储数据的Get操作便是成功的 供应/。8e协议依赖于区块链的情况下,我们认为矿工即是审计人员,因为他们验证并调节存储 在 9 IPFSMAIN 例如,考虑个简单的方案,Put协议被设计成了每个存储供应南需要存储所有的数 据。在这个方案中m=n并且f=m-1。但f直都会等于m-1吗?并不是,有 些方案可能采用可擦除式编码,每·个存储供应商将存储段数据的特定部分,就像 m个存储供应商中有x个被要求检索数据;在这种情况下f=m-x。 22.属性 我们描述了DSN方案中所必需的两个属性,然后将提出 Filecoin dsm所需要的额外属 性, 221.数据完整性 该属性需要没有限制的对手吼在Get操作结束的时候能够说服客户接受改变的或伪造 的数据。 定义2.2.一个DSN方案∏可以提供数据完整性如果:对任意成功的数据d下私钥k的Put操 作,不存在计算有限的对手在Get操作结束时说服客户接受d′,这里d′不等于d 222.可恢复性 该属性满足∫以下要求:给定我们的丌容错假设,如果数据被成功地存储在了∏,并且存 储供应商继续遵循协议,那么用户最终可以检索数据。 定义23.一个DSN方案π可以提供数据完整性如果:对任意成功的数据下私钥的Put 操作,存在一个成功的客户针对私钥检索数据的Get操作2 22.3.其他属性 定义24.一个DSN方案是可以公开验证的,如果:对于每一个成功的Put操作,存储网络 供应商可以生成数据当前正在被存储的证明。存储证明必须能够说服仼意的知晓私钥但不能访 问数据的有效验证者。 定义25.一个DN方案是可以审查的,如果它生成了可验证的操作轨迹,并且在未来的时 间点上能够确认数据当时确实在正确的时间线内被存储了。 定义26.一个DSN方案丌具备可兼容激励性,如果:存储供应商由于成功提供了有储和检索 服务而获得了奖励,或者因为作弊而受到惩罚,这样的存储供应商的优势策略是存储数据。 2这个定义不保证每一个Get操作都能成功:如果每次Get操作最终都能取回数据,那么这个方案 就是公平的。 10