2. \u200b\u6570\u636e\u4fdd\u62a4\u6280\u672f\u200b<\/h5>\n\n- \u200bRAID\u8fdb\u5316\u200b：\n
\n- RAID 6（\u53cc\u76d8\u5bb9\u9519）\u2192 RAID 60（\u8de8\u9635\u5217\u5197\u4f59）\u2192 Erasure Coding（\u5206\u5e03\u5f0f\u64e6\u9664\u7801，\u5bb9\u5fcd\u591a\u8282\u70b9\u6545\u969c）<\/li>\n<\/ul>\n<\/li>\n
- \u200bCDP（\u6301\u7eed\u6570\u636e\u4fdd\u62a4）\u200b\u200b：
\n\u5b57\u8282\u7ea7\u5b9e\u65f6\u5907\u4efd（\u6062\u590d\u70b9\u95f4\u9694<1\u79d2），\u5982Dell PowerProtect\u7cfb\u5217<\/li>\n<\/ul>\n3. \u200b\u6027\u80fd\u52a0\u901f\u6280\u672f\u200b<\/h5>\n
graph LR
\n A[CPU] –>|NVMe over Fabrics| B[\u95ea\u5b58\u9635\u5217]
\n A –>|GPU Offload| C[AI\u6570\u636e\u5904\u7406]
\n B –>|RDMA\u7f51\u7edc| D[\u8ba1\u7b97\u8282\u70b9]
\n C –>|TensorRT\u52a0\u901f| E[\u6a21\u578b\u63a8\u7406]<\/p>\n
4. \u200b\u667a\u80fd\u7ba1\u7406\u6280\u672f\u200b<\/h5>\n\n- \u200b\u673a\u5668\u5b66\u4e60\u9884\u6d4b\u200b：
\nHPE InfoSight\u901a\u8fc710\u4ebf+\u4f20\u611f\u5668\u6570\u636e\u5206\u6790，\u63d0\u524d14\u5929\u9884\u6d4b\u786c\u76d8\u6545\u969c<\/li>\n - \u200b\u81ea\u52a8\u5316\u5206\u5c42\u5b58\u50a8\u200b：
\nNetApp FabricPool\u81ea\u52a8\u8fc1\u79fb\u51b7\u6570\u636e\u81f3\u5bf9\u8c61\u5b58\u50a8（\u6210\u672c\u964d60%）<\/li>\n<\/ul>\n
\n\u200b1.1.2\u3001\u6838\u5fc3\u786c\u4ef6\u90e8\u4ef6\u200b<\/h4>\n
\n\u200b\u90e8\u4ef6\u200b\u200b\u6280\u672f\u89c4\u683c\u200b\u200b\u6027\u80fd\u5f71\u54cd\u200b<\/tr>\n \n\n\u200b\u5b58\u50a8\u63a7\u5236\u5668\u200b<\/td>\n \u591a\u6838ARM\/SoC\u82af\u7247（\u5982Marvell 98DX\u7cfb\u5217）<\/td>\n \u5904\u7406IOPS 200\u4e07+<\/td>\n<\/tr>\n \n\u200b\u95ea\u5b58\u6a21\u5757\u200b<\/td>\n NVMe SSD（U.2\/E1.S\u5f62\u6001）<\/td>\n \u5ef6\u8fdf<100\u03bcs，\u5e26\u5bbd32Gbps<\/td>\n<\/tr>\n \n\u200b\u5185\u5b58\u7f13\u5b58\u200b<\/td>\n 3D XPoint\/Optane\u6301\u4e45\u5185\u5b58<\/td>\n \u65ad\u7535\u6570\u636e\u4fdd\u62a4，\u901f\u5ea6\u6bd4SSD\u5feb1000\u500d<\/td>\n<\/tr>\n \n\u200b\u7f51\u7edc\u63a5\u53e3\u200b<\/td>\n 100GbE RoCEv2\/FC32G<\/td>\n RDMA\u52a0\u901f，\u96f6\u62f7\u8d1d\u4f20\u8f93<\/td>\n<\/tr>\n \n\u200b\u80cc\u677f\u67b6\u6784\u200b<\/td>\n PCIe 4.0 x16\u4ea4\u6362\u80cc\u677f<\/td>\n \u652f\u6301\u70ed\u63d2\u62d4NVMe\u6269\u5c55<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.1.3\u3001\u4e3b\u6d41\u5382\u5546\u8bbe\u8ba1\u65b9\u6cd5\u8bba\u200b<\/h4>\n1. \u200bDell EMC PowerStore\u200b<\/h5>\n\n- \u200b\u8bbe\u8ba1\u7406\u5ff5\u200b：\u5bb9\u5668\u5316\u5b58\u50a8\u64cd\u4f5c\u7cfb\u7edf<\/li>\n
- \u200b\u6838\u5fc3\u6280\u672f\u200b：\n
\n- \u200bAppsON\u6a21\u5f0f\u200b：\u76f4\u63a5\u5728\u5b58\u50a8\u8282\u70b9\u8fd0\u884c\u5e94\u7528\u5bb9\u5668（\u5982MongoDB）<\/li>\n
- \u200b\u52a8\u6001\u5f39\u6027\u5f15\u64ce\u200b：\u81ea\u52a8\u5e73\u8861\u6570\u636e\u5757\u4e0e\u6587\u4ef6\u670d\u52a1\u8d44\u6e90<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u786c\u4ef6\u521b\u65b0\u200b：
\n\u53cc\u7aef\u53e3NVMe SSD（\u5355\u76d8\u6545\u969c0\u5207\u6362\u65f6\u95f4）<\/li>\n<\/ul>\n2. \u200bHPE Alletra\u200b<\/h5>\n\n- \u200b\u8bbe\u8ba1\u7406\u5ff5\u200b：\u4e91\u539f\u751f\u67b6\u6784<\/li>\n
- \u200b\u6838\u5fc3\u6280\u672f\u200b：\n
\n- \u200bData Services Cloud Console\u200b：\u7edf\u4e00\u4e91\u7ba1\u7406\u5e73\u53f0<\/li>\n
- \u200bAIOps\u5f15\u64ce\u200b：\u9884\u6d4b\u6027\u7ef4\u62a4\u51c6\u786e\u738799.5%<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u786c\u4ef6\u521b\u65b0\u200b：
\n\u6db2\u51b7\u673a\u7bb1（PUE<1.1）<\/li>\n<\/ul>\n3. \u200bNetApp AFF\u200b<\/h5>\n\n- \u200b\u8bbe\u8ba1\u7406\u5ff5\u200b：\u95ea\u5b58\u4f18\u5316+\u4e91\u96c6\u6210<\/li>\n
- \u200b\u6838\u5fc3\u6280\u672f\u200b：\n
\n- \u200bONTAP WAFL\u6587\u4ef6\u7cfb\u7edf\u200b：\u5199\u65f6\u91cd\u5b9a\u5411（\u907f\u514d\u5199\u653e\u5927）<\/li>\n
- \u200bSnapMirror\u200b：\u79d2\u7ea7RPO\u8de8\u7ad9\u70b9\u590d\u5236<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u786c\u4ef6\u521b\u65b0\u200b：
\nStorageGRID\u5bf9\u8c61\u5b58\u50a8\u7f51\u5173（\u672c\u5730S3\u63a5\u53e3）<\/li>\n<\/ul>\n4. \u200bPure Storage FlashBlade\u200b<\/h5>\n\n- \u200b\u8bbe\u8ba1\u7406\u5ff5\u200b：\u5168\u95ea\u5b58\u7edf\u4e00\u5b58\u50a8<\/li>\n
- \u200b\u6838\u5fc3\u6280\u672f\u200b：\n
\n- \u200bPurity\/\/FB\u200b：\u4e13\u4e3a\u6587\u4ef6\/\u5bf9\u8c61\u4f18\u5316\u7684\u64cd\u4f5c\u7cfb\u7edf<\/li>\n
- \u200bDirectFlash\u6a21\u5757\u200b：\u6d88\u9664SSD\u63a7\u5236\u5668\u74f6\u9888<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u786c\u4ef6\u521b\u65b0\u200b：
\n\u5200\u7247\u5f0f\u8bbe\u8ba1（\u5355\u673a\u67dc10PB\u5bb9\u91cf）<\/li>\n<\/ul>\n5. \u200b\u534e\u4e3aOceanStor\u200b<\/h5>\n\n- \u200b\u8bbe\u8ba1\u7406\u5ff5\u200b：\u5168\u573a\u666f\u878d\u5408<\/li>\n
- \u200b\u6838\u5fc3\u6280\u672f\u200b：\n
\n- \u200bHyperMetro\u200b：\u53cc\u6d3b\u65b9\u6848（\u6545\u969c\u5207\u6362<1s）<\/li>\n
- \u200bSmartDedupe\u200b：\u5168\u5c40\u91cd\u5220（\u538b\u7f29\u6bd45:1）<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u786c\u4ef6\u521b\u65b0\u200b：
\n\u9cb2\u9e4f920\u82af\u7247+\u6607\u817eAI\u52a0\u901f\u5361<\/li>\n<\/ul>\n
\n1.1.4\u3001\u524d\u6cbf\u6280\u672f\u6f14\u8fdb\u200b<\/h4>\n1. \u200b\u5b58\u50a8\u7ea7\u5185\u5b58（SCM）\u200b\u200b<\/h5>\n\n- \u200bIntel Optane PMem\u200b：
\n\u5728PowerStore\u4e2d\u7528\u4f5c\u5199\u7f13\u5b58，IOPS\u63d0\u53474\u500d<\/li>\n - \u200bSamsung Z-SSD\u200b：
\n\u5ef6\u8fdf<10\u03bcs，\u7528\u4e8e\u534e\u4e3aOceanStor\u9ad8\u7aef\u9635\u5217<\/li>\n<\/ul>\n2. \u200bDPU\u667a\u80fd\u5378\u8f7d\u200b<\/h5>\n\n- \u200bNVIDIA BlueField\u200b：
\n\u5728Pure Storage\u4e2d\u5b9e\u73b0\u52a0\u5bc6\/\u538b\u7f29\u786c\u4ef6\u52a0\u901f<\/li>\n - \u200bFungible DPU\u200b：
\n\u4e3aNetApp\u63d0\u4f9bTCP\/IP\u534f\u8bae\u5378\u8f7d<\/li>\n<\/ul>\n3. \u200b\u91cf\u5b50\u5b89\u5168\u5b58\u50a8\u200b<\/h5>\n\n- \u200b\u534e\u4e3aOceanStor V6\u200b：
\n\u652f\u6301\u91cf\u5b50\u5bc6\u94a5\u5206\u53d1（QKD）\u52a0\u5bc6<\/li>\n - \u200bIBM FlashSystem\u200b：
\n\u683c\u5bc6\u7801\u5b66\u6297\u91cf\u5b50\u653b\u51fb\u52a0\u5bc6<\/li>\n<\/ul>\n
\n1.1.5\u3001\u9009\u578b\u51b3\u7b56\u77e9\u9635\u200b<\/h4>\n
\n\u200b\u9700\u6c42\u573a\u666f\u200b\u200b\u63a8\u8350\u67b6\u6784\u200b\u200b\u4ee3\u8868\u4ea7\u54c1\u200b\u200b\u5173\u952e\u6307\u6807\u200b<\/tr>\n \n\n\u865a\u62df\u5316\u5e73\u53f0<\/td>\n \u5168\u95ea\u5b58\u7edf\u4e00\u5b58\u50a8<\/td>\n Dell PowerStore 5000<\/td>\n IOPS > 50\u4e07，\u5ef6\u8fdf<1ms<\/td>\n<\/tr>\n \nAI\u8bad\u7ec3<\/td>\n \u5e76\u884c\u6587\u4ef6\u5b58\u50a8<\/td>\n Pure FlashBlade \/\/S<\/td>\n \u5e26\u5bbd>100GB\/s<\/td>\n<\/tr>\n \n\u6df7\u5408\u4e91\u5f52\u6863<\/td>\n \u5bf9\u8c61\u5b58\u50a8\u7f51\u5173<\/td>\n NetApp StorageGRID<\/td>\n S3\u517c\u5bb9，\u6210\u672c<$0.01\/GB<\/td>\n<\/tr>\n \n\u8fb9\u7f18\u8ba1\u7b97\u8282\u70b9<\/td>\n \u8d85\u878d\u5408\u5b58\u50a8<\/td>\n HPE Edgeline EL8000<\/td>\n \u529f\u8017<500W，\u6297\u97075G<\/td>\n<\/tr>\n \n\u91d1\u878d\u6838\u5fc3\u4ea4\u6613<\/td>\n \u5168\u95ea\u5b58\u53cc\u6d3b\u5b58\u50a8<\/td>\n Huawei OceanStor Dorado<\/td>\n RPO=0，RTO<30s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.1.6\u3001\u8fd0\u7ef4\u5173\u952e\u6307\u6807\u200b<\/h4>\n
- \n
\u200b\u6027\u80fd\u4e09\u89d2\u200b：<\/p>\n
\n- IOPS（\u968f\u673a\u8bfb\u5199）：> 100\u4e07（\u5168\u95ea\u5b58）<\/li>\n
- \u5e26\u5bbd（\u987a\u5e8f\u8bfb\u5199）：> 40 GB\/s<\/li>\n
- \u5ef6\u8fdf：< 500 \u03bcs（NVMe\u9635\u5217）<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u53ef\u9760\u6027\u6307\u6807\u200b：<\/p>\n
\n- \u5e74\u6545\u969c\u7387（AFR）：< 0.5%<\/li>\n
- \u6570\u636e\u5b8c\u6574\u6027：99.999999999%（11\u4e2a9）<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u80fd\u6548\u6bd4\u200b：<\/p>\n
\n- \u6027\u80fd\/\u74e6\u7279：> 50,000 IOPS\/\u74e6<\/li>\n
- \u5b58\u50a8\u5bc6\u5ea6：> 1 PB\/U<\/li>\n<\/ul>\n<\/li>\n
\n\u603b\u7ed3：\u672a\u6765\u8d8b\u52bf<\/h4>\n
- \u200b\u5b58\u7b97\u4e00\u4f53\u67b6\u6784\u200b：\n
\n- Samsung SmartSSD（FPGA\u52a0\u901f）<\/li>\n
- ScaleFlux\u53ef\u8ba1\u7b97\u5b58\u50a8\u9a71\u52a8\u5668<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u5149\u5b50\u5b58\u50a8\u200b：\n
\n- IBM\u5149\u5b50\u5185\u5b58（\u5ef6\u8fdf\u964d\u81f3\u7eb3\u79d2\u7ea7）<\/li>\n<\/ul>\n<\/li>\n
- \u200bDNA\u5b58\u50a8\u200b：\n
\n- Microsoft Project Silica（\u73bb\u7483\u4ecb\u8d28\u5b58\u50a8\u4e07\u5e74）<\/li>\n<\/ul>\n<\/li>\n
\u5b58\u50a8\u670d\u52a1\u5668\u6b63\u4ece\u201c\u6570\u636e\u5bb9\u5668\u201d\u5411\u201c\u667a\u80fd\u6570\u636e\u5904\u7406\u5668\u201d\u6f14\u8fdb，\u5efa\u8bae\u5173\u6ce8\u5b58\u7b97\u878d\u5408\u4e0e\u91cf\u5b50\u5b89\u5168\u6280\u672f\u8def\u7ebf\u3002\u4f01\u4e1a\u9009\u578b\u9700\u5e73\u8861\u6027\u80fd\u9700\u6c42\u4e0eTCO（\u603b\u62e5\u6709\u6210\u672c），\u5168\u95ea\u5b58\u5316\u5df2\u6210\u4e3b\u6d41，\u6db2\u51b7\u4e0e\u518d\u751f\u80fd\u6e90\u4f9b\u7535\u5c06\u662f\u4e0b\u4e00\u4ee3\u7eff\u8272\u5b58\u50a8\u7684\u6838\u5fc3\u65b9\u5411\u3002<\/p>\n
1.2 \u5b58\u50a8\u534f\u8bae\u6df1\u5ea6\u89e3\u6790：iSCSI\u3001NVMe-oF\u3001FC\u3001NFS\u3001SMB\/CIFS\u3001pNFS\u3001S3\u3001Swift<\/h3>\n
\u5bf9\u4e3b\u6d41\u5b58\u50a8\u534f\u8bae\u7684\u5168\u9762\u6280\u672f\u5bf9\u6bd4，\u5305\u542b\u6838\u5fc3\u7b97\u6cd5\u5b9e\u73b0\u548c\u4ee3\u7801\u793a\u4f8b：<\/p>\n
\n1.2.1\u3001\u5757\u5b58\u50a8\u534f\u8bae\u5bf9\u6bd4<\/h4>\n1. \u200biSCSI (Internet SCSI)\u200b\u200b<\/h5>\n\n- \u200b\u6280\u672f\u539f\u7406\u200b：
\n\u901a\u8fc7TCP\/IP\u7f51\u7edc\u4f20\u8f93SCSI\u547d\u4ee4，\u5c06\u8fdc\u7a0b\u5b58\u50a8\u6620\u5c04\u4e3a\u672c\u5730\u5757\u8bbe\u5907<\/li>\n - \u200b\u6838\u5fc3\u7ec4\u4ef6\u200b：\n
\n- iSCSI Initiator（\u5ba2\u6237\u7aef）<\/li>\n
- iSCSI Target（\u5b58\u50a8\u7aef）<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u7b97\u6cd5\u5b9e\u73b0\u200b：\n
\/\/ iSCSI PDU\u5c01\u88c5\u4f2a\u4ee3\u7801
\nstruct iscsi_pdu {
\n uint8_t opcode; \/\/ SCSI\u547d\u4ee4\u7801
\n uint32_t data_len;
\n uint32_t itt; \/\/ Initiator\u4efb\u52a1\u6807\u7b7e
\n char data[0]; \/\/ SCSI CDB+\u6570\u636e
\n};<\/p>\n
void send_scsi_command(struct scsi_cmd *cmd) {
\n struct iscsi_pdu *pdu = build_iscsi_pdu(cmd);
\n tcp_send(pdu, sizeof(*pdu) + cmd->data_len);
\n}\n<\/li>\n
- \u200b\u4ee3\u7801\u793a\u4f8b\u200b（Linux\u914d\u7f6e）：\n
# \u53d1\u73b0\u76ee\u6807
\niscsiadm -m discovery -t st -p 192.168.1.100<\/p>\n
# \u767b\u5f55\u76ee\u6807
\niscsiadm -m node -T iqn.2024-05.com.example:storage -p 192.168.1.100 -l\n<\/li>\n<\/ul>\n
2. \u200bNVMe-oF (NVMe over Fabrics)\u200b\u200b<\/h5>\n\n- \u200b\u6280\u672f\u539f\u7406\u200b：
\n\u901a\u8fc7RDMA\u6216TCP\u4f20\u8f93NVMe\u547d\u4ee4，\u5b9e\u73b0\u8d85\u4f4e\u5ef6\u8fdf\u8fdc\u7a0b\u8bbf\u95ee<\/li>\n - \u200b\u534f\u8bae\u5dee\u5f02\u200b：
\n\n\u200b\u7279\u6027\u200b\u200bNVMe-oF RDMA\u200b\u200bNVMe-oF TCP\u200b<\/tr>\n \n\n\u200b\u5ef6\u8fdf\u200b<\/td>\n 5-10 \u03bcs<\/td>\n 50-100 \u03bcs<\/td>\n<\/tr>\n \n\u200bCPU\u5f00\u9500\u200b<\/td>\n \u6781\u4f4e（\u786c\u4ef6\u5378\u8f7d）<\/td>\n \u4e2d\u7b49<\/td>\n<\/tr>\n \n\u200b\u7f51\u7edc\u8981\u6c42\u200b<\/td>\n RoCE\/InfiniBand<\/td>\n \u6807\u51c6\u4ee5\u592a\u7f51<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/li>\n- \u200b\u7b97\u6cd5\u5b9e\u73b0\u200b：\n
\/\/ NVMe Submission Queue Entry
\nstruct nvme_sqe {
\n uint8_t opcode; \/\/ NVMe\u547d\u4ee4\u7801
\n uint16_t cid; \/\/ \u547d\u4ee4ID
\n uint64_t prp1; \/\/ \u6570\u636e\u9875\u6307\u9488
\n uint64_t prp2;
\n uint32_t nsid; \/\/ \u547d\u540d\u7a7a\u95f4ID
\n};<\/p>\n
\/\/ RDMA\u4f20\u8f93\u6d41\u7a0b
\nvoid nvme_rdma_send(struct nvme_sqe *sqe) {
\n struct ibv_sge sge = { .addr = (uintptr_t)sqe, .length = sizeof(*sqe) };
\n struct ibv_send_wr wr = { .wr_id = cid, .sg_list = &sge, .num_sge = 1 };
\n ibv_post_send(qp, &wr, &bad_wr); \/\/ \u901a\u8fc7RDMA\u53d1\u9001
\n}\n<\/li>\n
- \u200b\u90e8\u7f72\u793a\u4f8b\u200b：\n
# \u914d\u7f6eNVMe-oF\u76ee\u6807（\u5b58\u50a8\u7aef）
\nnvmetcli create \/subsystems\/nqn.2024-05.com.example:ssd
\nnvmetcli add \/subsystems\/nqn.2024-05.com.example:ssd\/namespaces\/1 -n 1 -b \/dev\/nvme0n1<\/p>\n
# \u5ba2\u6237\u7aef\u8fde\u63a5
\nnvme connect -t rdma -n nqn.2024-05.com.example:ssd -a 192.168.1.100 -s 4420\n<\/li>\n<\/ul>\n
3. \u200bFC (Fibre Channel)\u200b\u200b<\/h5>\n\n- \u200b\u6280\u672f\u539f\u7406\u200b：
\n\u4e13\u7528\u5149\u7ea4\u901a\u9053\u7f51\u7edc\u4f20\u8f93SCSI\u534f\u8bae，\u4e0d\u7ecf\u8fc7TCP\/IP\u534f\u8bae\u6808<\/li>\n - \u200b\u6838\u5fc3\u7b97\u6cd5\u200b：\n
\/\/ FC\u5e27\u7ed3\u6784
\nstruct fc_frame {
\n uint8_t sof; \/\/ \u5e27\u8d77\u59cb\u7b26
\n fc_header_t header; \/\/ 24\u5b57\u8282\u5934
\n uint8_t payload[2112]; \/\/ \u6570\u636e\u8f7d\u8377
\n uint32_t crc;
\n uint8_t eof; \/\/ \u5e27\u7ed3\u675f\u7b26
\n};<\/p>\n
\/\/ FCP（SCSI over FC）\u5c01\u88c5
\nvoid fcp_cmnd_scsi(struct scsi_cmd *cmd) {
\n struct fcp_cmnd fcp = {
\n .lun = cpu_to_be64(cmd->lun),
\n .cdb = cmd->cdb
\n };
\n send_fc_frame(&fcp, sizeof(fcp));
\n}\n<\/li>\n
- \u200b\u914d\u7f6e\u793a\u4f8b\u200b：\n
# \u626b\u63cfFC\u76ee\u6807
\necho "0 0 0" > \/sys\/class\/fc_host\/host3\/issue_lip
\nrescan-scsi-bus.sh<\/p>\n
# \u67e5\u770bFC\u8bbe\u5907
\nlsscsi -H\n<\/li>\n<\/ul>\n
\n1.2.2\u3001\u6587\u4ef6\u5b58\u50a8\u534f\u8bae\u5bf9\u6bd4<\/h4>\n1. \u200bNFS (Network File System)\u200b\u200b<\/h5>\n\n- \u200b\u7248\u672c\u6f14\u8fdb\u200b：
\n\n\u200b\u7248\u672c\u200b\u200b\u7279\u6027\u200b\u200b\u6700\u5927\u6587\u4ef6\u200b\u200b\u8ba4\u8bc1\u65b9\u5f0f\u200b<\/tr>\n \n\nv3<\/td>\n \u65e0\u72b6\u6001\u534f\u8bae<\/td>\n 2GB<\/td>\n UNIX\u8ba4\u8bc1<\/td>\n<\/tr>\n \nv4<\/td>\n \u6709\u72b6\u6001\u534f\u8bae，\u590d\u5408\u64cd\u4f5c<\/td>\n 16EB<\/td>\n Kerberos<\/td>\n<\/tr>\n \nv4.1<\/td>\n \u5e76\u884c\u8bbf\u95ee（pNFS\u57fa\u7840）<\/td>\n 16EB<\/td>\n RPCSEC_GSS<\/td>\n<\/tr>\n \nv4.2<\/td>\n \u670d\u52a1\u5668\u7aef\u590d\u5236，\u7a7a\u95f4\u9884\u7559<\/td>\n 16EB<\/td>\n \u591a\u56e0\u7d20\u8ba4\u8bc1<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/li>\n- \u200b\u7b97\u6cd5\u5b9e\u73b0\u200b：\n
# NFSv3 READ RPC\u5904\u7406\u4f2a\u4ee3\u7801
\ndef handle_read(fh, offset, count):
\n inode = lookup_by_fh(fh) # \u901a\u8fc7\u6587\u4ef6\u53e5\u67c4\u67e5\u627einode
\n with open(inode.path, 'rb') as f:
\n f.seek(offset)
\n data = f.read(count)
\n return data\n<\/li>\n
- \u200b\u90e8\u7f72\u793a\u4f8b\u200b：\n
# \u670d\u52a1\u5668\u7aef\u5bfc\u51fa
\n\/etc\/exports:
\n\/shared *(rw,sync,no_root_squash)<\/p>\n
# \u5ba2\u6237\u7aef\u6302\u8f7d
\nmount -t nfs 192.168.1.100:\/shared \/mnt\n<\/li>\n<\/ul>\n
2. \u200bSMB\/CIFS\u200b<\/h5>\n\n- \u200b\u534f\u8bae\u5dee\u5f02\u200b：
\n\n\u200b\u7279\u6027\u200b\u200bSMB1\u200b\u200bSMB2\/3\u200b<\/tr>\n \n\n\u200b\u6700\u5927\u6587\u4ef6\u200b<\/td>\n 4GB<\/td>\n 16TB（SMB2）\u21921PB（SMB3）<\/td>\n<\/tr>\n \n\u200b\u52a0\u5bc6\u200b<\/td>\n \u65e0<\/td>\n AES-128（SMB3）<\/td>\n<\/tr>\n \n\u200b\u591a\u901a\u9053\u200b<\/td>\n \u4e0d\u652f\u6301<\/td>\n \u652f\u6301（SMB3）<\/td>\n<\/tr>\n \n\u200bRDMA\u652f\u6301\u200b<\/td>\n \u65e0<\/td>\n SMB Direct（SMB3）<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/li>\n- \u200b\u6838\u5fc3\u7b97\u6cd5\u200b：\n
\/\/ SMB2 CREATE\u8bf7\u6c42\u5904\u7406
\nvoid smb2_create(struct smb2_request *req) {
\n char *filename = parse_filename(req->buffer);
\n int fd = open(filename, O_CREAT | O_RDWR, 0644);
\n struct smb2_file_id fid = allocate_fid(fd);
\n send_response(req, SMB2_CREATE_RESPONSE, &fid);
\n}\n<\/li>\n
- \u200b\u914d\u7f6e\u793a\u4f8b（Samba）\u200b\u200b：\n
[global]
\nserver min protocol = SMB2
\nserver max protocol = SMB3<\/p>\n
[shared]
\npath = \/srv\/samba
\nread only = no
\nvfs objects = acl_xattr\n<\/li>\n<\/ul>\n
3. \u200bpNFS (Parallel NFS)\u200b\u200b<\/h5>\n\n- \u200b\u67b6\u6784\u539f\u7406\u200b：\n
graph TD
\n Client –>|\u5143\u6570\u636e\u64cd\u4f5c| MDS[MDS\u670d\u52a1\u5668]
\n Client –>|\u6570\u636e\u8bfb\u5199| DS1[\u6570\u636e\u670d\u52a1\u56681]
\n Client –>|\u6570\u636e\u8bfb\u5199| DS2[\u6570\u636e\u670d\u52a1\u56682]
\n Client –>|\u6570\u636e\u8bfb\u5199| DS3[\u6570\u636e\u670d\u52a1\u56683]
\n MDS –>|\u5e03\u5c40\u4fe1\u606f| Client\n<\/li>\n
- \u200b\u5e03\u5c40\u7c7b\u578b\u200b：\n
\n- \u200b\u6587\u4ef6\u5e03\u5c40\u200b：\u57fa\u4e8e\u6587\u4ef6\u7684\u5206\u7247\u5b58\u50a8<\/li>\n
- \u200b\u5757\u5e03\u5c40\u200b：\u76f4\u63a5\u8bbf\u95ee\u5757\u8bbe\u5907<\/li>\n
- \u200b\u5bf9\u8c61\u5e03\u5c40\u200b：\u517c\u5bb9S3\/Swift\u5bf9\u8c61\u5b58\u50a8<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u4ee3\u7801\u5b9e\u73b0\u200b：\n
\/\/ pNFS\u6587\u4ef6\u5e03\u5c40\u83b7\u53d6
\nstruct pnfs_layoutget_args args = {
\n .type = LAYOUT_FILE,
\n .range = { .offset = 0, .length = UINT64_MAX }
\n};
\nstruct pnfs_layoutget_res *res = nfs4_proc_layoutget(inode, &args);\n<\/li>\n<\/ul>\n
\n1.2.3\u3001\u5bf9\u8c61\u5b58\u50a8\u534f\u8bae\u5bf9\u6bd4<\/h4>\n1. \u200bAmazon S3\u200b<\/h5>\n\n- \u200b\u6838\u5fc3\u6982\u5ff5\u200b：\n
\n- Bucket：\u5b58\u50a8\u5bb9\u5668<\/li>\n
- Object：\u5305\u542b\u6570\u636e+\u5143\u6570\u636e\u7684\u5bf9\u8c61<\/li>\n
- Key：\u5bf9\u8c61\u552f\u4e00\u6807\u8bc6\u7b26<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u7b97\u6cd5\u5b9e\u73b0\u200b：\n
# S3 PUT\u5bf9\u8c61\u4f2a\u4ee3\u7801
\ndef put_object(bucket, key, data, metadata):
\n object_id = sha256(data) # \u5185\u5bb9\u54c8\u5e0c
\n replicas = []
\n for node in consistent_hash(key): # \u4e00\u81f4\u6027\u54c8\u5e0c\u9009\u62e9\u8282\u70b9
\n node.store(object_id, data)
\n replicas.append(node.id)<\/p>\n
# \u5143\u6570\u636e\u5b58\u50a8
\n meta_db.insert({
\n 'bucket': bucket,
\n 'key': key,
\n 'object_id': object_id,
\n 'replicas': replicas,
\n 'metadata': metadata
\n })\n<\/li>\n
- \u200bPython\u793a\u4f8b\u200b：\n
import boto3
\ns3 = boto3.client('s3', endpoint_url='https:\/\/s3.example.com')<\/p>\n
# \u4e0a\u4f20\u6587\u4ef6
\ns3.upload_file('local.txt', 'mybucket', 'remote.txt')<\/p>\n
# \u4e0b\u8f7d\u6587\u4ef6
\ns3.download_file('mybucket', 'remote.txt', 'downloaded.txt')\n<\/li>\n<\/ul>\n
2. \u200bOpenStack Swift\u200b<\/h5>\n\n- \u200b\u67b6\u6784\u7279\u70b9\u200b：\n
\n- \u200b\u73af（Ring）\u200b\u200b：\u865a\u62df\u8282\u70b9\u5230\u7269\u7406\u8bbe\u5907\u7684\u6620\u5c04<\/li>\n
- \u200b\u4ee3\u7406\u8282\u70b9\u200b：\u5904\u7406API\u8bf7\u6c42<\/li>\n
- \u200b\u5b58\u50a8\u8282\u70b9\u200b：\u5b9e\u9645\u5b58\u50a8\u6570\u636e<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u6570\u636e\u5206\u5e03\u7b97\u6cd5\u200b：\n
# Swift\u73af\u7684\u865a\u62df\u8282\u70b9\u5206\u914d
\nclass Ring:
\n def __init__(self, partitions, replicas):
\n self.partitions = 2**partitions
\n self.replicas = replicas
\n self.devs = []
\n self.part2dev = [None] * self.partitions<\/p>\n
def add_dev(self, dev):
\n self.devs.append(dev)
\n self._rebalance()<\/p>\n
def _rebalance(self):
\n for part in range(self.partitions):
\n candidates = []
\n for dev in self.devs:
\n weight = dev['weight']
\n # \u57fa\u4e8e\u5206\u533a\u548c\u8bbe\u5907\u6743\u91cd\u8ba1\u7b97
\n candidate = (hash(part, dev['id']), dev['id'])
\n candidates.append(candidate)
\n candidates.sort()
\n self.part2dev[part] = [dev_id for _, dev_id in candidates[:self.replicas]]\n<\/li>\n
- \u200bSwift API\u793a\u4f8b\u200b：\n
# \u521b\u5efa\u5bb9\u5668
\ncurl -X PUT -H "X-Auth-Token: $TOKEN" $URL\/container<\/p>\n
# \u4e0a\u4f20\u5bf9\u8c61
\ncurl -X PUT -T localfile.jpg -H "X-Auth-Token: $TOKEN" $URL\/container\/object.jpg\n<\/li>\n<\/ul>\n
\n1.2.4\u3001\u534f\u8bae\u7efc\u5408\u5bf9\u6bd4\u8868<\/h4>\n
\n\u200b\u7279\u6027\u200b\u200biSCSI\u200b\u200bNVMe-oF\u200b\u200bFC\u200b\u200bNFS\u200b\u200bSMB\/CIFS\u200b\u200bpNFS\u200b\u200bS3\u200b\u200bSwift\u200b<\/tr>\n \n\n\u200b\u534f\u8bae\u7c7b\u578b\u200b<\/td>\n \u5757\u5b58\u50a8<\/td>\n \u5757\u5b58\u50a8<\/td>\n \u5757\u5b58\u50a8<\/td>\n \u6587\u4ef6\u5b58\u50a8<\/td>\n \u6587\u4ef6\u5b58\u50a8<\/td>\n \u6587\u4ef6\u5b58\u50a8<\/td>\n \u5bf9\u8c61\u5b58\u50a8<\/td>\n \u5bf9\u8c61\u5b58\u50a8<\/td>\n<\/tr>\n \n\u200b\u6700\u5927\u5ef6\u8fdf\u200b<\/td>\n 500 \u03bcs<\/td>\n 10 \u03bcs (RDMA)<\/td>\n 5 \u03bcs<\/td>\n 1 ms<\/td>\n 2 ms<\/td>\n 800 \u03bcs<\/td>\n 100 ms<\/td>\n 150 ms<\/td>\n<\/tr>\n \n\u200b\u6700\u5927\u5e26\u5bbd\u200b<\/td>\n 100 Gbps<\/td>\n 200 Gbps<\/td>\n 128 Gbps<\/td>\n 100 Gbps<\/td>\n 100 Gbps<\/td>\n 400 Gbps<\/td>\n \u4e0d\u9650<\/td>\n \u4e0d\u9650<\/td>\n<\/tr>\n \n\u200b\u6269\u5c55\u6027\u200b<\/td>\n \u4e2d\u7b49<\/td>\n \u9ad8<\/td>\n \u4e2d\u7b49<\/td>\n \u6709\u9650<\/td>\n \u4e2d\u7b49<\/td>\n \u6781\u9ad8<\/td>\n \u6781\u9ad8<\/td>\n \u6781\u9ad8<\/td>\n<\/tr>\n \n\u200b\u5178\u578b\u5e94\u7528\u200b<\/td>\n \u865a\u62df\u673a\u5b58\u50a8<\/td>\n AI\u8bad\u7ec3<\/td>\n \u4f01\u4e1aSAN<\/td>\n Unix\u5171\u4eab<\/td>\n Windows\u5171\u4eab<\/td>\n HPC<\/td>\n \u4e91\u5b58\u50a8<\/td>\n \u79c1\u6709\u4e91<\/td>\n<\/tr>\n \n\u200b\u6570\u636e\u4e00\u81f4\u6027\u200b<\/td>\n \u5f3a\u4e00\u81f4<\/td>\n \u5f3a\u4e00\u81f4<\/td>\n \u5f3a\u4e00\u81f4<\/td>\n \u4f1a\u8bdd\u4e00\u81f4<\/td>\n \u4f1a\u8bdd\u4e00\u81f4<\/td>\n \u5143\u6570\u636e\u5f3a\u4e00\u81f4<\/td>\n \u6700\u7ec8\u4e00\u81f4<\/td>\n \u5f3a\u4e00\u81f4<\/td>\n<\/tr>\n \n\u200b\u5b89\u5168\u673a\u5236\u200b<\/td>\n CHAP\/IPsec<\/td>\n TLS\/IPSec<\/td>\n FC-SP<\/td>\n Kerberos<\/td>\n SMB\u52a0\u5bc6<\/td>\n RPCSEC_GSS<\/td>\n IAM\/SSL<\/td>\n Keystone\/SSL<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.2.5\u3001\u6027\u80fd\u4f18\u5316\u6280\u672f<\/h4>\n
1. \u200b\u5757\u5b58\u50a8\u4f18\u5316\u200b<\/p>\n
\n- \u200biSCSI\u200b：\u542f\u7528TOE（TCP\u5378\u8f7d\u5f15\u64ce）\n
ethtool -K eth0 tx-checksumming on\n<\/li>\n
- \u200bNVMe-oF\u200b：\u4f7f\u7528RDMA CM（\u8fde\u63a5\u7ba1\u7406\u5668）\n
struct rdma_cm_id *id;
\nrdma_create_id(NULL, &id, NULL, RDMA_PS_TCP);
\nrdma_resolve_addr(id, src_addr, dst_addr, 2000);\n<\/li>\n<\/ul>\n
2. \u200b\u6587\u4ef6\u534f\u8bae\u52a0\u901f\u200b<\/p>\n
\n- \u200bNFSv4.1+\u200b\u200b：\u4f1a\u8bdd\u6301\u4e45\u5316\n
mount -o vers=4.2,persist 192.168.1.100:\/share \/mnt\n<\/li>\n
- \u200bSMB Direct\u200b：\u542f\u7528RDMA\n
Set-SmbServerConfiguration -EnableSMBDirect $true\n<\/li>\n<\/ul>\n
3. \u200b\u5bf9\u8c61\u5b58\u50a8\u4f18\u5316\u200b<\/p>\n
\n- \u200bS3\u591a\u6bb5\u4e0a\u4f20\u200b：\n
s3.create_multipart_upload(Bucket='bucket', Key='largefile')
\n# \u4e0a\u4f20\u5206\u6bb5
\ns3.upload_part(Bucket='bucket', Key='largefile', PartNumber=1, UploadId=upload_id)
\n# \u5b8c\u6210\u4e0a\u4f20
\ns3.complete_multipart_upload(Bucket='bucket', Key='largefile', UploadId=upload_id)\n<\/li>\n
- \u200bSwift\u4e00\u81f4\u6027\u54c8\u5e0c\u4f18\u5316\u200b：\n
# \u589e\u52a0\u865a\u62df\u8282\u70b9\u63d0\u5347\u5747\u8861\u6027
\nring = Ring(partitions=20, replicas=3)\n<\/li>\n<\/ul>\n
\n1.2.6\u3001\u5b89\u5168\u5b9e\u8df5<\/h4>\n
1. \u200b\u4f20\u8f93\u52a0\u5bc6\u200b<\/p>\n
\n- \u200biSCSI\/NVMe-oF\u200b：IPsec\u96a7\u9053\n
# \u914d\u7f6eIPsec\u7b56\u7565
\nip xfrm state add src 192.168.1.100 dst 192.168.1.200 proto esp spi 0x1000 enc aes 0x001122…\n<\/li>\n
- \u200bS3\/Swift\u200b：HTTPS\u5f3a\u5236\n
s3 = boto3.client('s3', use_ssl=True)\n<\/li>\n<\/ul>\n
2. \u200b\u8ba4\u8bc1\u6388\u6743\u200b<\/p>\n
\n- \u200bFC\u200b：\u5149\u7ea4\u901a\u9053\u5206\u533a\n
# \u914d\u7f6e\u5206\u533a
\nzonecreate "zone1", "20:00:00:25:b5:00:00:01; 21:00:00:24:ff:45:11:01"\n<\/li>\n
- \u200bS3\u200b：IAM\u7b56\u7565\n
{
\n "Version": "2012-10-17",
\n "Statement": [{
\n "Effect": "Allow",
\n "Action": "s3:GetObject",
\n "Resource": "arn:aws:s3:::mybucket\/*"
\n }]
\n}\n<\/li>\n<\/ul>\n
\n\u603b\u7ed3\u4e0e\u9009\u578b\u5efa\u8bae<\/p>\n
- \n
\u200b\u9ad8\u6027\u80fd\u5757\u5b58\u50a8\u200b：<\/p>\n
\n- \n
\u8d85\u4f4e\u5ef6\u8fdf：FC > NVMe-oF RDMA > iSCSI<\/p>\n<\/li>\n
- \n
\u6210\u672c\u6548\u76ca：NVMe-oF TCP > iSCSI > FC<\/p>\n<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u6587\u4ef6\u5171\u4eab\u200b：<\/p>\n
\n- \n
Linux\u73af\u5883：NFSv4.2（\u652f\u6301ACL\/\u9501）<\/p>\n<\/li>\n
- \n
Windows\u73af\u5883：SMB3（\u652f\u6301\u591a\u901a\u9053）<\/p>\n<\/li>\n
- \n
HPC\u573a\u666f：pNFS（\u5e76\u884c\u8bbf\u95ee）<\/p>\n<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u4e91\u5b58\u50a8\u200b：<\/p>\n
\n- \n
\u516c\u6709\u4e91：Amazon S3（\u751f\u6001\u4e30\u5bcc）<\/p>\n<\/li>\n
- \n
\u79c1\u6709\u4e91：OpenStack Swift（\u5f00\u6e90\u53ef\u63a7）<\/p>\n<\/li>\n
- \n
\u6df7\u5408\u4e91：S3\u517c\u5bb9API（MinIO\/Ceph）<\/p>\n<\/li>\n<\/ul>\n<\/li>\n
\u200b\u5173\u952e\u8d8b\u52bf\u200b：NVMe-oF\u6b63\u5728\u53d6\u4ee3FC\u6210\u4e3a\u9ad8\u6027\u80fd\u5757\u5b58\u50a8\u65b0\u6807\u51c6，SMB3\u548cNFSv4.2\u5728\u6587\u4ef6\u5b58\u50a8\u9886\u57df\u6301\u7eed\u6f14\u8fdb，\u5bf9\u8c61\u5b58\u50a8\u901a\u8fc7S3 API\u6210\u4e3a\u4e91\u539f\u751f\u5b58\u50a8\u4e8b\u5b9e\u6807\u51c6\u3002\u5b9e\u9645\u9009\u578b\u9700\u7ed3\u5408\u6027\u80fd\u9700\u6c42\u3001\u6210\u672c\u9884\u7b97\u548c\u751f\u6001\u517c\u5bb9\u6027\u7efc\u5408\u8003\u91cf\u3002<\/p>\n<\/p>\n
1.3\u00a0\u57fa\u4e8eCeph\u548cZFS\u7684\u81ea\u52a8\u5316\u5b58\u50a8\u5206\u5c42\u5177\u4f53\u914d\u7f6e\u793a\u4f8b<\/h3>\n
\u57fa\u4e8eCeph\u548cZFS\u7684\u81ea\u52a8\u5316\u5b58\u50a8\u5206\u5c42\u5177\u4f53\u914d\u7f6e\u793a\u4f8b，\u7ed3\u5408\u6027\u80fd\u4f18\u5316\u4e0e\u6210\u672c\u63a7\u5236\u9700\u6c42，\u9002\u7528\u4e8e\u4f01\u4e1a\u7ea7\u751f\u4ea7\u73af\u5883：<\/p>\n
\n1.3.1\u3001Ceph\u5206\u5c42\u5b58\u50a8\u914d\u7f6e（SSD\u7f13\u5b58+HDD\u4e3b\u5b58）\u200b\u200b<\/h4>\n\u200b\u200b1. \u57fa\u7840\u73af\u5883\u51c6\u5907\u200b\u200b<\/h5>\n
# \u521b\u5efaCRUSH\u89c4\u5219\u533a\u5206\u8bbe\u5907\u7c7b\u578b
\nceph osd crush rule create-replicated ssd-rule default host osd-class ssd # SSD\u7f13\u5b58\u5c42\u89c4\u5219
\nceph osd crush rule create-replicated hdd-rule default host osd-class hdd # HDD\u5b58\u50a8\u5c42\u89c4\u5219 <\/p>\n
\u200b\u200b2. \u5b58\u50a8\u6c60\u521b\u5efa\u4e0e\u5173\u8054\u200b\u200b<\/h5>\n
# \u521b\u5efaSSD\u7f13\u5b58\u6c60（\u9ad8\u6027\u80fd\u5c42）
\nceph osd pool create ssd-cache 128 128 replicated ssd-rule
\n# \u521b\u5efaHDD\u5b58\u50a8\u6c60（\u7ecf\u6d4e\u5c42）
\nceph osd pool create hdd-storage 256 256 replicated hdd-rule<\/p>\n
# \u8bbe\u7f6e\u7f13\u5b58\u5c42\u6a21\u5f0f\u4e3aWriteback（\u652f\u6301\u8bfb\u5199\u52a0\u901f）
\nceph osd tier add hdd-storage ssd-cache # \u5173\u8054\u5b58\u50a8\u6c60\u4e0e\u7f13\u5b58\u6c60
\nceph osd tier cache-mode ssd-cache writeback # \u5199\u56de\u6a21\u5f0f（\u70ed\u6570\u636e\u6682\u5b58SSD）
\nceph osd tier set-overlay hdd-storage ssd-cache # \u91cd\u5b9a\u5411\u6d41\u91cf\u5230\u7f13\u5b58\u5c42<\/p>\n
\u200b\u200b3. \u7f13\u5b58\u7b56\u7565\u7cbe\u7ec6\u5316\u914d\u7f6e\u200b\u200b<\/h5>\n
# \u542f\u7528Bloom Filter\u8ffd\u8e2a\u8bbf\u95ee\u9891\u7387
\nceph osd pool set ssd-cache hit_set_type bloom
\nceph osd pool set ssd-cache hit_set_count 24 # \u4fdd\u755924\u4e2a\u5386\u53f2\u8bbf\u95ee\u8bb0\u5f55
\nceph osd pool set ssd-cache hit_set_period 600 # \u6bcf10\u5206\u949f\u66f4\u65b0\u4e00\u6b21\u70ed\u5ea6<\/p>\n
# \u8bbe\u7f6e\u7f13\u5b58\u6c34\u4f4d\u7ebf\u4e0e\u6dd8\u6c70\u673a\u5236
\nceph osd pool set ssd-cache target_max_bytes 1T # \u7f13\u5b58\u6c60\u6700\u5927\u5bb9\u91cf1TB
\nceph osd pool set ssd-cache cache_target_dirty_ratio 0.4 # \u810f\u6570\u636e\u8d8540%\u89e6\u53d1\u5237\u5199
\nceph osd pool set ssd-cache cache_target_full_ratio 0.8 # \u7a7a\u95f4\u4f7f\u7528\u8d8580%\u89e6\u53d1\u6dd8\u6c70 <\/p>\n
\u200b\u200b4. \u6027\u80fd\u8c03\u4f18\u53c2\u6570\u200b\u200b<\/h5>\n
# \u4f18\u5316SSD\u7f13\u5b58\u6c60I\/O\u80fd\u529b
\nceph config set osd bluestore_cache_size_ssd 4G # \u6bcf\u4e2aOSD\u5206\u914d4GB\u5185\u5b58\u7f13\u5b58
\nceph config set osd osd_op_num_shards 16 # \u589e\u52a0\u5e76\u53d1\u5904\u7406\u7ebf\u7a0b
\nceph config set osd osd_recovery_max_active 8 # \u63d0\u5347\u540e\u53f0\u6570\u636e\u540c\u6b65\u901f\u5ea6<\/p>\n
\n1.3.2\u3001ZFS\u5206\u5c42\u5b58\u50a8\u914d\u7f6e（SSD\u52a0\u901f+HDD\u5f52\u6863）\u200b\u200b<\/h4>\n\u200b\u200b1. \u5b58\u50a8\u6c60\u4e0e\u6587\u4ef6\u7cfb\u7edf\u5206\u5c42\u200b\u200b<\/h5>\n
# \u521b\u5efa\u4e3b\u5b58\u50a8\u6c60（HDD\u4e3a\u57fa\u7840）
\nzpool create tank raidz2 \/dev\/sd[b-e] # HDD\u7ec4\u6210RAIDZ2\u5197\u4f59 <\/p>\n
# \u6dfb\u52a0SSD\u4f5c\u4e3a\u7f13\u5b58\u8bbe\u5907
\nzpool add tank cache \/dev\/nvme0n1 # L2ARC\u8bfb\u7f13\u5b58\u52a0\u901f
\nzpool add tank log \/dev\/nvme0n2 # ZIL\u5199\u65e5\u5fd7\u52a0\u901f <\/p>\n
# \u521b\u5efa\u5206\u5c42\u6587\u4ef6\u7cfb\u7edf\u7ed3\u6784
\nzfs create tank\/hot_data # \u70ed\u6570\u636e\u5c42（\u5e38\u8bbf\u95ee）
\nzfs create tank\/cold_data # \u51b7\u6570\u636e\u5c42（\u5f52\u6863）<\/p>\n
\u200b\u200b2. \u6570\u636e\u8fc1\u79fb\u7b56\u7565\u81ea\u52a8\u5316\u200b\u200b<\/h5>\n
# \u70ed\u6570\u636e\u5c42\u914d\u7f6e（SSD\u4f18\u5148）
\nzfs set primarycache=all tank\/hot_data # \u5143\u6570\u636e+\u6570\u636e\u5747\u7f13\u5b58\u5230SSD
\nzfs set compression=lz4 tank\/hot_data # \u542f\u7528\u5b9e\u65f6\u538b\u7f29\u51cf\u5c11I\/O\u538b\u529b <\/p>\n
# \u51b7\u6570\u636e\u5c42\u914d\u7f6e（HDD\u5b58\u50a8）
\nzfs set primarycache=metadata tank\/cold_data # \u4ec5\u7f13\u5b58\u5143\u6570\u636e\u5230SSD
\nzfs set compression=gzip-9 tank\/cold_data # \u9ad8\u538b\u7f29\u6bd4\u8282\u7701\u7a7a\u95f4<\/p>\n
# \u81ea\u52a8\u8fc1\u79fb\u811a\u672c（\u6309\u8bbf\u95ee\u65f6\u95f4\u79fb\u52a8\u6570\u636e）
\n0 2 * * * zfs list -H -o name -t filesystem | grep tank\/ | xargs -I{} zfs diff {} | awk '$1=="-" {print $2}' | xargs mv -t \/tank\/cold_data\/ # \u6bcf\u65e5\u51cc\u6668\u8fc1\u79fb30\u5929\u672a\u8bbf\u95ee\u6587\u4ef6 <\/p>\n
\n1.3.3\u3001\u65b9\u6848\u5bf9\u6bd4\u4e0e\u9009\u578b\u5efa\u8bae\u200b\u200b<\/h4>\n
\n\u200b\u200b\u7ef4\u5ea6\u200b\u200b\u200b\u200bCeph\u65b9\u6848\u200b\u200b\u200b\u200bZFS\u65b9\u6848\u200b\u200b<\/tr>\n \n\n\u200b\u200b\u9002\u7528\u573a\u666f\u200b\u200b<\/td>\n \u591a\u8282\u70b9\u5206\u5e03\u5f0f\u73af\u5883（3+\u8282\u70b9）<\/td>\n \u5355\u673a\/\u53cc\u63a7\u5b58\u50a8\u670d\u52a1\u5668<\/td>\n<\/tr>\n \n\u200b\u200b\u81ea\u52a8\u5316\u7a0b\u5ea6\u200b\u200b<\/td>\n \u5168\u81ea\u52a8（\u5185\u7f6e\u70ed\u5ea6\u8ffd\u8e2a）<\/td>\n \u534a\u81ea\u52a8（\u9700\u811a\u672c\u8f85\u52a9）<\/td>\n<\/tr>\n \n\u200b\u200b\u6027\u80fd\u74f6\u9888\u200b\u200b<\/td>\n \u7f51\u7edc\u5ef6\u8fdf & OSD\u5904\u7406\u80fd\u529b<\/td>\n \u5355\u673aCPU & \u5185\u5b58\u5e26\u5bbd<\/td>\n<\/tr>\n \n\u200b\u200b\u6269\u5bb9\u7075\u6d3b\u6027\u200b\u200b<\/td>\n \u52a8\u6001\u6dfb\u52a0OSD\u8282\u70b9<\/td>\n \u9700\u505c\u673a\u6269\u5c55\u786c\u76d8<\/td>\n<\/tr>\n \n\u200b\u200b\u5178\u578b\u5e94\u7528\u200b\u200b<\/td>\n \u4e91\u5e73\u53f0\u5757\u5b58\u50a8(RBD)\u3001\u5bf9\u8c61\u5b58\u50a8(RGW)<\/td>\n \u865a\u62df\u5316\u5e73\u53f0(NFS\/iSCSI)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.3.4\u3001\u5173\u952e\u9a8c\u8bc1\u4e0e\u76d1\u63a7\u547d\u4ee4\u200b\u200b<\/h4>\n\u200b\u200bCeph\u96c6\u7fa4\u72b6\u6001\u68c0\u67e5\u200b\u200b<\/h5>\n
# \u67e5\u770b\u7f13\u5b58\u6c60\u547d\u4e2d\u7387
\nceph osd pool stats ssd-cache | grep hit_set_ratio # >0.7\u4e3a\u6709\u6548 <\/p>\n
# \u76d1\u63a7\u6570\u636e\u8fc1\u79fb\u72b6\u6001
\nceph -s | grep tier # \u786e\u4fdd\u65e0"degraded"\u6216"stuck"\u72b6\u6001 <\/p>\n
\u200b\u200bZFS\u5206\u5c42\u6548\u679c\u9a8c\u8bc1\u200b\u200b<\/h5>\n
# \u67e5\u770bSSD\u7f13\u5b58\u5229\u7528\u7387
\nzpool iostat -v tank 1 # \u89c2\u5bdfL2ARC\u8bfb\u5199\u547d\u4e2d\u7387（Hit% >60%\u4e3a\u4f18）<\/p>\n
# \u51b7\u70ed\u6570\u636e\u5206\u5e03\u786e\u8ba4
\nzfs list -r -o name,used,avail,refer,mountpoint tank # \u68c0\u67e5cold_data\u5360\u6bd4\u6301\u7eed\u589e\u957f <\/p>\n
\n\u603b\u7ed3\u5efa\u8bae\u200b\u200b<\/h4>\n\n- \u200b\u200b\u5206\u5e03\u5f0f\u4e91\u73af\u5883\u200b\u200b：\u9009\u62e9Ceph\u65b9\u6848，\u901a\u8fc7writeback\u6a21\u5f0f+bloom\u8fc7\u6ee4\u5668\u5b9e\u73b0\u5168\u81ea\u52a8\u5206\u5c42，\u914d\u5408RADOS Gateway\u53ef\u76f4\u63a5\u5bf9\u63a5S3\u534f\u8bae\u5e94\u7528 \u3002<\/li>\n
- \u200b\u200b\u9ad8\u6027\u80fd\u5355\u673a\u5b58\u50a8\u200b\u200b：\u91c7\u7528ZFS\u65b9\u6848，\u901a\u8fc7L2ARC\/ZIL\u52a0\u901f\u5c42+\u5b9a\u65f6\u8fc1\u79fb\u811a\u672c，\u6210\u672c\u66f4\u4f4e\u4e14\u6613\u4e8e\u7ef4\u62a4 \u3002<\/li>\n
- \u200b\u200b\u6df7\u5408\u67b6\u6784\u6269\u5c55\u200b\u200b：\u8d85\u5927\u89c4\u6a21\u573a\u666f\u53ef\u7ed3\u5408\u4e24\u8005\u2014\u2014Ceph\u96c6\u7fa4\u5185\u7528SSD\u7f13\u5b58\u6c60，\u5355\u4e2a\u8282\u70b9\u5185\u7528ZFS\u8fdb\u4e00\u6b65\u5206\u5c42，\u5b9e\u73b0\u201c\u96c6\u7fa4\u7ea7+\u8282\u70b9\u7ea7\u201d\u53cc\u5c42\u4f18\u5316 \u3002<\/li>\n<\/ul>\n
\u26a0\ufe0f \u200b\u200b\u5173\u952e\u6ce8\u610f\u4e8b\u9879\u200b\u200b：<\/p>\n
\n- Ceph\u7684writeback\u6a21\u5f0f\u9700\u914d\u7f6eUPS\u9632\u6b62\u7f13\u5b58\u6570\u636e\u4e22\u5931 ；<\/li>\n
- ZFS\u7684L2ARC\u8bbe\u5907\u5bb9\u91cf\u5efa\u8bae\u4e3a\u4e3b\u5b58\u768410%~20%\u4ee5\u907f\u514d\u5185\u5b58\u7d22\u5f15\u6ea2\u51fa \u3002<\/li>\n<\/ul>\n
1.4 ZFS\u5206\u5c42\u5b58\u50a8<\/h3>\n
\u5728ZFS\u5206\u5c42\u5b58\u50a8\u4e2d，ZFS\u672c\u8eab\u200b\u200b\u4e0d\u76f4\u63a5\u63d0\u4f9b\u57fa\u4e8e\u65f6\u95f4\u9608\u503c\u7684\u81ea\u52a8\u6570\u636e\u8fc1\u79fb\u529f\u80fd\u200b\u200b，\u4f46\u53ef\u901a\u8fc7\u7ed3\u5408\u200b\u200b\u8bbf\u95ee\u65f6\u95f4\u5c5e\u6027（atime）\u200b\u200b\u3001\u200b\u200b\u81ea\u5b9a\u4e49\u811a\u672c\u200b\u200b\u53ca\u200b\u200b\u5b9a\u65f6\u4efb\u52a1\u200b\u200b\u5b9e\u73b0\u7c7b\u4f3c\u6548\u679c\u3002<\/p>\n
\n1.4.1\u3001\u6838\u5fc3\u673a\u5236：\u57fa\u4e8e\u8bbf\u95ee\u65f6\u95f4（atime）\u7684\u8fc1\u79fb\u200b\u200b<\/h4>\n
ZFS\u6587\u4ef6\u7684atime\u5c5e\u6027\u8bb0\u5f55\u6700\u540e\u8bbf\u95ee\u65f6\u95f4，\u901a\u8fc7\u5b9a\u671f\u626b\u63cf\u5e76\u8fc1\u79fb\u957f\u65f6\u95f4\u672a\u8bbf\u95ee\u7684\u6570\u636e，\u53ef\u5b9e\u73b0\u51b7\u70ed\u6570\u636e\u5206\u5c42：<\/p>\n
- \n
\u200b\u200b\u542f\u7528atime\u8ffd\u8e2a\u200b\u200b
\n\u786e\u4fdd\u6587\u4ef6\u7cfb\u7edf\u7684atime\u5c5e\u6027\u4e3aon（\u9ed8\u8ba4\u5f00\u542f）：<\/p>\n
zfs set atime=on tank\/hot_data # \u786e\u4fdd\u70ed\u6570\u636e\u5c42\u8bb0\u5f55\u8bbf\u95ee\u65f6\u95f4<\/p>\n
\u82e5\u5df2\u7981\u7528，\u9700\u663e\u5f0f\u5f00\u542f\u3002<\/p>\n<\/li>\n
- \n
\u200b\u200b\u5b9a\u4e49\u65f6\u95f4\u9608\u503c\u200b\u200b
\n\u6839\u636e\u4e1a\u52a1\u9700\u6c42\u8bbe\u5b9a\u51b7\u6570\u636e\u5224\u5b9a\u9608\u503c（\u598230\u5929\u672a\u8bbf\u95ee）：<\/p>\n
COLD_THRESHOLD=$((30 * 24 * 60 * 60)) # 30\u5929\u5bf9\u5e94\u7684\u79d2\u6570\n<\/li>\n
\n1.4.2\u3001\u81ea\u52a8\u5316\u8fc1\u79fb\u811a\u672c\u5b9e\u73b0\u200b\u200b<\/h4>\n
\u901a\u8fc7\u811a\u672c\u626b\u63cfatime\u5e76\u8fc1\u79fb\u6ee1\u8db3\u9608\u503c\u7684\u6570\u636e\u81f3\u51b7\u5b58\u50a8\u5c42：<\/p>\n
#!\/bin\/bash
\n# \u8fc1\u79fb\u811a\u672c\u793a\u4f8b：\u5c06\u8d85\u8fc730\u5929\u672a\u8bbf\u95ee\u7684\u6587\u4ef6\u4ecehot_data\u79fb\u81f3cold_data
\nHOT_DIR="\/tank\/hot_data"
\nCOLD_DIR="\/tank\/cold_data"
\nTHRESHOLD_SECONDS=$((30 * 86400)) # 30\u5929\u79d2\u6570<\/p>\n
# \u67e5\u627e\u5e76\u8fc1\u79fb\u6587\u4ef6
\nfind "$HOT_DIR" -type f -atime +$THRESHOLD_SECONDS -exec sh -c '
\n file="$1"
\n dest_dir="$2\/$(dirname "${file#$3}")"
\n mkdir -p "$dest_dir"
\n mv "$file" "$dest_dir\/"
\n' _ {} "$COLD_DIR" "$HOT_DIR" \\\\;<\/p>\n
\u200b\u200b\u5173\u952e\u53c2\u6570\u8bf4\u660e\u200b\u200b：<\/p>\n
\n- -atime +30：\u5339\u914d\u8d85\u8fc730\u5929\u672a\u8bbf\u95ee\u7684\u6587\u4ef6（+N\u8868\u793a\u5927\u4e8eN\u5929）\u3002<\/li>\n
- \u811a\u672c\u9700\u6839\u636e\u5b9e\u9645\u8def\u5f84\u8c03\u6574HOT_DIR\u3001COLD_DIR\u53ca\u8fc1\u79fb\u903b\u8f91（\u5982\u4fdd\u7559\u76ee\u5f55\u7ed3\u6784）\u3002<\/li>\n<\/ul>\n
\n1.4.3\u3001\u5b9a\u65f6\u4efb\u52a1\u96c6\u6210\u200b\u200b<\/h4>\n
\u901a\u8fc7cron\u5b9a\u671f\u6267\u884c\u8fc1\u79fb\u811a\u672c（\u5982\u6bcf\u65e5\u51cc\u66682\u70b9）：<\/p>\n
# \u7f16\u8f91crontab
\ncrontab -e<\/p>\n
\u6dfb\u52a0\u4efb\u52a1：<\/p>\n
0 2 * * * \/path\/to\/migration_script.sh # \u6bcf\u65e5\u51cc\u66682\u70b9\u6267\u884c\u8fc1\u79fb<\/p>\n
\n1.4.4\u3001\u6027\u80fd\u4f18\u5316\u4e0e\u6ce8\u610f\u4e8b\u9879\u200b\u200b<\/h4>\n
- \n
\u200b\u200b\u964d\u4f4eatime\u66f4\u65b0\u5f00\u9500\u200b\u200b
\n\u82e5I\/O\u538b\u529b\u5927，\u53ef\u6539\u7528relatime（\u4ec5\u5f53\u4e0a\u6b21\u8bbf\u95ee\u65e9\u4e8e\u4fee\u6539\u65f6\u66f4\u65b0atime）：<\/p>\n
zfs set relatime=on tank\/hot_data # \u5e73\u8861\u51c6\u786e\u6027\u4e0e\u6027\u80fd\n<\/li>\n
- \n
\u200b\u200b\u89c4\u907f\u9891\u7e41\u626b\u63cf\u5f71\u54cd\u200b\u200b<\/p>\n
\n- \u9650\u5236find\u547d\u4ee4\u6df1\u5ea6：-maxdepth 3\u51cf\u5c11\u904d\u5386\u6587\u4ef6\u91cf\u3002<\/li>\n
- \u907f\u5f00\u4e1a\u52a1\u9ad8\u5cf0：\u901a\u8fc7cron\u8bbe\u7f6e\u5728\u4f4e\u8d1f\u8f7d\u65f6\u6bb5\u6267\u884c\u3002<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u200b\u51b7\u6570\u636e\u5c42\u4f18\u5316\u914d\u7f6e\u200b\u200b
\n\u4e3a\u51b7\u6570\u636e\u542f\u7528\u9ad8\u538b\u7f29\u6bd4（\u5982gzip-9），\u5173\u95ed\u5197\u4f59\u7f13\u5b58：<\/p>\n
zfs set compression=gzip-9 tank\/cold_data
\nzfs set primarycache=metadata tank\/cold_data # \u4ec5\u7f13\u5b58\u5143\u6570\u636e\n<\/li>\n
\n1.4.5\u3001\u66ff\u4ee3\u65b9\u6848：\u7b2c\u4e09\u65b9\u5de5\u5177\u200b\u200b<\/h4>\n
\u82e5\u9700\u66f4\u7cbe\u7ec6\u7b56\u7565（\u5982\u57fa\u4e8e\u70ed\u5ea6\u8bc4\u5206），\u53ef\u96c6\u6210\u76d1\u63a7\u5de5\u5177：<\/p>\n
\n- \u200b\u200bZFS Automatic Tiering (ZAT)\u200b\u200b：\u6839\u636eI\/O\u9891\u7387\u81ea\u52a8\u8fc1\u79fb\u6570\u636e\u3002<\/li>\n
- \u200b\u200bPrometheus + ZFS Exporter\u200b\u200b：\u76d1\u63a7\u8bbf\u95ee\u6a21\u5f0f\u540e\u89e6\u53d1\u81ea\u5b9a\u4e49\u8fc1\u79fb\u89c4\u5219\u3002<\/li>\n<\/ul>\n
\n1.4.6\u3001\u6ce8\u610f\u4e8b\u9879\u200b\u200b<\/h4>\n
- \u200b\u200b\u5feb\u7167\u5f71\u54cd\u200b\u200b：\u5feb\u7167\u4f1a\u4fdd\u7559\u65e7\u6570\u636e\u5757，\u8fc1\u79fb\u540e\u539f\u4f4d\u7f6e\u6570\u636e\u4ecd\u5b58\u5728\u4e8e\u5feb\u7167\u4e2d，\u9700\u989d\u5916\u6e05\u7406\u65e7\u5feb\u7167\u3002<\/li>\n
- \u200b\u200b\u6743\u9650\u4e00\u81f4\u6027\u200b\u200b：\u786e\u4fdd\u51b7\u70ed\u6570\u636e\u5c42\u6302\u8f7d\u70b9\u6743\u9650\u76f8\u540c，\u907f\u514d\u8fc1\u79fb\u540e\u8bbf\u95ee\u5931\u8d25\u3002<\/li>\n
- \u200b\u200b\u6d4b\u8bd5\u9a8c\u8bc1\u200b\u200b：\u9996\u6b21\u6267\u884c\u524d\u7528find -print\u66ff\u4ee3-exec\u9884\u89c8\u8fc1\u79fb\u6587\u4ef6\u5217\u8868，\u9632\u6b62\u8bef\u64cd\u4f5c\u3002<\/li>\n
\n\u603b\u7ed3\u5efa\u8bae\u200b\u200b<\/h4>\n\n- \u200b\u200b\u57fa\u7840\u573a\u666f\u200b\u200b：\u901a\u8fc7atime + cron + find\u7ec4\u5408\u5b9e\u73b0\u65f6\u95f4\u9608\u503c\u8fc1\u79fb，\u517c\u987e\u7b80\u5355\u6027\u4e0e\u53ef\u63a7\u6027\u3002<\/li>\n
- \u200b\u200b\u9ad8\u7ea7\u9700\u6c42\u200b\u200b：\u96c6\u6210ZAT\u6216\u76d1\u63a7\u544a\u8b66\u7cfb\u7edf，\u5b9e\u73b0\u52a8\u6001\u5206\u5c42（\u5982\u5c06\u9ad8\u9891\u8bbf\u95ee\u7684\u51b7\u6570\u636e\u81ea\u52a8\u8fc1\u56de\u70ed\u5c42）\u3002<\/li>\n<\/ul>\n
\u2705 \u200b\u200b\u64cd\u4f5c\u9a8c\u8bc1\u547d\u4ee4\u200b\u200b：<\/p>\n
\n- \u68c0\u67e5\u8fc1\u79fb\u6548\u679c：zfs list -r -o name,atime,used tank\/cold_data | head<\/li>\n
- \u76d1\u63a7\u51b7\u6570\u636e\u589e\u957f：zfs list -t filesystem -s used tank\/cold_data<\/li>\n<\/ul>\n
\u901a\u8fc7\u4e0a\u8ff0\u65b9\u6848，\u53ef\u6709\u6548\u5229\u7528ZFS\u7279\u6027\u6784\u5efa\u81ea\u52a8\u5316\u51b7\u70ed\u5206\u5c42\u5b58\u50a8，\u663e\u8457\u964d\u4f4e\u9ad8\u6027\u80fd\u5b58\u50a8\u8d44\u6e90\u7684\u5360\u7528\u6210\u672c\u3002<\/p>\n
1.5\u00a0\u5927\u89c4\u6a21\u6587\u4ef6\u7cfb\u7edf（PB\u7ea7\u6570\u636e\u3001\u4ebf\u7ea7\u6587\u4ef6）\u4e2d\u5b9e\u73b0\u9ad8\u6548\u5206\u5c42\u8fc1\u79fb<\/h3>\n
\u5728\u5927\u89c4\u6a21\u6587\u4ef6\u7cfb\u7edf（PB\u7ea7\u6570\u636e\u3001\u4ebf\u7ea7\u6587\u4ef6）\u4e2d\u5b9e\u73b0\u9ad8\u6548\u5206\u5c42\u8fc1\u79fb，\u9700\u7a81\u7834\u4f20\u7edf\u904d\u5386\u626b\u63cf\u7684\u6027\u80fd\u74f6\u9888，\u7ed3\u5408\u200b\u200b\u5143\u6570\u636e\u52a0\u901f\u3001\u5206\u5e03\u5f0f\u67b6\u6784\u3001\u667a\u80fd\u7b56\u7565\u200b\u200b\u8bbe\u8ba1\u5206\u5c42\u8fc1\u79fb\u4f53\u7cfb\u3002\u4ee5\u4e0b\u662f\u7ecf\u8fc7\u5927\u89c4\u6a21\u751f\u4ea7\u9a8c\u8bc1\u7684\u4f18\u5316\u65b9\u6848：<\/p>\n
\n1.5.1\u3001\u8fc1\u79fb\u67b6\u6784\u8bbe\u8ba1\u539f\u5219\u200b\u200b<\/h4>\n
![\"\"](\"https:\/\/www.wsisp.com\/helps\/wp-content\/uploads\/2025\/07\/20250730025728-68898a188bd06.png\")
<\/p>\n
\n1.5.2\u3001\u6838\u5fc3\u6027\u80fd\u4f18\u5316\u6280\u672f\u200b\u200b<\/h4>\n\u200b\u200b1. \u5143\u6570\u636e\u52a0\u901f\u65b9\u6848\u200b\u200b<\/h5>\n
\n\u200b\u200b\u6280\u672f\u200b\u200b\u200b\u200b\u5b9e\u73b0\u65b9\u5f0f\u200b\u200b\u200b\u200b\u6027\u80fd\u6536\u76ca\u200b\u200b<\/tr>\n \n\n\u200b\u200b\u5e76\u884cinode\u626b\u63cf\u200b\u200b<\/td>\n \u6309\u76ee\u5f55\u6811\u5206\u7247，\u591a\u7ebf\u7a0b\u5e76\u53d1\u626b\u63cf（\u907f\u514d\u5355\u7ebf\u7a0bfind\u74f6\u9888）<\/td>\n 10\u4ebf\u6587\u4ef6\u626b\u63cf\u65f6\u95f4\u4ece24h\u219230min<\/td>\n<\/tr>\n \n\u200b\u200b\u5185\u5b58\u7d22\u5f15\u7f13\u5b58\u200b\u200b<\/td>\n \u4f7f\u7528Redis\u96c6\u7fa4\u7f13\u5b58\u6587\u4ef6\u8def\u5f84\u3001\u5927\u5c0f\u3001atime\/mtime<\/td>\n \u5143\u6570\u636e\u67e5\u8be2\u5ef6\u8fdf\u4ecems\u7ea7\u2192\u03bcs\u7ea7<\/td>\n<\/tr>\n \n\u200b\u200b\u65e5\u5fd7\u7ed3\u6784\u5316\u8bbf\u95ee\u8bb0\u5f55\u200b\u200b<\/td>\n \u6587\u4ef6\u8bbf\u95ee\u4e8b\u4ef6\u5199\u5165Kafka，Flink\u5b9e\u65f6\u8ba1\u7b97\u70ed\u5ea6\u8bc4\u5206<\/td>\n \u5b9e\u65f6\u8bc6\u522b\u51b7\u70ed\u6570\u636e，\u5ef6\u8fdf<1s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\u200b\u200b2. \u8fc1\u79fb\u6267\u884c\u4f18\u5316\u200b\u200b<\/h5>\n\n- \n
\u200b\u200b\u5757\u7ea7\u8fc1\u79fb\u66ff\u4ee3\u6587\u4ef6\u8fc1\u79fb\u200b\u200b
\nZFS\/Btrfs\u7b49\u652f\u6301\u200b\u200bsend\/recv\u200b\u200b\u5757\u7ea7\u589e\u91cf\u540c\u6b65，\u907f\u514d\u6587\u4ef6\u62f7\u8d1d\u5f00\u9500：<\/p>\n
# \u521b\u5efa\u70ed\u6570\u636e\u5feb\u7167
\nzfs snapshot tank\/hot_data@$(date +%Y%m%d)
\n# \u5757\u7ea7\u8fc1\u79fb\u81f3\u51b7\u5c42
\nzfs send tank\/hot_data@20231001 | zfs recv tank\/cold_data\/archive<\/p>\n
\n- \u200b\u200b\u4f18\u52bf\u200b\u200b：\u8fc1\u79fb\u901f\u5ea6\u63d0\u534710\u500d（\u65e0\u9700\u89e3\u5305\/\u91cd\u538b\u7f29）<\/li>\n
- \u200b\u200b\u9650\u5236\u200b\u200b：\u9700\u540c\u6587\u4ef6\u7cfb\u7edf\u7c7b\u578b<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u200b\u5c0f\u6587\u4ef6\u5408\u5e76\u8fc1\u79fb\u200b\u200b
\n\u5c06\u5c0f\u6587\u4ef6\u6253\u5305\u4e3a.tar\u6216\u5bf9\u8c61\u5b58\u50a8\u683c\u5f0f（\u5982MinIO），\u51cf\u5c11\u8fc1\u79fb\u8bf7\u6c42\u6570：<\/p>\n
# \u67e5\u627e\u5c0f\u6587\u4ef6\u5e76\u6253\u5305
\nfind \/hot_data -type f -size -1M -exec tar -rf \/migrate\/smallfiles.tar {} +
\n# \u8fc1\u79fb\u5927\u5305
\nmv \/migrate\/smallfiles.tar \/cold_data\/\n<\/li>\n<\/ul>\n
\u200b\u200b3. \u5206\u5e03\u5f0f\u8fc1\u79fb\u6846\u67b6\u200b\u200b<\/h5>\n
# \u4f2a\u4ee3\u7801：\u57fa\u4e8eCelery\u7684\u5206\u5e03\u5f0f\u8fc1\u79fb\u5f15\u64ce
\nfrom celery import Celery
\napp = Celery('migration', broker='redis:\/\/cluster')<\/p>\n
@app.task
\ndef migrate_chunk(file_chunk):
\n for path in file_chunk:
\n if is_cold_data(path): # \u6839\u636e\u70ed\u5ea6\u8bc4\u5206\u5224\u65ad
\n dest = get_dest_storage(path)
\n block_migrate(path, dest) # \u5757\u7ea7\u8fc1\u79fb<\/p>\n
# \u5206\u7247\u7b56\u7565：\u6309\u76ee\u5f55\u54c8\u5e0c\u5206\u7247
\npaths = metadata_query("atime < now() – 30d")
\nchunks = [paths[i:i+1000] for i in range(0, len(paths), 1000)]
\nfor chunk in chunks:
\n migrate_chunk.delay(chunk)<\/p>\n
\n1.5.3\u3001\u667a\u80fd\u5206\u5c42\u7b56\u7565\u200b\u200b<\/h4>\n\u200b\u200b1. \u52a8\u6001\u70ed\u5ea6\u8bc4\u5206\u6a21\u578b\u200b\u200b<\/h5>\n
# \u70ed\u5ea6\u8bc4\u5206 = \u8bbf\u95ee\u9891\u7387\u6743\u91cd \u00d7 0.6 + \u6700\u8fd1\u8bbf\u95ee\u65f6\u95f4\u6743\u91cd \u00d7 0.3 + \u4e1a\u52a1\u6807\u7b7e \u00d7 0.1
\ndef heat_score(file):
\n freq = log(access_count_last_week(file) + 1)
\n recency = 1 \/ (current_time – last_access(file)).days
\n biz_weight = 1.5 if file in business_critical else 0.8
\n return freq*0.6 + recency*0.3 + biz_weight*0.1<\/p>\n
\u200b\u200b2. \u8fc1\u79fb\u9608\u503c\u81ea\u9002\u5e94\u200b\u200b<\/h5>\n\n- \u200b\u200b\u57fa\u4e8e\u5bb9\u91cf\u6c34\u4f4d\u200b\u200b：\u5f53\u9ad8\u901f\u5c42\u4f7f\u7528\u7387>80%，\u81ea\u52a8\u4e0b\u8c03\u51b7\u6570\u636e\u9608\u503c（\u5982\u4ece30\u5929\u219215\u5929）<\/li>\n
- \u200b\u200b\u57fa\u4e8eI\/O\u538b\u529b\u200b\u200b：\u7cfb\u7edf\u7a7a\u95f2\u65f6\u653e\u5bbd\u9608\u503c，\u4e1a\u52a1\u9ad8\u5cf0\u65f6\u6682\u505c\u8fc1\u79fb<\/li>\n<\/ul>\n
\u200b\u200b3. \u5206\u5c42\u7b56\u7565\u793a\u4f8b\u200b\u200b<\/h5>\n
\n\u200b\u200b\u6570\u636e\u7279\u5f81\u200b\u200b\u200b\u200b\u5b58\u50a8\u5c42\u200b\u200b\u200b\u200b\u8fc1\u79fb\u89e6\u53d1\u6761\u4ef6\u200b\u200b<\/tr>\n \n\n\u6bcf\u65e5\u8bbf\u95ee>10\u6b21<\/td>\n NVMe<\/td>\n \u5b9e\u65f6\u81ea\u52a8\u63d0\u5347<\/td>\n<\/tr>\n \n\u6bcf\u5468\u8bbf\u95ee1~10\u6b21<\/td>\n TLC SSD<\/td>\n \u70ed\u5ea6\u8bc4\u5206<60\u5206\u65f6\u964d\u7ea7<\/td>\n<\/tr>\n \n30\u5929\u672a\u8bbf\u95ee & \u975e\u5408\u89c4\u6570\u636e<\/td>\n QLC SSD<\/td>\n \u5b9a\u65f6\u626b\u63cf+\u5bb9\u91cf\u89e6\u53d1<\/td>\n<\/tr>\n \n1\u5e74\u672a\u8bbf\u95ee\u6216\u5f52\u6863\u6570\u636e<\/td>\n \u84dd\u5149\/\u78c1\u5e26\u5e93<\/td>\n \u4eba\u5de5\u5ba1\u6838\u540e\u8fc1\u79fb<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.5.4\u3001\u7a33\u5b9a\u6027\u4fdd\u969c\u673a\u5236\u200b\u200b<\/h4>\n\u200b\u200b1. \u8fc1\u79fb\u8fc7\u7a0b\u5bb9\u9519\u200b\u200b<\/h5>\n\n- \u200b\u200b\u65ad\u70b9\u7eed\u4f20\u200b\u200b：\u8bb0\u5f55\u8fc1\u79fb\u8fdb\u5ea6\u5230Etcd，\u5931\u8d25\u540e\u4ece\u65ad\u70b9\u6062\u590d<\/li>\n
- \u200b\u200b\u4e00\u81f4\u6027\u6821\u9a8c\u200b\u200b：\u8fc1\u79fb\u540e\u5bf9\u6bd4\u6e90\/\u76ee\u6807\u6587\u4ef6\u6821\u9a8c\u548c（SHA-256）<\/li>\n
- \u200b\u200b\u539f\u5b50\u63d0\u4ea4\u200b\u200b：\u5148\u8fc1\u79fb\u6570\u636e，\u518d\u66f4\u65b0\u5143\u6570\u636e\u7d22\u5f15，\u907f\u514d\u72b6\u6001\u4e0d\u4e00\u81f4<\/li>\n<\/ul>\n
\u200b\u200b2. \u8d44\u6e90\u9694\u79bb\u4e0e\u9650\u6d41\u200b\u200b<\/h5>\n\n- \u200b\u200b\u7f51\u7edc\u5e26\u5bbd\u63a7\u5236\u200b\u200b：\n
# \u9650\u5236\u8fc1\u79fb\u6d41\u91cf\u2264\u603b\u5e26\u5bbd\u768430%
\ntc qdisc add dev eth0 root tbf rate 3Gbit burst 1mb latency 50ms\n<\/li>\n
- \u200b\u200bIOPS\u9694\u79bb\u200b\u200b：Cgroup\u9650\u5236\u8fc1\u79fb\u8fdb\u7a0b\u7684\u78c1\u76d8IOPS\n
echo "8:0 1000" > \/sys\/fs\/cgroup\/blkio\/migration\/tasks\n<\/li>\n<\/ul>\n
\u200b\u200b3. \u7070\u5ea6\u8fc1\u79fb\u7b56\u7565\u200b\u200b<\/h5>\n\n- \u200b\u200b\u5206\u6279\u6b21\u8fc1\u79fb\u200b\u200b：\u6309\u76ee\u5f55\/\u6587\u4ef6\u5927\u5c0f\/\u4e1a\u52a1\u5355\u5143\u5206\u6279\u8fc1\u79fb<\/li>\n
- \u200b\u200b\u5f71\u5b50\u8fc1\u79fb\u6d4b\u8bd5\u200b\u200b：\u5148\u6a21\u62df\u8fc1\u79fb\u5e76\u62a5\u544a\u6f5c\u5728\u95ee\u9898，\u518d\u6b63\u5f0f\u6267\u884c<\/li>\n<\/ul>\n
\n1.5.5\u3001\u6027\u80fd\u5bf9\u6bd4\u4e0e\u6536\u76ca\u200b\u200b<\/h4>\n
\u67d0\u4e91\u670d\u52a1\u5546\u4f18\u5316\u524d\u540e\u5bf9\u6bd4（10PB\u6570\u636e，2\u4ebf\u6587\u4ef6）：<\/p>\n
\n\u200b\u200b\u6307\u6807\u200b\u200b\u4f20\u7edf\u65b9\u6848（find+cron）\u4f18\u5316\u65b9\u6848\u63d0\u5347\u500d\u6570<\/tr>\n \n\n\u5168\u91cf\u626b\u63cf\u65f6\u95f4<\/td>\n 48\u5c0f\u65f6<\/td>\n 40\u5206\u949f<\/td>\n 72x<\/td>\n<\/tr>\n \n\u8fc1\u79fb\u901f\u5ea6<\/td>\n 50 MB\/s<\/td>\n 1.2 GB\/s<\/td>\n 24x<\/td>\n<\/tr>\n \n\u4e1a\u52a1I\/O\u5f71\u54cd<\/td>\n \u5ef6\u8fdf\u6ce2\u52a8\u00b130ms<\/td>\n \u5ef6\u8fdf\u6ce2\u52a8<5ms<\/td>\n –<\/td>\n<\/tr>\n \n\u5b58\u50a8\u6210\u672c<\/td>\n \u5168\u95ea\u5b58 $300K\/\u6708<\/td>\n \u5206\u5c42\u5b58\u50a8 $90K\/\u6708<\/td>\n 67%\u2193<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n\u603b\u7ed3：\u5173\u952e\u5b9e\u8df5\u5efa\u8bae\u200b\u200b<\/h4>\n
- \u200b\u200b\u62d2\u7edd\u66b4\u529b\u626b\u63cf\u200b\u200b：\u7528inode\u5e76\u884c\u8bbf\u95ee\u66ff\u4ee3find\u904d\u5386，\u7ed3\u5408Kafka+Flink\u5b9e\u73b0\u5b9e\u65f6\u70ed\u5ea6\u5206\u6790<\/li>\n
- \u200b\u200b\u8fc1\u79fb\u7c92\u5ea6\u4f18\u5316\u200b\u200b：\n
\n- \u5c0f\u6587\u4ef6\u2192\u5408\u5e76\u8fc1\u79fb（tar\/\u5bf9\u8c61\u5b58\u50a8）<\/li>\n
- \u5927\u6587\u4ef6\u2192\u5757\u7ea7\u589e\u91cf\u8fc1\u79fb（ZFS send\/recv）<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u200b\u52a8\u6001\u7b56\u7565\u200b\u200b：\u57fa\u4e8e\u5bb9\u91cf\/I\/O\u538b\u529b\u81ea\u52a8\u8c03\u6574\u8fc1\u79fb\u9608\u503c，\u907f\u514d\u9759\u6001\u89c4\u5219\u5931\u6548<\/li>\n
- \u200b\u200b\u7a33\u5b9a\u6027\u4e09\u677f\u65a7\u200b\u200b：\n
\n- \u7f51\u7edc\u5e26\u5bbd\u9650\u5236<\/li>\n
- \u65ad\u70b9\u7eed\u4f20+\u4e00\u81f4\u6027\u6821\u9a8c<\/li>\n
- \u4e1a\u52a1\u4f4e\u5cf0\u671f\u6267\u884c<\/li>\n<\/ul>\n<\/li>\n
\u901a\u8fc7\u4e0a\u8ff0\u65b9\u6848，\u53ef\u6784\u5efa\u652f\u6301EB\u7ea7\u6587\u4ef6\u7cfb\u7edf\u7684\u667a\u80fd\u5206\u5c42\u5b58\u50a8，\u5728\u4fdd\u8bc1\u4e1a\u52a1SLA\u7684\u540c\u65f6，\u200b\u200b\u964d\u4f4e\u5b58\u50a8\u6210\u672c60%+\u200b\u200b\u3002\u5b9e\u9645\u90e8\u7f72\u5efa\u8bae\u4ece\u975e\u5173\u952e\u4e1a\u52a1\u5f00\u59cb\u7070\u5ea6，\u9010\u6b65\u9a8c\u8bc1\u8fc1\u79fb\u7b56\u7565\u6709\u6548\u6027\u3002<\/p>\n
1.6\u00a0ZFS\u4e0eCeph\u7684\u81ea\u52a8\u5206\u5c42\u5b58\u50a8\u5dee\u5f02<\/h3>\n
ZFS\u4e0eCeph\u7684\u81ea\u52a8\u5206\u5c42\u5b58\u50a8\u5728\u5b9e\u73b0\u539f\u7406\u4e0a\u5b58\u5728\u672c\u8d28\u5dee\u5f02，\u4e3b\u8981\u4f53\u73b0\u5728\u200b\u200b\u67b6\u6784\u5c42\u7ea7\u3001\u6570\u636e\u7ec4\u7ec7\u65b9\u5f0f\u3001\u8fc1\u79fb\u673a\u5236\u548c\u9002\u7528\u573a\u666f\u200b\u200b\u7b49\u65b9\u9762\u3002\u4ee5\u4e0b\u662f\u5173\u952e\u533a\u522b\u7684\u5bf9\u6bd4\u5206\u6790：<\/p>\n
\n1.6.1\u3001\u67b6\u6784\u5c42\u7ea7\u4e0e\u8bbe\u8ba1\u76ee\u6807\u200b\u200b<\/h4>\n
- \n
\u200b\u200bZFS：\u5355\u8282\u70b9\u6587\u4ef6\u7cfb\u7edf\u7ea7\u5206\u5c42\u200b\u200b<\/p>\n
\n- \u200b\u200b\u5c42\u7ea7\u5b9a\u4f4d\u200b\u200b：ZFS\u7684\u5206\u5c42\u57fa\u4e8e\u5355\u4e2a\u5b58\u50a8\u6c60（zpool）\u5185\u7684\u4e0d\u540c\u865a\u62df\u8bbe\u5907（vdev）\u3002\u4f8b\u5982，\u7528SSD\u7ec4\u6210\u7279\u6b8a\u8bbe\u5907（special vdev）\u5b58\u653e\u5143\u6570\u636e\u548c\u5c0f\u6587\u4ef6，HDD\u7ec4\u6210\u666e\u901avdev\u5b58\u653e\u51b7\u6570\u636e\u3002<\/li>\n
- \u200b\u200b\u76ee\u6807\u200b\u200b：\u4f18\u5316\u672c\u5730\u5b58\u50a8\u6027\u80fd\u548c\u6570\u636e\u5b8c\u6574\u6027，\u901a\u8fc7\u786c\u4ef6\u5dee\u5f02（\u5982SSD\u4e0eHDD）\u5b9e\u73b0\u5206\u5c42，\u200b\u200b\u4e0d\u6d89\u53ca\u5206\u5e03\u5f0f\u67b6\u6784\u200b\u200b\u3002<\/li>\n
- \u200b\u200b\u900f\u660e\u6027\u200b\u200b：\u6570\u636e\u8fc1\u79fb\u5bf9\u5e94\u7528\u5b8c\u5168\u900f\u660e，\u65e0\u9700\u5ba2\u6237\u7aef\u611f\u77e5\u3002<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u200bCeph：\u5206\u5e03\u5f0f\u96c6\u7fa4\u7ea7\u5206\u5c42\u200b\u200b<\/p>\n
\n- \u200b\u200b\u5c42\u7ea7\u5b9a\u4f4d\u200b\u200b：\u901a\u8fc7\u72ec\u7acb\u7684\u200b\u200b\u7f13\u5b58\u6c60\u200b\u200b（\u5982SSD\u6c60）\u548c\u200b\u200b\u540e\u7aef\u5b58\u50a8\u6c60\u200b\u200b（\u5982HDD\u6c60）\u6784\u5efa\u5206\u5c42，\u4e24\u8005\u7269\u7406\u9694\u79bb\u4e14\u53ef\u8de8\u8282\u70b9\u3002<\/li>\n
- \u200b\u200b\u76ee\u6807\u200b\u200b：\u5728\u5206\u5e03\u5f0f\u73af\u5883\u4e0b\u5e73\u8861\u6027\u80fd\u4e0e\u6210\u672c，\u652f\u6301\u8de8\u96c6\u7fa4\u7684\u6570\u636e\u8fc1\u79fb（\u5982\u672c\u5730SSD\u2192\u4e91\u5b58\u50a8）\u3002<\/li>\n
- \u200b\u200b\u4ee3\u7406\u9a71\u52a8\u200b\u200b：\u4f9d\u8d56\u7f13\u5b58\u4ee3\u7406（Cache Agent）\u81ea\u52a8\u8fc1\u79fb\u6570\u636e，\u9700\u663e\u5f0f\u914d\u7f6e\u7b56\u7565\u3002<\/li>\n<\/ul>\n<\/li>\n
\n1.6.2\u3001\u6570\u636e\u7ec4\u7ec7\u4e0e\u8fc1\u79fb\u673a\u5236\u200b\u200b<\/h4>\n
\n\u200b\u200b\u7ef4\u5ea6\u200b\u200b\u200b\u200bZFS\u200b\u200b\u200b\u200bCeph\u200b\u200b<\/tr>\n \n\n\u200b\u200b\u6570\u636e\u7c92\u5ea6\u200b\u200b<\/td>\n \u200b\u200b\u5757\u7ea7\u7ba1\u7406\u200b\u200b：\u4ee5\u6570\u636e\u5757\u4e3a\u5355\u4f4d\u8fc1\u79fb\u70ed\u70b9\u6570\u636e\u3002<\/td>\n \u200b\u200b\u5bf9\u8c61\u7ea7\u7ba1\u7406\u200b\u200b：\u4ee5\u6574\u4e2a\u5bf9\u8c61（\u59821MB~4MB）\u4e3a\u5355\u4f4d\u8fc1\u79fb\u3002<\/td>\n<\/tr>\n \n\u200b\u200b\u8fc1\u79fb\u89e6\u53d1\u200b\u200b<\/td>\n \u200b\u200b\u5185\u7f6e\u7b97\u6cd5\u200b\u200b：\u57fa\u4e8e\u8bbf\u95ee\u9891\u7387（\u5982ARC\/L2ARC\u7f13\u5b58\u7b97\u6cd5）\u81ea\u52a8\u8fc1\u79fb，\u65e0\u4eba\u5de5\u7b56\u7565\u3002<\/td>\n \u200b\u200b\u7b56\u7565\u5f15\u64ce\u200b\u200b：\u9700\u914d\u7f6e\u751f\u547d\u5468\u671f\u89c4\u5219（\u5982\u65f6\u95f4\u9608\u503c\u3001\u8bbf\u95ee\u9891\u7387），\u652f\u6301\u81ea\u5b9a\u4e49\u6761\u4ef6（\u5982\u5bf9\u8c61\u5927\u5c0f\u3001\u6807\u7b7e）\u3002<\/td>\n<\/tr>\n \n\u200b\u200b\u8fc1\u79fb\u65b9\u5411\u200b\u200b<\/td>\n \u4ec5\u5728\u5b58\u50a8\u6c60\u5185vdev\u95f4\u8fc1\u79fb（\u5982SSD\u2192HDD）\u3002<\/td>\n \u652f\u6301\u53cc\u5411\u8fc1\u79fb：<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\n- \u200b\u200b\u5199\u56de\u6a21\u5f0f（Writeback）\u200b\u200b：\u6570\u636e\u5148\u5199\u7f13\u5b58\u6c60，\u5f02\u6b65\u5237\u5230\u540e\u7aef\u6c60\u3002<\/li>\n
- \u200b\u200b\u53ea\u8bfb\u6a21\u5f0f（Read-only）\u200b\u200b：\u6570\u636e\u4ece\u540e\u7aef\u6c60\u590d\u5236\u5230\u7f13\u5b58\u6c60\u3002 |
\n| \u200b\u200b\u4e00\u81f4\u6027\u4fdd\u969c\u200b\u200b | \u200b\u200b\u4e8b\u52a1\u6027\u6a21\u578b\u200b\u200b：\u5199\u65f6\u590d\u5236（Copy-on-Write）\u786e\u4fdd\u8fc1\u79fb\u4e2d\u6570\u636e\u4e00\u81f4\u6027\u3002 | \u200b\u200b\u5f31\u4e00\u81f4\u6027\u98ce\u9669\u200b\u200b：Writeback\u6a21\u5f0f\u4e0b\u7f13\u5b58\u672a\u5237\u65b0\u65f6\u5b95\u673a\u53ef\u80fd\u5bfc\u81f4\u6570\u636e\u4e22\u5931\u3002 |<\/li>\n<\/ul>\n
\n1.6.3\u3001\u7b56\u7565\u63a7\u5236\u4e0e\u7075\u6d3b\u6027\u200b\u200b<\/h4>\n
- \n
\u200b\u200bZFS：\u6709\u9650\u7b56\u7565\u63a7\u5236\u200b\u200b<\/p>\n
\n- \u4f9d\u8d56\u6587\u4ef6\u7cfb\u7edf\u5185\u7f6e\u903b\u8f91（\u5982\u8bbf\u95ee\u65f6\u95f4\u3001\u7f13\u5b58\u547d\u4e2d\u7387），\u200b\u200b\u65e0\u6cd5\u81ea\u5b9a\u4e49\u8fc1\u79fb\u89c4\u5219\u200b\u200b（\u5982\u57fa\u4e8e\u65f6\u95f4\u9608\u503c）\u3002<\/li>\n
- \u5206\u5c42\u884c\u4e3a\u7531\u786c\u4ef6\u914d\u7f6e（vdev\u7c7b\u578b）\u51b3\u5b9a，\u8c03\u6574\u9700\u91cd\u6784\u5b58\u50a8\u6c60\u3002<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u200bCeph：\u9ad8\u5ea6\u53ef\u914d\u7f6e\u7b56\u7565\u200b\u200b<\/p>\n
\n- \u200b\u200b\u65f6\u95f4\u9608\u503c\u200b\u200b：\u53ef\u5b9a\u4e49\u5bf9\u8c61\u5728\u7f13\u5b58\u6c60\u7684\u505c\u7559\u65f6\u95f4（\u5982cache_min_evict_age）\u3002<\/li>\n
- \u200b\u200b\u70ed\u5ea6\u611f\u77e5\u200b\u200b：\u901a\u8fc7hit_set\u8ffd\u8e2a\u5bf9\u8c61\u8bbf\u95ee\u9891\u6b21，\u652f\u6301\u6309\u70ed\u5ea6\u8fc1\u79fb\u3002<\/li>\n
- \u200b\u200b\u4e91\u96c6\u6210\u200b\u200b：\u652f\u6301\u5c06\u51b7\u6570\u636e\u5f52\u6863\u5230S3\u517c\u5bb9\u4e91\u5b58\u50a8（\u5982AWS Glacier），\u5e76\u914d\u7f6e\u68c0\u7d22\u7b56\u7565\u3002<\/li>\n<\/ul>\n<\/li>\n
\n1.6.4\u3001\u900f\u660e\u6027\u4e0e\u5ba2\u6237\u7aef\u5f71\u54cd\u200b\u200b<\/h4>\n\n- \u200b\u200bZFS\u200b\u200b：\u5206\u5c42\u5bf9\u5e94\u7528\u5b8c\u5168\u900f\u660e，\u65e0\u9700\u4fee\u6539\u5ba2\u6237\u7aef\u914d\u7f6e\u6216\u534f\u8bae\u3002<\/li>\n
- \u200b\u200bCeph\u200b\u200b：\u9700\u5ba2\u6237\u7aef\u91cd\u5b9a\u5411：\n
\n- Writeback\u6a21\u5f0f\u4e0b，\u6240\u6709I\/O\u5148\u6307\u5411\u7f13\u5b58\u6c60\u3002<\/li>\n
- \u53ef\u80fd\u56e0\u7b56\u7565\u5ef6\u8fdf（\u5982\u7f13\u5b58\u672a\u5237\u65b0）\u5bfc\u81f4\u5ba2\u6237\u7aef\u8bfb\u53d6\u65e7\u6570\u636e（Read-only\u6a21\u5f0f）\u3002<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
\n1.6.5\u3001\u9002\u7528\u573a\u666f\u5bf9\u6bd4\u200b\u200b<\/h4>\n
\n\u200b\u200b\u573a\u666f\u200b\u200b\u200b\u200bZFS\u200b\u200b\u200b\u200bCeph\u200b\u200b<\/tr>\n \n\n\u200b\u200b\u5355\u8282\u70b9\u9ad8\u6027\u80fd\u5b58\u50a8\u200b\u200b<\/td>\n \u2705 \u672c\u5730\u6570\u636e\u5e93\u3001\u865a\u62df\u673a\u5b58\u50a8\u3002<\/td>\n \u274c \u975e\u5206\u5e03\u5f0f\u573a\u666f\u4f18\u52bf\u5f31\u3002<\/td>\n<\/tr>\n \n\u200b\u200b\u5206\u5e03\u5f0f\u6df7\u5408\u4e91\u5b58\u50a8\u200b\u200b<\/td>\n \u274c \u65e0\u8de8\u8282\u70b9\u80fd\u529b\u3002<\/td>\n \u2705 \u8de8\u96c6\u7fa4\u51b7\u70ed\u5206\u5c42+\u4e91\u5f52\u6863\u3002<\/td>\n<\/tr>\n \n\u200b\u200b\u7b56\u7565\u7cbe\u7ec6\u5316\u9700\u6c42\u200b\u200b<\/td>\n \u274c \u7b56\u7565\u56fa\u5b9a\u3002<\/td>\n \u2705 \u652f\u6301\u591a\u7ef4\u5ea6\u6761\u4ef6（\u65f6\u95f4\/\u5927\u5c0f\/\u6807\u7b7e）\u3002<\/td>\n<\/tr>\n \n\u200b\u200b\u90e8\u7f72\u590d\u6742\u5ea6\u200b\u200b<\/td>\n \u2705 \u5f00\u7bb1\u5373\u7528，\u914d\u7f6e\u7b80\u5355\u3002<\/td>\n \u274c \u9700\u72ec\u7acb\u914d\u7f6e\u7f13\u5b58\u6c60\u3001\u7b56\u7565\u4ee3\u7406\u548cCRUSH\u89c4\u5219\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n\u00a0\u200b\u200b\u603b\u7ed3：\u672c\u8d28\u533a\u522b\u200b\u200b<\/h4>\n
- \u200b\u200b\u67b6\u6784\u672c\u8d28\u200b\u200b：\n
\n- ZFS\u662f\u200b\u200b\u5355\u673a\u6587\u4ef6\u7cfb\u7edf\u200b\u200b\u7684\u5206\u5c42\u4f18\u5316，\u4f9d\u8d56\u786c\u4ef6\u6c60\u5316\u3002<\/li>\n
- Ceph\u662f\u200b\u200b\u5206\u5e03\u5f0f\u5bf9\u8c61\u5b58\u50a8\u200b\u200b\u7684\u5206\u5c42，\u4f9d\u8d56\u7b56\u7565\u9a71\u52a8\u7684\u8de8\u6c60\u8fc1\u79fb\u3002<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u200b\u8fc1\u79fb\u903b\u8f91\u200b\u200b：\n
\n- ZFS\u901a\u8fc7\u200b\u200b\u5757\u7ea7\u70ed\u5ea6\u200b\u200b\u81ea\u52a8\u8fc1\u79fb，\u65e0\u7b56\u7565\u63a5\u53e3\u3002<\/li>\n
- Ceph\u901a\u8fc7\u200b\u200b\u5bf9\u8c61\u7ea7\u7b56\u7565\u200b\u200b（\u5982\u65f6\u95f4\u9608\u503c\u3001\u8bbf\u95ee\u9891\u7387）\u89e6\u53d1\u8fc1\u79fb\u3002<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u200b\u6269\u5c55\u6027\u200b\u200b：\n
\n- ZFS\u9650\u4e8e\u5355\u8282\u70b9，Ceph\u652f\u6301\u200b\u200b\u8de8\u96c6\u7fa4\u3001\u6df7\u5408\u4e91\u200b\u200b\u5206\u5c42\u3002<\/li>\n<\/ul>\n<\/li>\n
\u200b\u200b\u5b9e\u9645\u9009\u578b\u5efa\u8bae\u200b\u200b：<\/p>\n
\n- \u5355\u8282\u70b9\u9ad8\u6027\u80fd\u9700\u6c42（\u5982NAS\u3001\u6570\u636e\u5e93）\u2192 \u200b\u200bZFS\u200b\u200b<\/li>\n
- \u5927\u89c4\u6a21\u5206\u5e03\u5f0f\u5b58\u50a8\u3001\u4e91\u539f\u751f\u96c6\u6210 \u2192 \u200b\u200bCeph\u200b\u200b
\n\u4e8c\u8005\u4ea6\u53ef\u7ed3\u5408：\u7528ZFS\u4f5c\u4e3aCeph OSD\u8282\u70b9\u7684\u672c\u5730\u6587\u4ef6\u7cfb\u7edf，\u517c\u987e\u6570\u636e\u4e00\u81f4\u6027\u4e0e\u5206\u5e03\u5f0f\u6269\u5c55\u6027\u3002<\/li>\n<\/ul>\n1.7 ZFS\u4e0eCeph\u5728\u6570\u636e\u4e00\u81f4\u6027\u4fdd\u969c\u673a\u5236<\/h3>\n
\u5b58\u5728\u663e\u8457\u5dee\u5f02，\u4e3b\u8981\u4f53\u73b0\u5728\u200b\u200b\u67b6\u6784\u5c42\u7ea7\u3001\u5b9e\u73b0\u539f\u7406\u548c\u9002\u7528\u573a\u666f\u200b\u200b\u4e09\u4e2a\u65b9\u9762\u3002<\/p>\n
\n1.7.1\u3001\u6838\u5fc3\u673a\u5236\u5dee\u5f02<\/h4>\n
\n\u200b\u200b\u7ef4\u5ea6\u200b\u200b\u200b\u200bZFS\u200b\u200b\u200b\u200bCeph\u200b\u200b<\/tr>\n \n\n\u200b\u200b\u67b6\u6784\u5c42\u7ea7\u200b\u200b<\/td>\n \u5355\u8282\u70b9\u6587\u4ef6\u7cfb\u7edf<\/td>\n \u5206\u5e03\u5f0f\u5b58\u50a8\u96c6\u7fa4<\/td>\n<\/tr>\n \n\u200b\u200b\u4e00\u81f4\u6027\u8303\u56f4\u200b\u200b<\/td>\n \u672c\u5730\u5b58\u50a8\u6c60\u5185\u6570\u636e\u5757<\/td>\n \u8de8\u8282\u70b9\u591a\u526f\u672c\u6570\u636e\u540c\u6b65<\/td>\n<\/tr>\n \n\u200b\u200b\u6838\u5fc3\u6280\u672f\u200b\u200b<\/td>\n \u5199\u65f6\u590d\u5236 (Copy-on-Write) + 256\u4f4d\u6821\u9a8c\u548c<\/td>\n Paxos\u5171\u8bc6\u7b97\u6cd5 + \u4e3b\u526f\u672c\u6a21\u578b + CRUSH\u6570\u636e\u5206\u5e03<\/td>\n<\/tr>\n \n\u200b\u200b\u6545\u969c\u6062\u590d\u200b\u200b<\/td>\n \u81ea\u6211\u4fee\u590d (\u901a\u8fc7\u6821\u9a8c\u548c\u81ea\u52a8\u4fee\u590d\u635f\u574f\u5757)<\/td>\n \u526f\u672c\u91cd\u5efa + PGLog\u65e5\u5fd7\u540c\u6b65<\/td>\n<\/tr>\n \n\u200b\u200b\u6570\u636e\u6a21\u578b\u200b\u200b<\/td>\n \u5757\u7ea7\u4e00\u81f4\u6027 (\u5b58\u50a8\u6c60\u5185)<\/td>\n \u5bf9\u8c61\u7ea7\u4e00\u81f4\u6027 (\u8de8OSD\u526f\u672c)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.7.2\u3001ZFS\u7684\u6570\u636e\u4e00\u81f4\u6027\u673a\u5236<\/h4>\n1. \u200b\u200b\u5199\u65f6\u590d\u5236 (CoW)\u200b\u200b<\/h5>\n\n- \u200b\u200b\u539f\u7406\u200b\u200b：\u6570\u636e\u4fee\u6539\u65f6\u4e0d\u8986\u76d6\u65e7\u5757，\u800c\u662f\u5206\u914d\u65b0\u5757\u5199\u5165，\u66f4\u65b0\u5143\u6570\u636e\u6307\u9488\u3002\u65e7\u6570\u636e\u4fdd\u7559\u81f3\u4e8b\u52a1\u63d0\u4ea4\u5b8c\u6210，\u786e\u4fdd\u5d29\u6e83\u65f6\u53ef\u56de\u6eda\u3002<\/li>\n
- \u200b\u200b\u4f18\u52bf\u200b\u200b：\u907f\u514d\u201c\u5199\u4e00\u534a\u201d\u95ee\u9898，\u4fdd\u8bc1\u539f\u5b50\u6027\u3002<\/li>\n
- \u200b\u200b\u4ee3\u4ef7\u200b\u200b：\u53ef\u80fd\u52a0\u5267\u788e\u7247\u5316（\u968f\u673a\u4fee\u6539\u5927\u6587\u4ef6\u540e\u987a\u5e8f\u8bfb\u6027\u80fd\u4e0b\u964d）\u3002<\/li>\n<\/ul>\n
2. \u200b\u200b\u7aef\u5230\u7aef\u6821\u9a8c\u548c\u200b\u200b<\/h5>\n\n- \u6bcf\u4e2a\u6570\u636e\u5757\u9644\u5e26256\u4f4d\u6821\u9a8c\u548c，\u8bfb\u53d6\u65f6\u81ea\u52a8\u9a8c\u8bc1\u3002\u82e5\u6821\u9a8c\u5931\u8d25，ZFS\u4ece\u5197\u4f59\u526f\u672c（\u5982RAID-Z\u955c\u50cf）\u6062\u590d\u6570\u636e\u3002<\/li>\n
- \u200b\u200b\u81ea\u6108\u80fd\u529b\u200b\u200b：\u4f9d\u8d56\u5b58\u50a8\u6c60\u7684\u5197\u4f59\u914d\u7f6e（\u5982\u955c\u50cf\u6216RAID-Z），\u65e0\u5197\u4f59\u5219\u4ec5\u62a5\u9519\u65e0\u6cd5\u4fee\u590d\u3002<\/li>\n<\/ul>\n
3. \u200b\u200b\u4e8b\u52a1\u7ec4\u63d0\u4ea4 (Transaction Groups)\u200b\u200b<\/h5>\n\n- \u5c06\u591a\u6b21\u5199\u5165\u5408\u5e76\u4e3a\u4e8b\u52a1\u7ec4，\u539f\u5b50\u63d0\u4ea4\u5230\u78c1\u76d8，\u51cf\u5c11\u5143\u6570\u636e\u66f4\u65b0\u5f00\u9500\u3002<\/li>\n<\/ul>\n
\n1.7.3\u3001Ceph\u7684\u6570\u636e\u4e00\u81f4\u6027\u673a\u5236<\/h4>\n1. \u200b\u200bPaxos\u5171\u8bc6\u7b97\u6cd5\u200b\u200b<\/h5>\n\n- \u200b\u200b\u4f5c\u7528\u8303\u56f4\u200b\u200b：\u7ba1\u7406Monitor\u96c6\u7fa4\u7684\u5143\u6570\u636e（\u5982OSD\u72b6\u6001\u3001CRUSH\u89c4\u5219）\u3002<\/li>\n
- \u200b\u200b\u6d41\u7a0b\u200b\u200b：\n
\n- Monitor\u8282\u70b9\u901a\u8fc7Paxos\u9009\u4e3eLeader，\u540c\u6b65\u96c6\u7fa4\u72b6\u6001\u53d8\u66f4\u3002<\/li>\n
- \u9700\u591a\u6570\u8282\u70b9\u786e\u8ba4\u66f4\u65b0，\u907f\u514d\u8111\u88c2（\u5982\u7f51\u7edc\u5206\u533a\u65f6\u6682\u505c\u670d\u52a1）\u3002<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
2. \u200b\u200b\u4e3b\u526f\u672c\u6a21\u578b (Primary-Replica)\u200b\u200b<\/h5>\n\n- \u200b\u200b\u5199\u5165\u6d41\u7a0b\u200b\u200b：\n
- \u5ba2\u6237\u7aef\u5411\u4e3bOSD\u53d1\u8d77\u5199\u8bf7\u6c42\u3002<\/li>\n
- \u4e3bOSD\u540c\u6b65\u6570\u636e\u5230\u526f\u672cOSD\u3002<\/li>\n
- \u6240\u6709\u526f\u672c\u786e\u8ba4\u540e\u8fd4\u56de\u5ba2\u6237\u7aef\u6210\u529f\u3002<\/li>\n<\/li>\n
- \u200b\u200b\u5f3a\u4e00\u81f4\u6027\u4fdd\u8bc1\u200b\u200b：\u6240\u6709\u526f\u672c\u5b8c\u6210\u5199\u5165\u624d\u786e\u8ba4，\u907f\u514d\u810f\u8bfb\u3002<\/li>\n<\/ul>\n
3. \u200b\u200bPGLog\u4e0e\u5f02\u5e38\u6062\u590d\u200b\u200b<\/h5>\n\n- \u200b\u200bPGLog\u200b\u200b：\u8bb0\u5f55\u5bf9\u8c61\u7248\u672c\u53f7，\u7528\u4e8e\u526f\u672c\u95f4\u540c\u6b65\u72b6\u6001\u3002<\/li>\n
- \u200b\u200b\u6545\u969c\u5904\u7406\u200b\u200b：\n
\n- OSD\u5b95\u673a\u540e，\u901a\u8fc7PGLog\u6bd4\u5bf9\u7f3a\u5931\u6570\u636e\u5e76\u91cd\u5efa\u3002<\/li>\n
- Scrubbing\u673a\u5236\u5b9a\u671f\u6821\u9a8c\u526f\u672c\u6570\u636e\u4e00\u81f4\u6027，\u81ea\u52a8\u4fee\u590d\u5dee\u5f02\u3002<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
- \n
- RAID 6（\u53cc\u76d8\u5bb9\u9519）\u2192 RAID 60（\u8de8\u9635\u5217\u5197\u4f59）\u2192 Erasure Coding（\u5206\u5e03\u5f0f\u64e6\u9664\u7801，\u5bb9\u5fcd\u591a\u8282\u70b9\u6545\u969c）<\/li>\n<\/ul>\n<\/li>\n
- \u200bCDP（\u6301\u7eed\u6570\u636e\u4fdd\u62a4）\u200b\u200b：
\n\u5b57\u8282\u7ea7\u5b9e\u65f6\u5907\u4efd（\u6062\u590d\u70b9\u95f4\u9694<1\u79d2），\u5982Dell PowerProtect\u7cfb\u5217<\/li>\n<\/ul>\n3. \u200b\u6027\u80fd\u52a0\u901f\u6280\u672f\u200b<\/h5>\n
graph LR
\n A[CPU] –>|NVMe over Fabrics| B[\u95ea\u5b58\u9635\u5217]
\n A –>|GPU Offload| C[AI\u6570\u636e\u5904\u7406]
\n B –>|RDMA\u7f51\u7edc| D[\u8ba1\u7b97\u8282\u70b9]
\n C –>|TensorRT\u52a0\u901f| E[\u6a21\u578b\u63a8\u7406]<\/p>\n4. \u200b\u667a\u80fd\u7ba1\u7406\u6280\u672f\u200b<\/h5>\n
- \n
- \u200b\u673a\u5668\u5b66\u4e60\u9884\u6d4b\u200b：
\nHPE InfoSight\u901a\u8fc710\u4ebf+\u4f20\u611f\u5668\u6570\u636e\u5206\u6790，\u63d0\u524d14\u5929\u9884\u6d4b\u786c\u76d8\u6545\u969c<\/li>\n - \u200b\u81ea\u52a8\u5316\u5206\u5c42\u5b58\u50a8\u200b：
\nNetApp FabricPool\u81ea\u52a8\u8fc1\u79fb\u51b7\u6570\u636e\u81f3\u5bf9\u8c61\u5b58\u50a8（\u6210\u672c\u964d60%）<\/li>\n<\/ul>\n
\n\u200b1.1.2\u3001\u6838\u5fc3\u786c\u4ef6\u90e8\u4ef6\u200b<\/h4>\n
\n
\u200b\u90e8\u4ef6\u200b\u200b\u6280\u672f\u89c4\u683c\u200b\u200b\u6027\u80fd\u5f71\u54cd\u200b<\/tr>\n \n\n \u200b\u5b58\u50a8\u63a7\u5236\u5668\u200b<\/td>\n \u591a\u6838ARM\/SoC\u82af\u7247（\u5982Marvell 98DX\u7cfb\u5217）<\/td>\n \u5904\u7406IOPS 200\u4e07+<\/td>\n<\/tr>\n \n \u200b\u95ea\u5b58\u6a21\u5757\u200b<\/td>\n NVMe SSD（U.2\/E1.S\u5f62\u6001）<\/td>\n \u5ef6\u8fdf<100\u03bcs，\u5e26\u5bbd32Gbps<\/td>\n<\/tr>\n \n \u200b\u5185\u5b58\u7f13\u5b58\u200b<\/td>\n 3D XPoint\/Optane\u6301\u4e45\u5185\u5b58<\/td>\n \u65ad\u7535\u6570\u636e\u4fdd\u62a4，\u901f\u5ea6\u6bd4SSD\u5feb1000\u500d<\/td>\n<\/tr>\n \n \u200b\u7f51\u7edc\u63a5\u53e3\u200b<\/td>\n 100GbE RoCEv2\/FC32G<\/td>\n RDMA\u52a0\u901f，\u96f6\u62f7\u8d1d\u4f20\u8f93<\/td>\n<\/tr>\n \n \u200b\u80cc\u677f\u67b6\u6784\u200b<\/td>\n PCIe 4.0 x16\u4ea4\u6362\u80cc\u677f<\/td>\n \u652f\u6301\u70ed\u63d2\u62d4NVMe\u6269\u5c55<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.1.3\u3001\u4e3b\u6d41\u5382\u5546\u8bbe\u8ba1\u65b9\u6cd5\u8bba\u200b<\/h4>\n
1. \u200bDell EMC PowerStore\u200b<\/h5>\n
- \n
- \u200b\u8bbe\u8ba1\u7406\u5ff5\u200b：\u5bb9\u5668\u5316\u5b58\u50a8\u64cd\u4f5c\u7cfb\u7edf<\/li>\n
- \u200b\u6838\u5fc3\u6280\u672f\u200b：\n
- \n
- \u200bAppsON\u6a21\u5f0f\u200b：\u76f4\u63a5\u5728\u5b58\u50a8\u8282\u70b9\u8fd0\u884c\u5e94\u7528\u5bb9\u5668（\u5982MongoDB）<\/li>\n
- \u200b\u52a8\u6001\u5f39\u6027\u5f15\u64ce\u200b：\u81ea\u52a8\u5e73\u8861\u6570\u636e\u5757\u4e0e\u6587\u4ef6\u670d\u52a1\u8d44\u6e90<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u786c\u4ef6\u521b\u65b0\u200b：
\n\u53cc\u7aef\u53e3NVMe SSD（\u5355\u76d8\u6545\u969c0\u5207\u6362\u65f6\u95f4）<\/li>\n<\/ul>\n2. \u200bHPE Alletra\u200b<\/h5>\n
- \n
- \u200b\u8bbe\u8ba1\u7406\u5ff5\u200b：\u4e91\u539f\u751f\u67b6\u6784<\/li>\n
- \u200b\u6838\u5fc3\u6280\u672f\u200b：\n
- \n
- \u200bData Services Cloud Console\u200b：\u7edf\u4e00\u4e91\u7ba1\u7406\u5e73\u53f0<\/li>\n
- \u200bAIOps\u5f15\u64ce\u200b：\u9884\u6d4b\u6027\u7ef4\u62a4\u51c6\u786e\u738799.5%<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u786c\u4ef6\u521b\u65b0\u200b：
\n\u6db2\u51b7\u673a\u7bb1（PUE<1.1）<\/li>\n<\/ul>\n3. \u200bNetApp AFF\u200b<\/h5>\n
- \n
- \u200b\u8bbe\u8ba1\u7406\u5ff5\u200b：\u95ea\u5b58\u4f18\u5316+\u4e91\u96c6\u6210<\/li>\n
- \u200b\u6838\u5fc3\u6280\u672f\u200b：\n
- \n
- \u200bONTAP WAFL\u6587\u4ef6\u7cfb\u7edf\u200b：\u5199\u65f6\u91cd\u5b9a\u5411（\u907f\u514d\u5199\u653e\u5927）<\/li>\n
- \u200bSnapMirror\u200b：\u79d2\u7ea7RPO\u8de8\u7ad9\u70b9\u590d\u5236<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u786c\u4ef6\u521b\u65b0\u200b：
\nStorageGRID\u5bf9\u8c61\u5b58\u50a8\u7f51\u5173（\u672c\u5730S3\u63a5\u53e3）<\/li>\n<\/ul>\n4. \u200bPure Storage FlashBlade\u200b<\/h5>\n
- \n
- \u200b\u8bbe\u8ba1\u7406\u5ff5\u200b：\u5168\u95ea\u5b58\u7edf\u4e00\u5b58\u50a8<\/li>\n
- \u200b\u6838\u5fc3\u6280\u672f\u200b：\n
- \n
- \u200bPurity\/\/FB\u200b：\u4e13\u4e3a\u6587\u4ef6\/\u5bf9\u8c61\u4f18\u5316\u7684\u64cd\u4f5c\u7cfb\u7edf<\/li>\n
- \u200bDirectFlash\u6a21\u5757\u200b：\u6d88\u9664SSD\u63a7\u5236\u5668\u74f6\u9888<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u786c\u4ef6\u521b\u65b0\u200b：
\n\u5200\u7247\u5f0f\u8bbe\u8ba1（\u5355\u673a\u67dc10PB\u5bb9\u91cf）<\/li>\n<\/ul>\n5. \u200b\u534e\u4e3aOceanStor\u200b<\/h5>\n
- \n
- \u200b\u8bbe\u8ba1\u7406\u5ff5\u200b：\u5168\u573a\u666f\u878d\u5408<\/li>\n
- \u200b\u6838\u5fc3\u6280\u672f\u200b：\n
- \n
- \u200bHyperMetro\u200b：\u53cc\u6d3b\u65b9\u6848（\u6545\u969c\u5207\u6362<1s）<\/li>\n
- \u200bSmartDedupe\u200b：\u5168\u5c40\u91cd\u5220（\u538b\u7f29\u6bd45:1）<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u786c\u4ef6\u521b\u65b0\u200b：
\n\u9cb2\u9e4f920\u82af\u7247+\u6607\u817eAI\u52a0\u901f\u5361<\/li>\n<\/ul>\n
\n1.1.4\u3001\u524d\u6cbf\u6280\u672f\u6f14\u8fdb\u200b<\/h4>\n
1. \u200b\u5b58\u50a8\u7ea7\u5185\u5b58（SCM）\u200b\u200b<\/h5>\n
- \n
- \u200bIntel Optane PMem\u200b：
\n\u5728PowerStore\u4e2d\u7528\u4f5c\u5199\u7f13\u5b58，IOPS\u63d0\u53474\u500d<\/li>\n - \u200bSamsung Z-SSD\u200b：
\n\u5ef6\u8fdf<10\u03bcs，\u7528\u4e8e\u534e\u4e3aOceanStor\u9ad8\u7aef\u9635\u5217<\/li>\n<\/ul>\n2. \u200bDPU\u667a\u80fd\u5378\u8f7d\u200b<\/h5>\n
- \n
- \u200bNVIDIA BlueField\u200b：
\n\u5728Pure Storage\u4e2d\u5b9e\u73b0\u52a0\u5bc6\/\u538b\u7f29\u786c\u4ef6\u52a0\u901f<\/li>\n - \u200bFungible DPU\u200b：
\n\u4e3aNetApp\u63d0\u4f9bTCP\/IP\u534f\u8bae\u5378\u8f7d<\/li>\n<\/ul>\n3. \u200b\u91cf\u5b50\u5b89\u5168\u5b58\u50a8\u200b<\/h5>\n
- \n
- \u200b\u534e\u4e3aOceanStor V6\u200b：
\n\u652f\u6301\u91cf\u5b50\u5bc6\u94a5\u5206\u53d1（QKD）\u52a0\u5bc6<\/li>\n - \u200bIBM FlashSystem\u200b：
\n\u683c\u5bc6\u7801\u5b66\u6297\u91cf\u5b50\u653b\u51fb\u52a0\u5bc6<\/li>\n<\/ul>\n
\n1.1.5\u3001\u9009\u578b\u51b3\u7b56\u77e9\u9635\u200b<\/h4>\n
\n
\u200b\u9700\u6c42\u573a\u666f\u200b\u200b\u63a8\u8350\u67b6\u6784\u200b\u200b\u4ee3\u8868\u4ea7\u54c1\u200b\u200b\u5173\u952e\u6307\u6807\u200b<\/tr>\n \n\n \u865a\u62df\u5316\u5e73\u53f0<\/td>\n \u5168\u95ea\u5b58\u7edf\u4e00\u5b58\u50a8<\/td>\n Dell PowerStore 5000<\/td>\n IOPS > 50\u4e07，\u5ef6\u8fdf<1ms<\/td>\n<\/tr>\n \n AI\u8bad\u7ec3<\/td>\n \u5e76\u884c\u6587\u4ef6\u5b58\u50a8<\/td>\n Pure FlashBlade \/\/S<\/td>\n \u5e26\u5bbd>100GB\/s<\/td>\n<\/tr>\n \n \u6df7\u5408\u4e91\u5f52\u6863<\/td>\n \u5bf9\u8c61\u5b58\u50a8\u7f51\u5173<\/td>\n NetApp StorageGRID<\/td>\n S3\u517c\u5bb9，\u6210\u672c<$0.01\/GB<\/td>\n<\/tr>\n \n \u8fb9\u7f18\u8ba1\u7b97\u8282\u70b9<\/td>\n \u8d85\u878d\u5408\u5b58\u50a8<\/td>\n HPE Edgeline EL8000<\/td>\n \u529f\u8017<500W，\u6297\u97075G<\/td>\n<\/tr>\n \n \u91d1\u878d\u6838\u5fc3\u4ea4\u6613<\/td>\n \u5168\u95ea\u5b58\u53cc\u6d3b\u5b58\u50a8<\/td>\n Huawei OceanStor Dorado<\/td>\n RPO=0，RTO<30s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.1.6\u3001\u8fd0\u7ef4\u5173\u952e\u6307\u6807\u200b<\/h4>\n
- \n
\u200b\u6027\u80fd\u4e09\u89d2\u200b：<\/p>\n
- \n
- IOPS（\u968f\u673a\u8bfb\u5199）：> 100\u4e07（\u5168\u95ea\u5b58）<\/li>\n
- \u5e26\u5bbd（\u987a\u5e8f\u8bfb\u5199）：> 40 GB\/s<\/li>\n
- \u5ef6\u8fdf：< 500 \u03bcs（NVMe\u9635\u5217）<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u53ef\u9760\u6027\u6307\u6807\u200b：<\/p>\n
- \n
- \u5e74\u6545\u969c\u7387（AFR）：< 0.5%<\/li>\n
- \u6570\u636e\u5b8c\u6574\u6027：99.999999999%（11\u4e2a9）<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u80fd\u6548\u6bd4\u200b：<\/p>\n
- \n
- \u6027\u80fd\/\u74e6\u7279：> 50,000 IOPS\/\u74e6<\/li>\n
- \u5b58\u50a8\u5bc6\u5ea6：> 1 PB\/U<\/li>\n<\/ul>\n<\/li>\n
\n\u603b\u7ed3：\u672a\u6765\u8d8b\u52bf<\/h4>\n
- \u200b\u5b58\u7b97\u4e00\u4f53\u67b6\u6784\u200b：\n
- \n
- Samsung SmartSSD（FPGA\u52a0\u901f）<\/li>\n
- ScaleFlux\u53ef\u8ba1\u7b97\u5b58\u50a8\u9a71\u52a8\u5668<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u5149\u5b50\u5b58\u50a8\u200b：\n
- \n
- IBM\u5149\u5b50\u5185\u5b58（\u5ef6\u8fdf\u964d\u81f3\u7eb3\u79d2\u7ea7）<\/li>\n<\/ul>\n<\/li>\n
- \u200bDNA\u5b58\u50a8\u200b：\n
- \n
- Microsoft Project Silica（\u73bb\u7483\u4ecb\u8d28\u5b58\u50a8\u4e07\u5e74）<\/li>\n<\/ul>\n<\/li>\n
\u5b58\u50a8\u670d\u52a1\u5668\u6b63\u4ece\u201c\u6570\u636e\u5bb9\u5668\u201d\u5411\u201c\u667a\u80fd\u6570\u636e\u5904\u7406\u5668\u201d\u6f14\u8fdb，\u5efa\u8bae\u5173\u6ce8\u5b58\u7b97\u878d\u5408\u4e0e\u91cf\u5b50\u5b89\u5168\u6280\u672f\u8def\u7ebf\u3002\u4f01\u4e1a\u9009\u578b\u9700\u5e73\u8861\u6027\u80fd\u9700\u6c42\u4e0eTCO（\u603b\u62e5\u6709\u6210\u672c），\u5168\u95ea\u5b58\u5316\u5df2\u6210\u4e3b\u6d41，\u6db2\u51b7\u4e0e\u518d\u751f\u80fd\u6e90\u4f9b\u7535\u5c06\u662f\u4e0b\u4e00\u4ee3\u7eff\u8272\u5b58\u50a8\u7684\u6838\u5fc3\u65b9\u5411\u3002<\/p>\n
1.2 \u5b58\u50a8\u534f\u8bae\u6df1\u5ea6\u89e3\u6790：iSCSI\u3001NVMe-oF\u3001FC\u3001NFS\u3001SMB\/CIFS\u3001pNFS\u3001S3\u3001Swift<\/h3>\n
\u5bf9\u4e3b\u6d41\u5b58\u50a8\u534f\u8bae\u7684\u5168\u9762\u6280\u672f\u5bf9\u6bd4，\u5305\u542b\u6838\u5fc3\u7b97\u6cd5\u5b9e\u73b0\u548c\u4ee3\u7801\u793a\u4f8b：<\/p>\n
\n1.2.1\u3001\u5757\u5b58\u50a8\u534f\u8bae\u5bf9\u6bd4<\/h4>\n
1. \u200biSCSI (Internet SCSI)\u200b\u200b<\/h5>\n
- \n
- \u200b\u6280\u672f\u539f\u7406\u200b：
\n\u901a\u8fc7TCP\/IP\u7f51\u7edc\u4f20\u8f93SCSI\u547d\u4ee4，\u5c06\u8fdc\u7a0b\u5b58\u50a8\u6620\u5c04\u4e3a\u672c\u5730\u5757\u8bbe\u5907<\/li>\n - \u200b\u6838\u5fc3\u7ec4\u4ef6\u200b：\n
- \n
- iSCSI Initiator（\u5ba2\u6237\u7aef）<\/li>\n
- iSCSI Target（\u5b58\u50a8\u7aef）<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u7b97\u6cd5\u5b9e\u73b0\u200b：\n
\/\/ iSCSI PDU\u5c01\u88c5\u4f2a\u4ee3\u7801
\nstruct iscsi_pdu {
\n uint8_t opcode; \/\/ SCSI\u547d\u4ee4\u7801
\n uint32_t data_len;
\n uint32_t itt; \/\/ Initiator\u4efb\u52a1\u6807\u7b7e
\n char data[0]; \/\/ SCSI CDB+\u6570\u636e
\n};<\/p>\nvoid send_scsi_command(struct scsi_cmd *cmd) {
\n struct iscsi_pdu *pdu = build_iscsi_pdu(cmd);
\n tcp_send(pdu, sizeof(*pdu) + cmd->data_len);
\n}\n<\/li>\n - \u200b\u4ee3\u7801\u793a\u4f8b\u200b（Linux\u914d\u7f6e）：\n
# \u53d1\u73b0\u76ee\u6807
\niscsiadm -m discovery -t st -p 192.168.1.100<\/p>\n# \u767b\u5f55\u76ee\u6807
\niscsiadm -m node -T iqn.2024-05.com.example:storage -p 192.168.1.100 -l\n<\/li>\n<\/ul>\n2. \u200bNVMe-oF (NVMe over Fabrics)\u200b\u200b<\/h5>\n
- \n
- \u200b\u6280\u672f\u539f\u7406\u200b：
\n\u901a\u8fc7RDMA\u6216TCP\u4f20\u8f93NVMe\u547d\u4ee4，\u5b9e\u73b0\u8d85\u4f4e\u5ef6\u8fdf\u8fdc\u7a0b\u8bbf\u95ee<\/li>\n - \u200b\u534f\u8bae\u5dee\u5f02\u200b：
\n\n
\u200b\u7279\u6027\u200b\u200bNVMe-oF RDMA\u200b\u200bNVMe-oF TCP\u200b<\/tr>\n \n\n \u200b\u5ef6\u8fdf\u200b<\/td>\n 5-10 \u03bcs<\/td>\n 50-100 \u03bcs<\/td>\n<\/tr>\n \n \u200bCPU\u5f00\u9500\u200b<\/td>\n \u6781\u4f4e（\u786c\u4ef6\u5378\u8f7d）<\/td>\n \u4e2d\u7b49<\/td>\n<\/tr>\n \n \u200b\u7f51\u7edc\u8981\u6c42\u200b<\/td>\n RoCE\/InfiniBand<\/td>\n \u6807\u51c6\u4ee5\u592a\u7f51<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/li>\n - \u200b\u7b97\u6cd5\u5b9e\u73b0\u200b：\n
\/\/ NVMe Submission Queue Entry
\nstruct nvme_sqe {
\n uint8_t opcode; \/\/ NVMe\u547d\u4ee4\u7801
\n uint16_t cid; \/\/ \u547d\u4ee4ID
\n uint64_t prp1; \/\/ \u6570\u636e\u9875\u6307\u9488
\n uint64_t prp2;
\n uint32_t nsid; \/\/ \u547d\u540d\u7a7a\u95f4ID
\n};<\/p>\n\/\/ RDMA\u4f20\u8f93\u6d41\u7a0b
\nvoid nvme_rdma_send(struct nvme_sqe *sqe) {
\n struct ibv_sge sge = { .addr = (uintptr_t)sqe, .length = sizeof(*sqe) };
\n struct ibv_send_wr wr = { .wr_id = cid, .sg_list = &sge, .num_sge = 1 };
\n ibv_post_send(qp, &wr, &bad_wr); \/\/ \u901a\u8fc7RDMA\u53d1\u9001
\n}\n<\/li>\n- \u200b\u90e8\u7f72\u793a\u4f8b\u200b：\n
# \u914d\u7f6eNVMe-oF\u76ee\u6807（\u5b58\u50a8\u7aef）
\nnvmetcli create \/subsystems\/nqn.2024-05.com.example:ssd
\nnvmetcli add \/subsystems\/nqn.2024-05.com.example:ssd\/namespaces\/1 -n 1 -b \/dev\/nvme0n1<\/p>\n# \u5ba2\u6237\u7aef\u8fde\u63a5
\nnvme connect -t rdma -n nqn.2024-05.com.example:ssd -a 192.168.1.100 -s 4420\n<\/li>\n<\/ul>\n3. \u200bFC (Fibre Channel)\u200b\u200b<\/h5>\n
- \n
- \u200b\u6280\u672f\u539f\u7406\u200b：
\n\u4e13\u7528\u5149\u7ea4\u901a\u9053\u7f51\u7edc\u4f20\u8f93SCSI\u534f\u8bae，\u4e0d\u7ecf\u8fc7TCP\/IP\u534f\u8bae\u6808<\/li>\n - \u200b\u6838\u5fc3\u7b97\u6cd5\u200b：\n
\/\/ FC\u5e27\u7ed3\u6784
\nstruct fc_frame {
\n uint8_t sof; \/\/ \u5e27\u8d77\u59cb\u7b26
\n fc_header_t header; \/\/ 24\u5b57\u8282\u5934
\n uint8_t payload[2112]; \/\/ \u6570\u636e\u8f7d\u8377
\n uint32_t crc;
\n uint8_t eof; \/\/ \u5e27\u7ed3\u675f\u7b26
\n};<\/p>\n\/\/ FCP（SCSI over FC）\u5c01\u88c5
\nvoid fcp_cmnd_scsi(struct scsi_cmd *cmd) {
\n struct fcp_cmnd fcp = {
\n .lun = cpu_to_be64(cmd->lun),
\n .cdb = cmd->cdb
\n };
\n send_fc_frame(&fcp, sizeof(fcp));
\n}\n<\/li>\n - \u200b\u914d\u7f6e\u793a\u4f8b\u200b：\n
# \u626b\u63cfFC\u76ee\u6807
\necho "0 0 0" > \/sys\/class\/fc_host\/host3\/issue_lip
\nrescan-scsi-bus.sh<\/p>\n# \u67e5\u770bFC\u8bbe\u5907
\nlsscsi -H\n<\/li>\n<\/ul>\n
\n1.2.2\u3001\u6587\u4ef6\u5b58\u50a8\u534f\u8bae\u5bf9\u6bd4<\/h4>\n
1. \u200bNFS (Network File System)\u200b\u200b<\/h5>\n
- \n
- \u200b\u7248\u672c\u6f14\u8fdb\u200b：
\n\n
\u200b\u7248\u672c\u200b\u200b\u7279\u6027\u200b\u200b\u6700\u5927\u6587\u4ef6\u200b\u200b\u8ba4\u8bc1\u65b9\u5f0f\u200b<\/tr>\n \n\n v3<\/td>\n \u65e0\u72b6\u6001\u534f\u8bae<\/td>\n 2GB<\/td>\n UNIX\u8ba4\u8bc1<\/td>\n<\/tr>\n \n v4<\/td>\n \u6709\u72b6\u6001\u534f\u8bae，\u590d\u5408\u64cd\u4f5c<\/td>\n 16EB<\/td>\n Kerberos<\/td>\n<\/tr>\n \n v4.1<\/td>\n \u5e76\u884c\u8bbf\u95ee（pNFS\u57fa\u7840）<\/td>\n 16EB<\/td>\n RPCSEC_GSS<\/td>\n<\/tr>\n \n v4.2<\/td>\n \u670d\u52a1\u5668\u7aef\u590d\u5236，\u7a7a\u95f4\u9884\u7559<\/td>\n 16EB<\/td>\n \u591a\u56e0\u7d20\u8ba4\u8bc1<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/li>\n - \u200b\u7b97\u6cd5\u5b9e\u73b0\u200b：\n
# NFSv3 READ RPC\u5904\u7406\u4f2a\u4ee3\u7801
\ndef handle_read(fh, offset, count):
\n inode = lookup_by_fh(fh) # \u901a\u8fc7\u6587\u4ef6\u53e5\u67c4\u67e5\u627einode
\n with open(inode.path, 'rb') as f:
\n f.seek(offset)
\n data = f.read(count)
\n return data\n<\/li>\n- \u200b\u90e8\u7f72\u793a\u4f8b\u200b：\n
# \u670d\u52a1\u5668\u7aef\u5bfc\u51fa
\n\/etc\/exports:
\n\/shared *(rw,sync,no_root_squash)<\/p>\n# \u5ba2\u6237\u7aef\u6302\u8f7d
\nmount -t nfs 192.168.1.100:\/shared \/mnt\n<\/li>\n<\/ul>\n2. \u200bSMB\/CIFS\u200b<\/h5>\n
- \n
- \u200b\u534f\u8bae\u5dee\u5f02\u200b：
\n\n
\u200b\u7279\u6027\u200b\u200bSMB1\u200b\u200bSMB2\/3\u200b<\/tr>\n \n\n \u200b\u6700\u5927\u6587\u4ef6\u200b<\/td>\n 4GB<\/td>\n 16TB（SMB2）\u21921PB（SMB3）<\/td>\n<\/tr>\n \n \u200b\u52a0\u5bc6\u200b<\/td>\n \u65e0<\/td>\n AES-128（SMB3）<\/td>\n<\/tr>\n \n \u200b\u591a\u901a\u9053\u200b<\/td>\n \u4e0d\u652f\u6301<\/td>\n \u652f\u6301（SMB3）<\/td>\n<\/tr>\n \n \u200bRDMA\u652f\u6301\u200b<\/td>\n \u65e0<\/td>\n SMB Direct（SMB3）<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/li>\n - \u200b\u6838\u5fc3\u7b97\u6cd5\u200b：\n
\/\/ SMB2 CREATE\u8bf7\u6c42\u5904\u7406
\nvoid smb2_create(struct smb2_request *req) {
\n char *filename = parse_filename(req->buffer);
\n int fd = open(filename, O_CREAT | O_RDWR, 0644);
\n struct smb2_file_id fid = allocate_fid(fd);
\n send_response(req, SMB2_CREATE_RESPONSE, &fid);
\n}\n<\/li>\n- \u200b\u914d\u7f6e\u793a\u4f8b（Samba）\u200b\u200b：\n
[global]
\nserver min protocol = SMB2
\nserver max protocol = SMB3<\/p>\n[shared]
\npath = \/srv\/samba
\nread only = no
\nvfs objects = acl_xattr\n<\/li>\n<\/ul>\n3. \u200bpNFS (Parallel NFS)\u200b\u200b<\/h5>\n
- \n
- \u200b\u67b6\u6784\u539f\u7406\u200b：\n
graph TD
\n Client –>|\u5143\u6570\u636e\u64cd\u4f5c| MDS[MDS\u670d\u52a1\u5668]
\n Client –>|\u6570\u636e\u8bfb\u5199| DS1[\u6570\u636e\u670d\u52a1\u56681]
\n Client –>|\u6570\u636e\u8bfb\u5199| DS2[\u6570\u636e\u670d\u52a1\u56682]
\n Client –>|\u6570\u636e\u8bfb\u5199| DS3[\u6570\u636e\u670d\u52a1\u56683]
\n MDS –>|\u5e03\u5c40\u4fe1\u606f| Client\n<\/li>\n - \u200b\u5e03\u5c40\u7c7b\u578b\u200b：\n
- \n
- \u200b\u6587\u4ef6\u5e03\u5c40\u200b：\u57fa\u4e8e\u6587\u4ef6\u7684\u5206\u7247\u5b58\u50a8<\/li>\n
- \u200b\u5757\u5e03\u5c40\u200b：\u76f4\u63a5\u8bbf\u95ee\u5757\u8bbe\u5907<\/li>\n
- \u200b\u5bf9\u8c61\u5e03\u5c40\u200b：\u517c\u5bb9S3\/Swift\u5bf9\u8c61\u5b58\u50a8<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u4ee3\u7801\u5b9e\u73b0\u200b：\n
\/\/ pNFS\u6587\u4ef6\u5e03\u5c40\u83b7\u53d6
\nstruct pnfs_layoutget_args args = {
\n .type = LAYOUT_FILE,
\n .range = { .offset = 0, .length = UINT64_MAX }
\n};
\nstruct pnfs_layoutget_res *res = nfs4_proc_layoutget(inode, &args);\n<\/li>\n<\/ul>\n
\n1.2.3\u3001\u5bf9\u8c61\u5b58\u50a8\u534f\u8bae\u5bf9\u6bd4<\/h4>\n
1. \u200bAmazon S3\u200b<\/h5>\n
- \n
- \u200b\u6838\u5fc3\u6982\u5ff5\u200b：\n
- \n
- Bucket：\u5b58\u50a8\u5bb9\u5668<\/li>\n
- Object：\u5305\u542b\u6570\u636e+\u5143\u6570\u636e\u7684\u5bf9\u8c61<\/li>\n
- Key：\u5bf9\u8c61\u552f\u4e00\u6807\u8bc6\u7b26<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u7b97\u6cd5\u5b9e\u73b0\u200b：\n
# S3 PUT\u5bf9\u8c61\u4f2a\u4ee3\u7801
\ndef put_object(bucket, key, data, metadata):
\n object_id = sha256(data) # \u5185\u5bb9\u54c8\u5e0c
\n replicas = []
\n for node in consistent_hash(key): # \u4e00\u81f4\u6027\u54c8\u5e0c\u9009\u62e9\u8282\u70b9
\n node.store(object_id, data)
\n replicas.append(node.id)<\/p>\n# \u5143\u6570\u636e\u5b58\u50a8
\n meta_db.insert({
\n 'bucket': bucket,
\n 'key': key,
\n 'object_id': object_id,
\n 'replicas': replicas,
\n 'metadata': metadata
\n })\n<\/li>\n - \u200bPython\u793a\u4f8b\u200b：\n
import boto3
\ns3 = boto3.client('s3', endpoint_url='https:\/\/s3.example.com')<\/p>\n# \u4e0a\u4f20\u6587\u4ef6
\ns3.upload_file('local.txt', 'mybucket', 'remote.txt')<\/p>\n# \u4e0b\u8f7d\u6587\u4ef6
\ns3.download_file('mybucket', 'remote.txt', 'downloaded.txt')\n<\/li>\n<\/ul>\n2. \u200bOpenStack Swift\u200b<\/h5>\n
- \n
- \u200b\u67b6\u6784\u7279\u70b9\u200b：\n
- \n
- \u200b\u73af（Ring）\u200b\u200b：\u865a\u62df\u8282\u70b9\u5230\u7269\u7406\u8bbe\u5907\u7684\u6620\u5c04<\/li>\n
- \u200b\u4ee3\u7406\u8282\u70b9\u200b：\u5904\u7406API\u8bf7\u6c42<\/li>\n
- \u200b\u5b58\u50a8\u8282\u70b9\u200b：\u5b9e\u9645\u5b58\u50a8\u6570\u636e<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u6570\u636e\u5206\u5e03\u7b97\u6cd5\u200b：\n
# Swift\u73af\u7684\u865a\u62df\u8282\u70b9\u5206\u914d
\nclass Ring:
\n def __init__(self, partitions, replicas):
\n self.partitions = 2**partitions
\n self.replicas = replicas
\n self.devs = []
\n self.part2dev = [None] * self.partitions<\/p>\ndef add_dev(self, dev):
\n self.devs.append(dev)
\n self._rebalance()<\/p>\ndef _rebalance(self):
\n for part in range(self.partitions):
\n candidates = []
\n for dev in self.devs:
\n weight = dev['weight']
\n # \u57fa\u4e8e\u5206\u533a\u548c\u8bbe\u5907\u6743\u91cd\u8ba1\u7b97
\n candidate = (hash(part, dev['id']), dev['id'])
\n candidates.append(candidate)
\n candidates.sort()
\n self.part2dev[part] = [dev_id for _, dev_id in candidates[:self.replicas]]\n<\/li>\n - \u200bSwift API\u793a\u4f8b\u200b：\n
# \u521b\u5efa\u5bb9\u5668
\ncurl -X PUT -H "X-Auth-Token: $TOKEN" $URL\/container<\/p>\n# \u4e0a\u4f20\u5bf9\u8c61
\ncurl -X PUT -T localfile.jpg -H "X-Auth-Token: $TOKEN" $URL\/container\/object.jpg\n<\/li>\n<\/ul>\n
\n1.2.4\u3001\u534f\u8bae\u7efc\u5408\u5bf9\u6bd4\u8868<\/h4>\n
\n
\u200b\u7279\u6027\u200b\u200biSCSI\u200b\u200bNVMe-oF\u200b\u200bFC\u200b\u200bNFS\u200b\u200bSMB\/CIFS\u200b\u200bpNFS\u200b\u200bS3\u200b\u200bSwift\u200b<\/tr>\n \n\n \u200b\u534f\u8bae\u7c7b\u578b\u200b<\/td>\n \u5757\u5b58\u50a8<\/td>\n \u5757\u5b58\u50a8<\/td>\n \u5757\u5b58\u50a8<\/td>\n \u6587\u4ef6\u5b58\u50a8<\/td>\n \u6587\u4ef6\u5b58\u50a8<\/td>\n \u6587\u4ef6\u5b58\u50a8<\/td>\n \u5bf9\u8c61\u5b58\u50a8<\/td>\n \u5bf9\u8c61\u5b58\u50a8<\/td>\n<\/tr>\n \n \u200b\u6700\u5927\u5ef6\u8fdf\u200b<\/td>\n 500 \u03bcs<\/td>\n 10 \u03bcs (RDMA)<\/td>\n 5 \u03bcs<\/td>\n 1 ms<\/td>\n 2 ms<\/td>\n 800 \u03bcs<\/td>\n 100 ms<\/td>\n 150 ms<\/td>\n<\/tr>\n \n \u200b\u6700\u5927\u5e26\u5bbd\u200b<\/td>\n 100 Gbps<\/td>\n 200 Gbps<\/td>\n 128 Gbps<\/td>\n 100 Gbps<\/td>\n 100 Gbps<\/td>\n 400 Gbps<\/td>\n \u4e0d\u9650<\/td>\n \u4e0d\u9650<\/td>\n<\/tr>\n \n \u200b\u6269\u5c55\u6027\u200b<\/td>\n \u4e2d\u7b49<\/td>\n \u9ad8<\/td>\n \u4e2d\u7b49<\/td>\n \u6709\u9650<\/td>\n \u4e2d\u7b49<\/td>\n \u6781\u9ad8<\/td>\n \u6781\u9ad8<\/td>\n \u6781\u9ad8<\/td>\n<\/tr>\n \n \u200b\u5178\u578b\u5e94\u7528\u200b<\/td>\n \u865a\u62df\u673a\u5b58\u50a8<\/td>\n AI\u8bad\u7ec3<\/td>\n \u4f01\u4e1aSAN<\/td>\n Unix\u5171\u4eab<\/td>\n Windows\u5171\u4eab<\/td>\n HPC<\/td>\n \u4e91\u5b58\u50a8<\/td>\n \u79c1\u6709\u4e91<\/td>\n<\/tr>\n \n \u200b\u6570\u636e\u4e00\u81f4\u6027\u200b<\/td>\n \u5f3a\u4e00\u81f4<\/td>\n \u5f3a\u4e00\u81f4<\/td>\n \u5f3a\u4e00\u81f4<\/td>\n \u4f1a\u8bdd\u4e00\u81f4<\/td>\n \u4f1a\u8bdd\u4e00\u81f4<\/td>\n \u5143\u6570\u636e\u5f3a\u4e00\u81f4<\/td>\n \u6700\u7ec8\u4e00\u81f4<\/td>\n \u5f3a\u4e00\u81f4<\/td>\n<\/tr>\n \n \u200b\u5b89\u5168\u673a\u5236\u200b<\/td>\n CHAP\/IPsec<\/td>\n TLS\/IPSec<\/td>\n FC-SP<\/td>\n Kerberos<\/td>\n SMB\u52a0\u5bc6<\/td>\n RPCSEC_GSS<\/td>\n IAM\/SSL<\/td>\n Keystone\/SSL<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.2.5\u3001\u6027\u80fd\u4f18\u5316\u6280\u672f<\/h4>\n
1. \u200b\u5757\u5b58\u50a8\u4f18\u5316\u200b<\/p>\n
- \n
- \u200biSCSI\u200b：\u542f\u7528TOE（TCP\u5378\u8f7d\u5f15\u64ce）\n
ethtool -K eth0 tx-checksumming on\n<\/li>\n
- \u200bNVMe-oF\u200b：\u4f7f\u7528RDMA CM（\u8fde\u63a5\u7ba1\u7406\u5668）\n
struct rdma_cm_id *id;
\nrdma_create_id(NULL, &id, NULL, RDMA_PS_TCP);
\nrdma_resolve_addr(id, src_addr, dst_addr, 2000);\n<\/li>\n<\/ul>\n2. \u200b\u6587\u4ef6\u534f\u8bae\u52a0\u901f\u200b<\/p>\n
- \n
- \u200bNFSv4.1+\u200b\u200b：\u4f1a\u8bdd\u6301\u4e45\u5316\n
mount -o vers=4.2,persist 192.168.1.100:\/share \/mnt\n<\/li>\n
- \u200bSMB Direct\u200b：\u542f\u7528RDMA\n
Set-SmbServerConfiguration -EnableSMBDirect $true\n<\/li>\n<\/ul>\n
3. \u200b\u5bf9\u8c61\u5b58\u50a8\u4f18\u5316\u200b<\/p>\n
- \n
- \u200bS3\u591a\u6bb5\u4e0a\u4f20\u200b：\n
s3.create_multipart_upload(Bucket='bucket', Key='largefile')
\n# \u4e0a\u4f20\u5206\u6bb5
\ns3.upload_part(Bucket='bucket', Key='largefile', PartNumber=1, UploadId=upload_id)
\n# \u5b8c\u6210\u4e0a\u4f20
\ns3.complete_multipart_upload(Bucket='bucket', Key='largefile', UploadId=upload_id)\n<\/li>\n - \u200bSwift\u4e00\u81f4\u6027\u54c8\u5e0c\u4f18\u5316\u200b：\n
# \u589e\u52a0\u865a\u62df\u8282\u70b9\u63d0\u5347\u5747\u8861\u6027
\nring = Ring(partitions=20, replicas=3)\n<\/li>\n<\/ul>\n
\n1.2.6\u3001\u5b89\u5168\u5b9e\u8df5<\/h4>\n
1. \u200b\u4f20\u8f93\u52a0\u5bc6\u200b<\/p>\n
- \n
- \u200biSCSI\/NVMe-oF\u200b：IPsec\u96a7\u9053\n
# \u914d\u7f6eIPsec\u7b56\u7565
\nip xfrm state add src 192.168.1.100 dst 192.168.1.200 proto esp spi 0x1000 enc aes 0x001122…\n<\/li>\n - \u200bS3\/Swift\u200b：HTTPS\u5f3a\u5236\n
s3 = boto3.client('s3', use_ssl=True)\n<\/li>\n<\/ul>\n
2. \u200b\u8ba4\u8bc1\u6388\u6743\u200b<\/p>\n
- \n
- \u200bFC\u200b：\u5149\u7ea4\u901a\u9053\u5206\u533a\n
# \u914d\u7f6e\u5206\u533a
\nzonecreate "zone1", "20:00:00:25:b5:00:00:01; 21:00:00:24:ff:45:11:01"\n<\/li>\n - \u200bS3\u200b：IAM\u7b56\u7565\n
{
\n "Version": "2012-10-17",
\n "Statement": [{
\n "Effect": "Allow",
\n "Action": "s3:GetObject",
\n "Resource": "arn:aws:s3:::mybucket\/*"
\n }]
\n}\n<\/li>\n<\/ul>\n
\n\u603b\u7ed3\u4e0e\u9009\u578b\u5efa\u8bae<\/p>\n
- \n
\u200b\u9ad8\u6027\u80fd\u5757\u5b58\u50a8\u200b：<\/p>\n
- \n
- \n
\u8d85\u4f4e\u5ef6\u8fdf：FC > NVMe-oF RDMA > iSCSI<\/p>\n<\/li>\n
- \n
\u6210\u672c\u6548\u76ca：NVMe-oF TCP > iSCSI > FC<\/p>\n<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u6587\u4ef6\u5171\u4eab\u200b：<\/p>\n
- \n
- \n
Linux\u73af\u5883：NFSv4.2（\u652f\u6301ACL\/\u9501）<\/p>\n<\/li>\n
- \n
Windows\u73af\u5883：SMB3（\u652f\u6301\u591a\u901a\u9053）<\/p>\n<\/li>\n
- \n
HPC\u573a\u666f：pNFS（\u5e76\u884c\u8bbf\u95ee）<\/p>\n<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u4e91\u5b58\u50a8\u200b：<\/p>\n
- \n
- \n
\u516c\u6709\u4e91：Amazon S3（\u751f\u6001\u4e30\u5bcc）<\/p>\n<\/li>\n
- \n
\u79c1\u6709\u4e91：OpenStack Swift（\u5f00\u6e90\u53ef\u63a7）<\/p>\n<\/li>\n
- \n
\u6df7\u5408\u4e91：S3\u517c\u5bb9API（MinIO\/Ceph）<\/p>\n<\/li>\n<\/ul>\n<\/li>\n
\u200b\u5173\u952e\u8d8b\u52bf\u200b：NVMe-oF\u6b63\u5728\u53d6\u4ee3FC\u6210\u4e3a\u9ad8\u6027\u80fd\u5757\u5b58\u50a8\u65b0\u6807\u51c6，SMB3\u548cNFSv4.2\u5728\u6587\u4ef6\u5b58\u50a8\u9886\u57df\u6301\u7eed\u6f14\u8fdb，\u5bf9\u8c61\u5b58\u50a8\u901a\u8fc7S3 API\u6210\u4e3a\u4e91\u539f\u751f\u5b58\u50a8\u4e8b\u5b9e\u6807\u51c6\u3002\u5b9e\u9645\u9009\u578b\u9700\u7ed3\u5408\u6027\u80fd\u9700\u6c42\u3001\u6210\u672c\u9884\u7b97\u548c\u751f\u6001\u517c\u5bb9\u6027\u7efc\u5408\u8003\u91cf\u3002<\/p>\n<\/p>\n
1.3\u00a0\u57fa\u4e8eCeph\u548cZFS\u7684\u81ea\u52a8\u5316\u5b58\u50a8\u5206\u5c42\u5177\u4f53\u914d\u7f6e\u793a\u4f8b<\/h3>\n
\u57fa\u4e8eCeph\u548cZFS\u7684\u81ea\u52a8\u5316\u5b58\u50a8\u5206\u5c42\u5177\u4f53\u914d\u7f6e\u793a\u4f8b，\u7ed3\u5408\u6027\u80fd\u4f18\u5316\u4e0e\u6210\u672c\u63a7\u5236\u9700\u6c42，\u9002\u7528\u4e8e\u4f01\u4e1a\u7ea7\u751f\u4ea7\u73af\u5883：<\/p>\n
\n1.3.1\u3001Ceph\u5206\u5c42\u5b58\u50a8\u914d\u7f6e（SSD\u7f13\u5b58+HDD\u4e3b\u5b58）\u200b\u200b<\/h4>\n
\u200b\u200b1. \u57fa\u7840\u73af\u5883\u51c6\u5907\u200b\u200b<\/h5>\n
# \u521b\u5efaCRUSH\u89c4\u5219\u533a\u5206\u8bbe\u5907\u7c7b\u578b
\nceph osd crush rule create-replicated ssd-rule default host osd-class ssd # SSD\u7f13\u5b58\u5c42\u89c4\u5219
\nceph osd crush rule create-replicated hdd-rule default host osd-class hdd # HDD\u5b58\u50a8\u5c42\u89c4\u5219 <\/p>\n\u200b\u200b2. \u5b58\u50a8\u6c60\u521b\u5efa\u4e0e\u5173\u8054\u200b\u200b<\/h5>\n
# \u521b\u5efaSSD\u7f13\u5b58\u6c60（\u9ad8\u6027\u80fd\u5c42）
\nceph osd pool create ssd-cache 128 128 replicated ssd-rule
\n# \u521b\u5efaHDD\u5b58\u50a8\u6c60（\u7ecf\u6d4e\u5c42）
\nceph osd pool create hdd-storage 256 256 replicated hdd-rule<\/p>\n# \u8bbe\u7f6e\u7f13\u5b58\u5c42\u6a21\u5f0f\u4e3aWriteback（\u652f\u6301\u8bfb\u5199\u52a0\u901f）
\nceph osd tier add hdd-storage ssd-cache # \u5173\u8054\u5b58\u50a8\u6c60\u4e0e\u7f13\u5b58\u6c60
\nceph osd tier cache-mode ssd-cache writeback # \u5199\u56de\u6a21\u5f0f（\u70ed\u6570\u636e\u6682\u5b58SSD）
\nceph osd tier set-overlay hdd-storage ssd-cache # \u91cd\u5b9a\u5411\u6d41\u91cf\u5230\u7f13\u5b58\u5c42<\/p>\n\u200b\u200b3. \u7f13\u5b58\u7b56\u7565\u7cbe\u7ec6\u5316\u914d\u7f6e\u200b\u200b<\/h5>\n
# \u542f\u7528Bloom Filter\u8ffd\u8e2a\u8bbf\u95ee\u9891\u7387
\nceph osd pool set ssd-cache hit_set_type bloom
\nceph osd pool set ssd-cache hit_set_count 24 # \u4fdd\u755924\u4e2a\u5386\u53f2\u8bbf\u95ee\u8bb0\u5f55
\nceph osd pool set ssd-cache hit_set_period 600 # \u6bcf10\u5206\u949f\u66f4\u65b0\u4e00\u6b21\u70ed\u5ea6<\/p>\n# \u8bbe\u7f6e\u7f13\u5b58\u6c34\u4f4d\u7ebf\u4e0e\u6dd8\u6c70\u673a\u5236
\nceph osd pool set ssd-cache target_max_bytes 1T # \u7f13\u5b58\u6c60\u6700\u5927\u5bb9\u91cf1TB
\nceph osd pool set ssd-cache cache_target_dirty_ratio 0.4 # \u810f\u6570\u636e\u8d8540%\u89e6\u53d1\u5237\u5199
\nceph osd pool set ssd-cache cache_target_full_ratio 0.8 # \u7a7a\u95f4\u4f7f\u7528\u8d8580%\u89e6\u53d1\u6dd8\u6c70 <\/p>\n\u200b\u200b4. \u6027\u80fd\u8c03\u4f18\u53c2\u6570\u200b\u200b<\/h5>\n
# \u4f18\u5316SSD\u7f13\u5b58\u6c60I\/O\u80fd\u529b
\nceph config set osd bluestore_cache_size_ssd 4G # \u6bcf\u4e2aOSD\u5206\u914d4GB\u5185\u5b58\u7f13\u5b58
\nceph config set osd osd_op_num_shards 16 # \u589e\u52a0\u5e76\u53d1\u5904\u7406\u7ebf\u7a0b
\nceph config set osd osd_recovery_max_active 8 # \u63d0\u5347\u540e\u53f0\u6570\u636e\u540c\u6b65\u901f\u5ea6<\/p>\n
\n1.3.2\u3001ZFS\u5206\u5c42\u5b58\u50a8\u914d\u7f6e（SSD\u52a0\u901f+HDD\u5f52\u6863）\u200b\u200b<\/h4>\n
\u200b\u200b1. \u5b58\u50a8\u6c60\u4e0e\u6587\u4ef6\u7cfb\u7edf\u5206\u5c42\u200b\u200b<\/h5>\n
# \u521b\u5efa\u4e3b\u5b58\u50a8\u6c60（HDD\u4e3a\u57fa\u7840）
\nzpool create tank raidz2 \/dev\/sd[b-e] # HDD\u7ec4\u6210RAIDZ2\u5197\u4f59 <\/p>\n# \u6dfb\u52a0SSD\u4f5c\u4e3a\u7f13\u5b58\u8bbe\u5907
\nzpool add tank cache \/dev\/nvme0n1 # L2ARC\u8bfb\u7f13\u5b58\u52a0\u901f
\nzpool add tank log \/dev\/nvme0n2 # ZIL\u5199\u65e5\u5fd7\u52a0\u901f <\/p>\n# \u521b\u5efa\u5206\u5c42\u6587\u4ef6\u7cfb\u7edf\u7ed3\u6784
\nzfs create tank\/hot_data # \u70ed\u6570\u636e\u5c42（\u5e38\u8bbf\u95ee）
\nzfs create tank\/cold_data # \u51b7\u6570\u636e\u5c42（\u5f52\u6863）<\/p>\n\u200b\u200b2. \u6570\u636e\u8fc1\u79fb\u7b56\u7565\u81ea\u52a8\u5316\u200b\u200b<\/h5>\n
# \u70ed\u6570\u636e\u5c42\u914d\u7f6e（SSD\u4f18\u5148）
\nzfs set primarycache=all tank\/hot_data # \u5143\u6570\u636e+\u6570\u636e\u5747\u7f13\u5b58\u5230SSD
\nzfs set compression=lz4 tank\/hot_data # \u542f\u7528\u5b9e\u65f6\u538b\u7f29\u51cf\u5c11I\/O\u538b\u529b <\/p>\n# \u51b7\u6570\u636e\u5c42\u914d\u7f6e（HDD\u5b58\u50a8）
\nzfs set primarycache=metadata tank\/cold_data # \u4ec5\u7f13\u5b58\u5143\u6570\u636e\u5230SSD
\nzfs set compression=gzip-9 tank\/cold_data # \u9ad8\u538b\u7f29\u6bd4\u8282\u7701\u7a7a\u95f4<\/p>\n# \u81ea\u52a8\u8fc1\u79fb\u811a\u672c（\u6309\u8bbf\u95ee\u65f6\u95f4\u79fb\u52a8\u6570\u636e）
\n0 2 * * * zfs list -H -o name -t filesystem | grep tank\/ | xargs -I{} zfs diff {} | awk '$1=="-" {print $2}' | xargs mv -t \/tank\/cold_data\/ # \u6bcf\u65e5\u51cc\u6668\u8fc1\u79fb30\u5929\u672a\u8bbf\u95ee\u6587\u4ef6 <\/p>\n
\n1.3.3\u3001\u65b9\u6848\u5bf9\u6bd4\u4e0e\u9009\u578b\u5efa\u8bae\u200b\u200b<\/h4>\n
\n
\u200b\u200b\u7ef4\u5ea6\u200b\u200b\u200b\u200bCeph\u65b9\u6848\u200b\u200b\u200b\u200bZFS\u65b9\u6848\u200b\u200b<\/tr>\n \n\n \u200b\u200b\u9002\u7528\u573a\u666f\u200b\u200b<\/td>\n \u591a\u8282\u70b9\u5206\u5e03\u5f0f\u73af\u5883（3+\u8282\u70b9）<\/td>\n \u5355\u673a\/\u53cc\u63a7\u5b58\u50a8\u670d\u52a1\u5668<\/td>\n<\/tr>\n \n \u200b\u200b\u81ea\u52a8\u5316\u7a0b\u5ea6\u200b\u200b<\/td>\n \u5168\u81ea\u52a8（\u5185\u7f6e\u70ed\u5ea6\u8ffd\u8e2a）<\/td>\n \u534a\u81ea\u52a8（\u9700\u811a\u672c\u8f85\u52a9）<\/td>\n<\/tr>\n \n \u200b\u200b\u6027\u80fd\u74f6\u9888\u200b\u200b<\/td>\n \u7f51\u7edc\u5ef6\u8fdf & OSD\u5904\u7406\u80fd\u529b<\/td>\n \u5355\u673aCPU & \u5185\u5b58\u5e26\u5bbd<\/td>\n<\/tr>\n \n \u200b\u200b\u6269\u5bb9\u7075\u6d3b\u6027\u200b\u200b<\/td>\n \u52a8\u6001\u6dfb\u52a0OSD\u8282\u70b9<\/td>\n \u9700\u505c\u673a\u6269\u5c55\u786c\u76d8<\/td>\n<\/tr>\n \n \u200b\u200b\u5178\u578b\u5e94\u7528\u200b\u200b<\/td>\n \u4e91\u5e73\u53f0\u5757\u5b58\u50a8(RBD)\u3001\u5bf9\u8c61\u5b58\u50a8(RGW)<\/td>\n \u865a\u62df\u5316\u5e73\u53f0(NFS\/iSCSI)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.3.4\u3001\u5173\u952e\u9a8c\u8bc1\u4e0e\u76d1\u63a7\u547d\u4ee4\u200b\u200b<\/h4>\n
\u200b\u200bCeph\u96c6\u7fa4\u72b6\u6001\u68c0\u67e5\u200b\u200b<\/h5>\n
# \u67e5\u770b\u7f13\u5b58\u6c60\u547d\u4e2d\u7387
\nceph osd pool stats ssd-cache | grep hit_set_ratio # >0.7\u4e3a\u6709\u6548 <\/p>\n# \u76d1\u63a7\u6570\u636e\u8fc1\u79fb\u72b6\u6001
\nceph -s | grep tier # \u786e\u4fdd\u65e0"degraded"\u6216"stuck"\u72b6\u6001 <\/p>\n\u200b\u200bZFS\u5206\u5c42\u6548\u679c\u9a8c\u8bc1\u200b\u200b<\/h5>\n
# \u67e5\u770bSSD\u7f13\u5b58\u5229\u7528\u7387
\nzpool iostat -v tank 1 # \u89c2\u5bdfL2ARC\u8bfb\u5199\u547d\u4e2d\u7387（Hit% >60%\u4e3a\u4f18）<\/p>\n# \u51b7\u70ed\u6570\u636e\u5206\u5e03\u786e\u8ba4
\nzfs list -r -o name,used,avail,refer,mountpoint tank # \u68c0\u67e5cold_data\u5360\u6bd4\u6301\u7eed\u589e\u957f <\/p>\n
\n\u603b\u7ed3\u5efa\u8bae\u200b\u200b<\/h4>\n
- \n
- \u200b\u200b\u5206\u5e03\u5f0f\u4e91\u73af\u5883\u200b\u200b：\u9009\u62e9Ceph\u65b9\u6848，\u901a\u8fc7writeback\u6a21\u5f0f+bloom\u8fc7\u6ee4\u5668\u5b9e\u73b0\u5168\u81ea\u52a8\u5206\u5c42，\u914d\u5408RADOS Gateway\u53ef\u76f4\u63a5\u5bf9\u63a5S3\u534f\u8bae\u5e94\u7528 \u3002<\/li>\n
- \u200b\u200b\u9ad8\u6027\u80fd\u5355\u673a\u5b58\u50a8\u200b\u200b：\u91c7\u7528ZFS\u65b9\u6848，\u901a\u8fc7L2ARC\/ZIL\u52a0\u901f\u5c42+\u5b9a\u65f6\u8fc1\u79fb\u811a\u672c，\u6210\u672c\u66f4\u4f4e\u4e14\u6613\u4e8e\u7ef4\u62a4 \u3002<\/li>\n
- \u200b\u200b\u6df7\u5408\u67b6\u6784\u6269\u5c55\u200b\u200b：\u8d85\u5927\u89c4\u6a21\u573a\u666f\u53ef\u7ed3\u5408\u4e24\u8005\u2014\u2014Ceph\u96c6\u7fa4\u5185\u7528SSD\u7f13\u5b58\u6c60，\u5355\u4e2a\u8282\u70b9\u5185\u7528ZFS\u8fdb\u4e00\u6b65\u5206\u5c42，\u5b9e\u73b0\u201c\u96c6\u7fa4\u7ea7+\u8282\u70b9\u7ea7\u201d\u53cc\u5c42\u4f18\u5316 \u3002<\/li>\n<\/ul>\n
\u26a0\ufe0f \u200b\u200b\u5173\u952e\u6ce8\u610f\u4e8b\u9879\u200b\u200b：<\/p>\n
- \n
- Ceph\u7684writeback\u6a21\u5f0f\u9700\u914d\u7f6eUPS\u9632\u6b62\u7f13\u5b58\u6570\u636e\u4e22\u5931 ；<\/li>\n
- ZFS\u7684L2ARC\u8bbe\u5907\u5bb9\u91cf\u5efa\u8bae\u4e3a\u4e3b\u5b58\u768410%~20%\u4ee5\u907f\u514d\u5185\u5b58\u7d22\u5f15\u6ea2\u51fa \u3002<\/li>\n<\/ul>\n
1.4 ZFS\u5206\u5c42\u5b58\u50a8<\/h3>\n
\u5728ZFS\u5206\u5c42\u5b58\u50a8\u4e2d，ZFS\u672c\u8eab\u200b\u200b\u4e0d\u76f4\u63a5\u63d0\u4f9b\u57fa\u4e8e\u65f6\u95f4\u9608\u503c\u7684\u81ea\u52a8\u6570\u636e\u8fc1\u79fb\u529f\u80fd\u200b\u200b，\u4f46\u53ef\u901a\u8fc7\u7ed3\u5408\u200b\u200b\u8bbf\u95ee\u65f6\u95f4\u5c5e\u6027（atime）\u200b\u200b\u3001\u200b\u200b\u81ea\u5b9a\u4e49\u811a\u672c\u200b\u200b\u53ca\u200b\u200b\u5b9a\u65f6\u4efb\u52a1\u200b\u200b\u5b9e\u73b0\u7c7b\u4f3c\u6548\u679c\u3002<\/p>\n
\n1.4.1\u3001\u6838\u5fc3\u673a\u5236：\u57fa\u4e8e\u8bbf\u95ee\u65f6\u95f4（atime）\u7684\u8fc1\u79fb\u200b\u200b<\/h4>\n
ZFS\u6587\u4ef6\u7684atime\u5c5e\u6027\u8bb0\u5f55\u6700\u540e\u8bbf\u95ee\u65f6\u95f4，\u901a\u8fc7\u5b9a\u671f\u626b\u63cf\u5e76\u8fc1\u79fb\u957f\u65f6\u95f4\u672a\u8bbf\u95ee\u7684\u6570\u636e，\u53ef\u5b9e\u73b0\u51b7\u70ed\u6570\u636e\u5206\u5c42：<\/p>\n
- \n
\u200b\u200b\u542f\u7528atime\u8ffd\u8e2a\u200b\u200b
\n\u786e\u4fdd\u6587\u4ef6\u7cfb\u7edf\u7684atime\u5c5e\u6027\u4e3aon（\u9ed8\u8ba4\u5f00\u542f）：<\/p>\nzfs set atime=on tank\/hot_data # \u786e\u4fdd\u70ed\u6570\u636e\u5c42\u8bb0\u5f55\u8bbf\u95ee\u65f6\u95f4<\/p>\n
\u82e5\u5df2\u7981\u7528，\u9700\u663e\u5f0f\u5f00\u542f\u3002<\/p>\n<\/li>\n
- \n
\u200b\u200b\u5b9a\u4e49\u65f6\u95f4\u9608\u503c\u200b\u200b
\n\u6839\u636e\u4e1a\u52a1\u9700\u6c42\u8bbe\u5b9a\u51b7\u6570\u636e\u5224\u5b9a\u9608\u503c（\u598230\u5929\u672a\u8bbf\u95ee）：<\/p>\nCOLD_THRESHOLD=$((30 * 24 * 60 * 60)) # 30\u5929\u5bf9\u5e94\u7684\u79d2\u6570\n<\/li>\n
\n1.4.2\u3001\u81ea\u52a8\u5316\u8fc1\u79fb\u811a\u672c\u5b9e\u73b0\u200b\u200b<\/h4>\n
\u901a\u8fc7\u811a\u672c\u626b\u63cfatime\u5e76\u8fc1\u79fb\u6ee1\u8db3\u9608\u503c\u7684\u6570\u636e\u81f3\u51b7\u5b58\u50a8\u5c42：<\/p>\n
#!\/bin\/bash
\n# \u8fc1\u79fb\u811a\u672c\u793a\u4f8b：\u5c06\u8d85\u8fc730\u5929\u672a\u8bbf\u95ee\u7684\u6587\u4ef6\u4ecehot_data\u79fb\u81f3cold_data
\nHOT_DIR="\/tank\/hot_data"
\nCOLD_DIR="\/tank\/cold_data"
\nTHRESHOLD_SECONDS=$((30 * 86400)) # 30\u5929\u79d2\u6570<\/p>\n# \u67e5\u627e\u5e76\u8fc1\u79fb\u6587\u4ef6
\nfind "$HOT_DIR" -type f -atime +$THRESHOLD_SECONDS -exec sh -c '
\n file="$1"
\n dest_dir="$2\/$(dirname "${file#$3}")"
\n mkdir -p "$dest_dir"
\n mv "$file" "$dest_dir\/"
\n' _ {} "$COLD_DIR" "$HOT_DIR" \\\\;<\/p>\n\u200b\u200b\u5173\u952e\u53c2\u6570\u8bf4\u660e\u200b\u200b：<\/p>\n
- \n
- -atime +30：\u5339\u914d\u8d85\u8fc730\u5929\u672a\u8bbf\u95ee\u7684\u6587\u4ef6（+N\u8868\u793a\u5927\u4e8eN\u5929）\u3002<\/li>\n
- \u811a\u672c\u9700\u6839\u636e\u5b9e\u9645\u8def\u5f84\u8c03\u6574HOT_DIR\u3001COLD_DIR\u53ca\u8fc1\u79fb\u903b\u8f91（\u5982\u4fdd\u7559\u76ee\u5f55\u7ed3\u6784）\u3002<\/li>\n<\/ul>\n
\n1.4.3\u3001\u5b9a\u65f6\u4efb\u52a1\u96c6\u6210\u200b\u200b<\/h4>\n
\u901a\u8fc7cron\u5b9a\u671f\u6267\u884c\u8fc1\u79fb\u811a\u672c（\u5982\u6bcf\u65e5\u51cc\u66682\u70b9）：<\/p>\n
# \u7f16\u8f91crontab
\ncrontab -e<\/p>\n\u6dfb\u52a0\u4efb\u52a1：<\/p>\n
0 2 * * * \/path\/to\/migration_script.sh # \u6bcf\u65e5\u51cc\u66682\u70b9\u6267\u884c\u8fc1\u79fb<\/p>\n
\n1.4.4\u3001\u6027\u80fd\u4f18\u5316\u4e0e\u6ce8\u610f\u4e8b\u9879\u200b\u200b<\/h4>\n
- \n
\u200b\u200b\u964d\u4f4eatime\u66f4\u65b0\u5f00\u9500\u200b\u200b
\n\u82e5I\/O\u538b\u529b\u5927，\u53ef\u6539\u7528relatime（\u4ec5\u5f53\u4e0a\u6b21\u8bbf\u95ee\u65e9\u4e8e\u4fee\u6539\u65f6\u66f4\u65b0atime）：<\/p>\nzfs set relatime=on tank\/hot_data # \u5e73\u8861\u51c6\u786e\u6027\u4e0e\u6027\u80fd\n<\/li>\n
- \n
\u200b\u200b\u89c4\u907f\u9891\u7e41\u626b\u63cf\u5f71\u54cd\u200b\u200b<\/p>\n
- \n
- \u9650\u5236find\u547d\u4ee4\u6df1\u5ea6：-maxdepth 3\u51cf\u5c11\u904d\u5386\u6587\u4ef6\u91cf\u3002<\/li>\n
- \u907f\u5f00\u4e1a\u52a1\u9ad8\u5cf0：\u901a\u8fc7cron\u8bbe\u7f6e\u5728\u4f4e\u8d1f\u8f7d\u65f6\u6bb5\u6267\u884c\u3002<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u200b\u51b7\u6570\u636e\u5c42\u4f18\u5316\u914d\u7f6e\u200b\u200b
\n\u4e3a\u51b7\u6570\u636e\u542f\u7528\u9ad8\u538b\u7f29\u6bd4（\u5982gzip-9），\u5173\u95ed\u5197\u4f59\u7f13\u5b58：<\/p>\nzfs set compression=gzip-9 tank\/cold_data
\nzfs set primarycache=metadata tank\/cold_data # \u4ec5\u7f13\u5b58\u5143\u6570\u636e\n<\/li>\n
\n1.4.5\u3001\u66ff\u4ee3\u65b9\u6848：\u7b2c\u4e09\u65b9\u5de5\u5177\u200b\u200b<\/h4>\n
\u82e5\u9700\u66f4\u7cbe\u7ec6\u7b56\u7565（\u5982\u57fa\u4e8e\u70ed\u5ea6\u8bc4\u5206），\u53ef\u96c6\u6210\u76d1\u63a7\u5de5\u5177：<\/p>\n
- \n
- \u200b\u200bZFS Automatic Tiering (ZAT)\u200b\u200b：\u6839\u636eI\/O\u9891\u7387\u81ea\u52a8\u8fc1\u79fb\u6570\u636e\u3002<\/li>\n
- \u200b\u200bPrometheus + ZFS Exporter\u200b\u200b：\u76d1\u63a7\u8bbf\u95ee\u6a21\u5f0f\u540e\u89e6\u53d1\u81ea\u5b9a\u4e49\u8fc1\u79fb\u89c4\u5219\u3002<\/li>\n<\/ul>\n
\n1.4.6\u3001\u6ce8\u610f\u4e8b\u9879\u200b\u200b<\/h4>\n
- \u200b\u200b\u5feb\u7167\u5f71\u54cd\u200b\u200b：\u5feb\u7167\u4f1a\u4fdd\u7559\u65e7\u6570\u636e\u5757，\u8fc1\u79fb\u540e\u539f\u4f4d\u7f6e\u6570\u636e\u4ecd\u5b58\u5728\u4e8e\u5feb\u7167\u4e2d，\u9700\u989d\u5916\u6e05\u7406\u65e7\u5feb\u7167\u3002<\/li>\n
- \u200b\u200b\u6743\u9650\u4e00\u81f4\u6027\u200b\u200b：\u786e\u4fdd\u51b7\u70ed\u6570\u636e\u5c42\u6302\u8f7d\u70b9\u6743\u9650\u76f8\u540c，\u907f\u514d\u8fc1\u79fb\u540e\u8bbf\u95ee\u5931\u8d25\u3002<\/li>\n
- \u200b\u200b\u6d4b\u8bd5\u9a8c\u8bc1\u200b\u200b：\u9996\u6b21\u6267\u884c\u524d\u7528find -print\u66ff\u4ee3-exec\u9884\u89c8\u8fc1\u79fb\u6587\u4ef6\u5217\u8868，\u9632\u6b62\u8bef\u64cd\u4f5c\u3002<\/li>\n
\n\u603b\u7ed3\u5efa\u8bae\u200b\u200b<\/h4>\n
- \n
- \u200b\u200b\u57fa\u7840\u573a\u666f\u200b\u200b：\u901a\u8fc7atime + cron + find\u7ec4\u5408\u5b9e\u73b0\u65f6\u95f4\u9608\u503c\u8fc1\u79fb，\u517c\u987e\u7b80\u5355\u6027\u4e0e\u53ef\u63a7\u6027\u3002<\/li>\n
- \u200b\u200b\u9ad8\u7ea7\u9700\u6c42\u200b\u200b：\u96c6\u6210ZAT\u6216\u76d1\u63a7\u544a\u8b66\u7cfb\u7edf，\u5b9e\u73b0\u52a8\u6001\u5206\u5c42（\u5982\u5c06\u9ad8\u9891\u8bbf\u95ee\u7684\u51b7\u6570\u636e\u81ea\u52a8\u8fc1\u56de\u70ed\u5c42）\u3002<\/li>\n<\/ul>\n
\u2705 \u200b\u200b\u64cd\u4f5c\u9a8c\u8bc1\u547d\u4ee4\u200b\u200b：<\/p>\n
- \n
- \u68c0\u67e5\u8fc1\u79fb\u6548\u679c：zfs list -r -o name,atime,used tank\/cold_data | head<\/li>\n
- \u76d1\u63a7\u51b7\u6570\u636e\u589e\u957f：zfs list -t filesystem -s used tank\/cold_data<\/li>\n<\/ul>\n
\u901a\u8fc7\u4e0a\u8ff0\u65b9\u6848，\u53ef\u6709\u6548\u5229\u7528ZFS\u7279\u6027\u6784\u5efa\u81ea\u52a8\u5316\u51b7\u70ed\u5206\u5c42\u5b58\u50a8，\u663e\u8457\u964d\u4f4e\u9ad8\u6027\u80fd\u5b58\u50a8\u8d44\u6e90\u7684\u5360\u7528\u6210\u672c\u3002<\/p>\n
1.5\u00a0\u5927\u89c4\u6a21\u6587\u4ef6\u7cfb\u7edf（PB\u7ea7\u6570\u636e\u3001\u4ebf\u7ea7\u6587\u4ef6）\u4e2d\u5b9e\u73b0\u9ad8\u6548\u5206\u5c42\u8fc1\u79fb<\/h3>\n
\u5728\u5927\u89c4\u6a21\u6587\u4ef6\u7cfb\u7edf（PB\u7ea7\u6570\u636e\u3001\u4ebf\u7ea7\u6587\u4ef6）\u4e2d\u5b9e\u73b0\u9ad8\u6548\u5206\u5c42\u8fc1\u79fb，\u9700\u7a81\u7834\u4f20\u7edf\u904d\u5386\u626b\u63cf\u7684\u6027\u80fd\u74f6\u9888，\u7ed3\u5408\u200b\u200b\u5143\u6570\u636e\u52a0\u901f\u3001\u5206\u5e03\u5f0f\u67b6\u6784\u3001\u667a\u80fd\u7b56\u7565\u200b\u200b\u8bbe\u8ba1\u5206\u5c42\u8fc1\u79fb\u4f53\u7cfb\u3002\u4ee5\u4e0b\u662f\u7ecf\u8fc7\u5927\u89c4\u6a21\u751f\u4ea7\u9a8c\u8bc1\u7684\u4f18\u5316\u65b9\u6848：<\/p>\n
\n1.5.1\u3001\u8fc1\u79fb\u67b6\u6784\u8bbe\u8ba1\u539f\u5219\u200b\u200b<\/h4>\n
<\/p>\n
\n1.5.2\u3001\u6838\u5fc3\u6027\u80fd\u4f18\u5316\u6280\u672f\u200b\u200b<\/h4>\n
\u200b\u200b1. \u5143\u6570\u636e\u52a0\u901f\u65b9\u6848\u200b\u200b<\/h5>\n
\n
\u200b\u200b\u6280\u672f\u200b\u200b\u200b\u200b\u5b9e\u73b0\u65b9\u5f0f\u200b\u200b\u200b\u200b\u6027\u80fd\u6536\u76ca\u200b\u200b<\/tr>\n \n\n \u200b\u200b\u5e76\u884cinode\u626b\u63cf\u200b\u200b<\/td>\n \u6309\u76ee\u5f55\u6811\u5206\u7247，\u591a\u7ebf\u7a0b\u5e76\u53d1\u626b\u63cf（\u907f\u514d\u5355\u7ebf\u7a0bfind\u74f6\u9888）<\/td>\n 10\u4ebf\u6587\u4ef6\u626b\u63cf\u65f6\u95f4\u4ece24h\u219230min<\/td>\n<\/tr>\n \n \u200b\u200b\u5185\u5b58\u7d22\u5f15\u7f13\u5b58\u200b\u200b<\/td>\n \u4f7f\u7528Redis\u96c6\u7fa4\u7f13\u5b58\u6587\u4ef6\u8def\u5f84\u3001\u5927\u5c0f\u3001atime\/mtime<\/td>\n \u5143\u6570\u636e\u67e5\u8be2\u5ef6\u8fdf\u4ecems\u7ea7\u2192\u03bcs\u7ea7<\/td>\n<\/tr>\n \n \u200b\u200b\u65e5\u5fd7\u7ed3\u6784\u5316\u8bbf\u95ee\u8bb0\u5f55\u200b\u200b<\/td>\n \u6587\u4ef6\u8bbf\u95ee\u4e8b\u4ef6\u5199\u5165Kafka，Flink\u5b9e\u65f6\u8ba1\u7b97\u70ed\u5ea6\u8bc4\u5206<\/td>\n \u5b9e\u65f6\u8bc6\u522b\u51b7\u70ed\u6570\u636e，\u5ef6\u8fdf<1s<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n \u200b\u200b2. \u8fc1\u79fb\u6267\u884c\u4f18\u5316\u200b\u200b<\/h5>\n
- \n
- \n
\u200b\u200b\u5757\u7ea7\u8fc1\u79fb\u66ff\u4ee3\u6587\u4ef6\u8fc1\u79fb\u200b\u200b
\nZFS\/Btrfs\u7b49\u652f\u6301\u200b\u200bsend\/recv\u200b\u200b\u5757\u7ea7\u589e\u91cf\u540c\u6b65，\u907f\u514d\u6587\u4ef6\u62f7\u8d1d\u5f00\u9500：<\/p>\n# \u521b\u5efa\u70ed\u6570\u636e\u5feb\u7167
\nzfs snapshot tank\/hot_data@$(date +%Y%m%d)
\n# \u5757\u7ea7\u8fc1\u79fb\u81f3\u51b7\u5c42
\nzfs send tank\/hot_data@20231001 | zfs recv tank\/cold_data\/archive<\/p>\n- \n
- \u200b\u200b\u4f18\u52bf\u200b\u200b：\u8fc1\u79fb\u901f\u5ea6\u63d0\u534710\u500d（\u65e0\u9700\u89e3\u5305\/\u91cd\u538b\u7f29）<\/li>\n
- \u200b\u200b\u9650\u5236\u200b\u200b：\u9700\u540c\u6587\u4ef6\u7cfb\u7edf\u7c7b\u578b<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u200b\u5c0f\u6587\u4ef6\u5408\u5e76\u8fc1\u79fb\u200b\u200b
\n\u5c06\u5c0f\u6587\u4ef6\u6253\u5305\u4e3a.tar\u6216\u5bf9\u8c61\u5b58\u50a8\u683c\u5f0f（\u5982MinIO），\u51cf\u5c11\u8fc1\u79fb\u8bf7\u6c42\u6570：<\/p>\n# \u67e5\u627e\u5c0f\u6587\u4ef6\u5e76\u6253\u5305
\nfind \/hot_data -type f -size -1M -exec tar -rf \/migrate\/smallfiles.tar {} +
\n# \u8fc1\u79fb\u5927\u5305
\nmv \/migrate\/smallfiles.tar \/cold_data\/\n<\/li>\n<\/ul>\n\u200b\u200b3. \u5206\u5e03\u5f0f\u8fc1\u79fb\u6846\u67b6\u200b\u200b<\/h5>\n
# \u4f2a\u4ee3\u7801：\u57fa\u4e8eCelery\u7684\u5206\u5e03\u5f0f\u8fc1\u79fb\u5f15\u64ce
\nfrom celery import Celery
\napp = Celery('migration', broker='redis:\/\/cluster')<\/p>\n@app.task
\ndef migrate_chunk(file_chunk):
\n for path in file_chunk:
\n if is_cold_data(path): # \u6839\u636e\u70ed\u5ea6\u8bc4\u5206\u5224\u65ad
\n dest = get_dest_storage(path)
\n block_migrate(path, dest) # \u5757\u7ea7\u8fc1\u79fb<\/p>\n# \u5206\u7247\u7b56\u7565：\u6309\u76ee\u5f55\u54c8\u5e0c\u5206\u7247
\npaths = metadata_query("atime < now() – 30d")
\nchunks = [paths[i:i+1000] for i in range(0, len(paths), 1000)]
\nfor chunk in chunks:
\n migrate_chunk.delay(chunk)<\/p>\n
\n1.5.3\u3001\u667a\u80fd\u5206\u5c42\u7b56\u7565\u200b\u200b<\/h4>\n
\u200b\u200b1. \u52a8\u6001\u70ed\u5ea6\u8bc4\u5206\u6a21\u578b\u200b\u200b<\/h5>\n
# \u70ed\u5ea6\u8bc4\u5206 = \u8bbf\u95ee\u9891\u7387\u6743\u91cd \u00d7 0.6 + \u6700\u8fd1\u8bbf\u95ee\u65f6\u95f4\u6743\u91cd \u00d7 0.3 + \u4e1a\u52a1\u6807\u7b7e \u00d7 0.1
\ndef heat_score(file):
\n freq = log(access_count_last_week(file) + 1)
\n recency = 1 \/ (current_time – last_access(file)).days
\n biz_weight = 1.5 if file in business_critical else 0.8
\n return freq*0.6 + recency*0.3 + biz_weight*0.1<\/p>\n\u200b\u200b2. \u8fc1\u79fb\u9608\u503c\u81ea\u9002\u5e94\u200b\u200b<\/h5>\n
- \n
- \u200b\u200b\u57fa\u4e8e\u5bb9\u91cf\u6c34\u4f4d\u200b\u200b：\u5f53\u9ad8\u901f\u5c42\u4f7f\u7528\u7387>80%，\u81ea\u52a8\u4e0b\u8c03\u51b7\u6570\u636e\u9608\u503c（\u5982\u4ece30\u5929\u219215\u5929）<\/li>\n
- \u200b\u200b\u57fa\u4e8eI\/O\u538b\u529b\u200b\u200b：\u7cfb\u7edf\u7a7a\u95f2\u65f6\u653e\u5bbd\u9608\u503c，\u4e1a\u52a1\u9ad8\u5cf0\u65f6\u6682\u505c\u8fc1\u79fb<\/li>\n<\/ul>\n
\u200b\u200b3. \u5206\u5c42\u7b56\u7565\u793a\u4f8b\u200b\u200b<\/h5>\n
\n
\u200b\u200b\u6570\u636e\u7279\u5f81\u200b\u200b\u200b\u200b\u5b58\u50a8\u5c42\u200b\u200b\u200b\u200b\u8fc1\u79fb\u89e6\u53d1\u6761\u4ef6\u200b\u200b<\/tr>\n \n\n \u6bcf\u65e5\u8bbf\u95ee>10\u6b21<\/td>\n NVMe<\/td>\n \u5b9e\u65f6\u81ea\u52a8\u63d0\u5347<\/td>\n<\/tr>\n \n \u6bcf\u5468\u8bbf\u95ee1~10\u6b21<\/td>\n TLC SSD<\/td>\n \u70ed\u5ea6\u8bc4\u5206<60\u5206\u65f6\u964d\u7ea7<\/td>\n<\/tr>\n \n 30\u5929\u672a\u8bbf\u95ee & \u975e\u5408\u89c4\u6570\u636e<\/td>\n QLC SSD<\/td>\n \u5b9a\u65f6\u626b\u63cf+\u5bb9\u91cf\u89e6\u53d1<\/td>\n<\/tr>\n \n 1\u5e74\u672a\u8bbf\u95ee\u6216\u5f52\u6863\u6570\u636e<\/td>\n \u84dd\u5149\/\u78c1\u5e26\u5e93<\/td>\n \u4eba\u5de5\u5ba1\u6838\u540e\u8fc1\u79fb<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.5.4\u3001\u7a33\u5b9a\u6027\u4fdd\u969c\u673a\u5236\u200b\u200b<\/h4>\n
\u200b\u200b1. \u8fc1\u79fb\u8fc7\u7a0b\u5bb9\u9519\u200b\u200b<\/h5>\n
- \n
- \u200b\u200b\u65ad\u70b9\u7eed\u4f20\u200b\u200b：\u8bb0\u5f55\u8fc1\u79fb\u8fdb\u5ea6\u5230Etcd，\u5931\u8d25\u540e\u4ece\u65ad\u70b9\u6062\u590d<\/li>\n
- \u200b\u200b\u4e00\u81f4\u6027\u6821\u9a8c\u200b\u200b：\u8fc1\u79fb\u540e\u5bf9\u6bd4\u6e90\/\u76ee\u6807\u6587\u4ef6\u6821\u9a8c\u548c（SHA-256）<\/li>\n
- \u200b\u200b\u539f\u5b50\u63d0\u4ea4\u200b\u200b：\u5148\u8fc1\u79fb\u6570\u636e，\u518d\u66f4\u65b0\u5143\u6570\u636e\u7d22\u5f15，\u907f\u514d\u72b6\u6001\u4e0d\u4e00\u81f4<\/li>\n<\/ul>\n
\u200b\u200b2. \u8d44\u6e90\u9694\u79bb\u4e0e\u9650\u6d41\u200b\u200b<\/h5>\n
- \n
- \u200b\u200b\u7f51\u7edc\u5e26\u5bbd\u63a7\u5236\u200b\u200b：\n
# \u9650\u5236\u8fc1\u79fb\u6d41\u91cf\u2264\u603b\u5e26\u5bbd\u768430%
\ntc qdisc add dev eth0 root tbf rate 3Gbit burst 1mb latency 50ms\n<\/li>\n - \u200b\u200bIOPS\u9694\u79bb\u200b\u200b：Cgroup\u9650\u5236\u8fc1\u79fb\u8fdb\u7a0b\u7684\u78c1\u76d8IOPS\n
echo "8:0 1000" > \/sys\/fs\/cgroup\/blkio\/migration\/tasks\n<\/li>\n<\/ul>\n
\u200b\u200b3. \u7070\u5ea6\u8fc1\u79fb\u7b56\u7565\u200b\u200b<\/h5>\n
- \n
- \u200b\u200b\u5206\u6279\u6b21\u8fc1\u79fb\u200b\u200b：\u6309\u76ee\u5f55\/\u6587\u4ef6\u5927\u5c0f\/\u4e1a\u52a1\u5355\u5143\u5206\u6279\u8fc1\u79fb<\/li>\n
- \u200b\u200b\u5f71\u5b50\u8fc1\u79fb\u6d4b\u8bd5\u200b\u200b：\u5148\u6a21\u62df\u8fc1\u79fb\u5e76\u62a5\u544a\u6f5c\u5728\u95ee\u9898，\u518d\u6b63\u5f0f\u6267\u884c<\/li>\n<\/ul>\n
\n1.5.5\u3001\u6027\u80fd\u5bf9\u6bd4\u4e0e\u6536\u76ca\u200b\u200b<\/h4>\n
\u67d0\u4e91\u670d\u52a1\u5546\u4f18\u5316\u524d\u540e\u5bf9\u6bd4（10PB\u6570\u636e，2\u4ebf\u6587\u4ef6）：<\/p>\n
\n
\u200b\u200b\u6307\u6807\u200b\u200b\u4f20\u7edf\u65b9\u6848（find+cron）\u4f18\u5316\u65b9\u6848\u63d0\u5347\u500d\u6570<\/tr>\n \n\n \u5168\u91cf\u626b\u63cf\u65f6\u95f4<\/td>\n 48\u5c0f\u65f6<\/td>\n 40\u5206\u949f<\/td>\n 72x<\/td>\n<\/tr>\n \n \u8fc1\u79fb\u901f\u5ea6<\/td>\n 50 MB\/s<\/td>\n 1.2 GB\/s<\/td>\n 24x<\/td>\n<\/tr>\n \n \u4e1a\u52a1I\/O\u5f71\u54cd<\/td>\n \u5ef6\u8fdf\u6ce2\u52a8\u00b130ms<\/td>\n \u5ef6\u8fdf\u6ce2\u52a8<5ms<\/td>\n –<\/td>\n<\/tr>\n \n \u5b58\u50a8\u6210\u672c<\/td>\n \u5168\u95ea\u5b58 $300K\/\u6708<\/td>\n \u5206\u5c42\u5b58\u50a8 $90K\/\u6708<\/td>\n 67%\u2193<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n\u603b\u7ed3：\u5173\u952e\u5b9e\u8df5\u5efa\u8bae\u200b\u200b<\/h4>\n
- \u200b\u200b\u62d2\u7edd\u66b4\u529b\u626b\u63cf\u200b\u200b：\u7528inode\u5e76\u884c\u8bbf\u95ee\u66ff\u4ee3find\u904d\u5386，\u7ed3\u5408Kafka+Flink\u5b9e\u73b0\u5b9e\u65f6\u70ed\u5ea6\u5206\u6790<\/li>\n
- \u200b\u200b\u8fc1\u79fb\u7c92\u5ea6\u4f18\u5316\u200b\u200b：\n
- \n
- \u5c0f\u6587\u4ef6\u2192\u5408\u5e76\u8fc1\u79fb（tar\/\u5bf9\u8c61\u5b58\u50a8）<\/li>\n
- \u5927\u6587\u4ef6\u2192\u5757\u7ea7\u589e\u91cf\u8fc1\u79fb（ZFS send\/recv）<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u200b\u52a8\u6001\u7b56\u7565\u200b\u200b：\u57fa\u4e8e\u5bb9\u91cf\/I\/O\u538b\u529b\u81ea\u52a8\u8c03\u6574\u8fc1\u79fb\u9608\u503c，\u907f\u514d\u9759\u6001\u89c4\u5219\u5931\u6548<\/li>\n
- \u200b\u200b\u7a33\u5b9a\u6027\u4e09\u677f\u65a7\u200b\u200b：\n
- \n
- \u7f51\u7edc\u5e26\u5bbd\u9650\u5236<\/li>\n
- \u65ad\u70b9\u7eed\u4f20+\u4e00\u81f4\u6027\u6821\u9a8c<\/li>\n
- \u4e1a\u52a1\u4f4e\u5cf0\u671f\u6267\u884c<\/li>\n<\/ul>\n<\/li>\n
\u901a\u8fc7\u4e0a\u8ff0\u65b9\u6848，\u53ef\u6784\u5efa\u652f\u6301EB\u7ea7\u6587\u4ef6\u7cfb\u7edf\u7684\u667a\u80fd\u5206\u5c42\u5b58\u50a8，\u5728\u4fdd\u8bc1\u4e1a\u52a1SLA\u7684\u540c\u65f6，\u200b\u200b\u964d\u4f4e\u5b58\u50a8\u6210\u672c60%+\u200b\u200b\u3002\u5b9e\u9645\u90e8\u7f72\u5efa\u8bae\u4ece\u975e\u5173\u952e\u4e1a\u52a1\u5f00\u59cb\u7070\u5ea6，\u9010\u6b65\u9a8c\u8bc1\u8fc1\u79fb\u7b56\u7565\u6709\u6548\u6027\u3002<\/p>\n
1.6\u00a0ZFS\u4e0eCeph\u7684\u81ea\u52a8\u5206\u5c42\u5b58\u50a8\u5dee\u5f02<\/h3>\n
ZFS\u4e0eCeph\u7684\u81ea\u52a8\u5206\u5c42\u5b58\u50a8\u5728\u5b9e\u73b0\u539f\u7406\u4e0a\u5b58\u5728\u672c\u8d28\u5dee\u5f02，\u4e3b\u8981\u4f53\u73b0\u5728\u200b\u200b\u67b6\u6784\u5c42\u7ea7\u3001\u6570\u636e\u7ec4\u7ec7\u65b9\u5f0f\u3001\u8fc1\u79fb\u673a\u5236\u548c\u9002\u7528\u573a\u666f\u200b\u200b\u7b49\u65b9\u9762\u3002\u4ee5\u4e0b\u662f\u5173\u952e\u533a\u522b\u7684\u5bf9\u6bd4\u5206\u6790：<\/p>\n
\n1.6.1\u3001\u67b6\u6784\u5c42\u7ea7\u4e0e\u8bbe\u8ba1\u76ee\u6807\u200b\u200b<\/h4>\n
- \n
\u200b\u200bZFS：\u5355\u8282\u70b9\u6587\u4ef6\u7cfb\u7edf\u7ea7\u5206\u5c42\u200b\u200b<\/p>\n
- \n
- \u200b\u200b\u5c42\u7ea7\u5b9a\u4f4d\u200b\u200b：ZFS\u7684\u5206\u5c42\u57fa\u4e8e\u5355\u4e2a\u5b58\u50a8\u6c60（zpool）\u5185\u7684\u4e0d\u540c\u865a\u62df\u8bbe\u5907（vdev）\u3002\u4f8b\u5982，\u7528SSD\u7ec4\u6210\u7279\u6b8a\u8bbe\u5907（special vdev）\u5b58\u653e\u5143\u6570\u636e\u548c\u5c0f\u6587\u4ef6，HDD\u7ec4\u6210\u666e\u901avdev\u5b58\u653e\u51b7\u6570\u636e\u3002<\/li>\n
- \u200b\u200b\u76ee\u6807\u200b\u200b：\u4f18\u5316\u672c\u5730\u5b58\u50a8\u6027\u80fd\u548c\u6570\u636e\u5b8c\u6574\u6027，\u901a\u8fc7\u786c\u4ef6\u5dee\u5f02（\u5982SSD\u4e0eHDD）\u5b9e\u73b0\u5206\u5c42，\u200b\u200b\u4e0d\u6d89\u53ca\u5206\u5e03\u5f0f\u67b6\u6784\u200b\u200b\u3002<\/li>\n
- \u200b\u200b\u900f\u660e\u6027\u200b\u200b：\u6570\u636e\u8fc1\u79fb\u5bf9\u5e94\u7528\u5b8c\u5168\u900f\u660e，\u65e0\u9700\u5ba2\u6237\u7aef\u611f\u77e5\u3002<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u200bCeph：\u5206\u5e03\u5f0f\u96c6\u7fa4\u7ea7\u5206\u5c42\u200b\u200b<\/p>\n
- \n
- \u200b\u200b\u5c42\u7ea7\u5b9a\u4f4d\u200b\u200b：\u901a\u8fc7\u72ec\u7acb\u7684\u200b\u200b\u7f13\u5b58\u6c60\u200b\u200b（\u5982SSD\u6c60）\u548c\u200b\u200b\u540e\u7aef\u5b58\u50a8\u6c60\u200b\u200b（\u5982HDD\u6c60）\u6784\u5efa\u5206\u5c42，\u4e24\u8005\u7269\u7406\u9694\u79bb\u4e14\u53ef\u8de8\u8282\u70b9\u3002<\/li>\n
- \u200b\u200b\u76ee\u6807\u200b\u200b：\u5728\u5206\u5e03\u5f0f\u73af\u5883\u4e0b\u5e73\u8861\u6027\u80fd\u4e0e\u6210\u672c，\u652f\u6301\u8de8\u96c6\u7fa4\u7684\u6570\u636e\u8fc1\u79fb（\u5982\u672c\u5730SSD\u2192\u4e91\u5b58\u50a8）\u3002<\/li>\n
- \u200b\u200b\u4ee3\u7406\u9a71\u52a8\u200b\u200b：\u4f9d\u8d56\u7f13\u5b58\u4ee3\u7406（Cache Agent）\u81ea\u52a8\u8fc1\u79fb\u6570\u636e，\u9700\u663e\u5f0f\u914d\u7f6e\u7b56\u7565\u3002<\/li>\n<\/ul>\n<\/li>\n
\n1.6.2\u3001\u6570\u636e\u7ec4\u7ec7\u4e0e\u8fc1\u79fb\u673a\u5236\u200b\u200b<\/h4>\n
\n
\u200b\u200b\u7ef4\u5ea6\u200b\u200b\u200b\u200bZFS\u200b\u200b\u200b\u200bCeph\u200b\u200b<\/tr>\n \n\n \u200b\u200b\u6570\u636e\u7c92\u5ea6\u200b\u200b<\/td>\n \u200b\u200b\u5757\u7ea7\u7ba1\u7406\u200b\u200b：\u4ee5\u6570\u636e\u5757\u4e3a\u5355\u4f4d\u8fc1\u79fb\u70ed\u70b9\u6570\u636e\u3002<\/td>\n \u200b\u200b\u5bf9\u8c61\u7ea7\u7ba1\u7406\u200b\u200b：\u4ee5\u6574\u4e2a\u5bf9\u8c61（\u59821MB~4MB）\u4e3a\u5355\u4f4d\u8fc1\u79fb\u3002<\/td>\n<\/tr>\n \n \u200b\u200b\u8fc1\u79fb\u89e6\u53d1\u200b\u200b<\/td>\n \u200b\u200b\u5185\u7f6e\u7b97\u6cd5\u200b\u200b：\u57fa\u4e8e\u8bbf\u95ee\u9891\u7387（\u5982ARC\/L2ARC\u7f13\u5b58\u7b97\u6cd5）\u81ea\u52a8\u8fc1\u79fb，\u65e0\u4eba\u5de5\u7b56\u7565\u3002<\/td>\n \u200b\u200b\u7b56\u7565\u5f15\u64ce\u200b\u200b：\u9700\u914d\u7f6e\u751f\u547d\u5468\u671f\u89c4\u5219（\u5982\u65f6\u95f4\u9608\u503c\u3001\u8bbf\u95ee\u9891\u7387），\u652f\u6301\u81ea\u5b9a\u4e49\u6761\u4ef6（\u5982\u5bf9\u8c61\u5927\u5c0f\u3001\u6807\u7b7e）\u3002<\/td>\n<\/tr>\n \n \u200b\u200b\u8fc1\u79fb\u65b9\u5411\u200b\u200b<\/td>\n \u4ec5\u5728\u5b58\u50a8\u6c60\u5185vdev\u95f4\u8fc1\u79fb（\u5982SSD\u2192HDD）\u3002<\/td>\n \u652f\u6301\u53cc\u5411\u8fc1\u79fb：<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n - \n
- \u200b\u200b\u5199\u56de\u6a21\u5f0f（Writeback）\u200b\u200b：\u6570\u636e\u5148\u5199\u7f13\u5b58\u6c60，\u5f02\u6b65\u5237\u5230\u540e\u7aef\u6c60\u3002<\/li>\n
- \u200b\u200b\u53ea\u8bfb\u6a21\u5f0f（Read-only）\u200b\u200b：\u6570\u636e\u4ece\u540e\u7aef\u6c60\u590d\u5236\u5230\u7f13\u5b58\u6c60\u3002 |
\n| \u200b\u200b\u4e00\u81f4\u6027\u4fdd\u969c\u200b\u200b | \u200b\u200b\u4e8b\u52a1\u6027\u6a21\u578b\u200b\u200b：\u5199\u65f6\u590d\u5236（Copy-on-Write）\u786e\u4fdd\u8fc1\u79fb\u4e2d\u6570\u636e\u4e00\u81f4\u6027\u3002 | \u200b\u200b\u5f31\u4e00\u81f4\u6027\u98ce\u9669\u200b\u200b：Writeback\u6a21\u5f0f\u4e0b\u7f13\u5b58\u672a\u5237\u65b0\u65f6\u5b95\u673a\u53ef\u80fd\u5bfc\u81f4\u6570\u636e\u4e22\u5931\u3002 |<\/li>\n<\/ul>\n
\n1.6.3\u3001\u7b56\u7565\u63a7\u5236\u4e0e\u7075\u6d3b\u6027\u200b\u200b<\/h4>\n
- \n
\u200b\u200bZFS：\u6709\u9650\u7b56\u7565\u63a7\u5236\u200b\u200b<\/p>\n
- \n
- \u4f9d\u8d56\u6587\u4ef6\u7cfb\u7edf\u5185\u7f6e\u903b\u8f91（\u5982\u8bbf\u95ee\u65f6\u95f4\u3001\u7f13\u5b58\u547d\u4e2d\u7387），\u200b\u200b\u65e0\u6cd5\u81ea\u5b9a\u4e49\u8fc1\u79fb\u89c4\u5219\u200b\u200b（\u5982\u57fa\u4e8e\u65f6\u95f4\u9608\u503c）\u3002<\/li>\n
- \u5206\u5c42\u884c\u4e3a\u7531\u786c\u4ef6\u914d\u7f6e（vdev\u7c7b\u578b）\u51b3\u5b9a，\u8c03\u6574\u9700\u91cd\u6784\u5b58\u50a8\u6c60\u3002<\/li>\n<\/ul>\n<\/li>\n
- \n
\u200b\u200bCeph：\u9ad8\u5ea6\u53ef\u914d\u7f6e\u7b56\u7565\u200b\u200b<\/p>\n
- \n
- \u200b\u200b\u65f6\u95f4\u9608\u503c\u200b\u200b：\u53ef\u5b9a\u4e49\u5bf9\u8c61\u5728\u7f13\u5b58\u6c60\u7684\u505c\u7559\u65f6\u95f4（\u5982cache_min_evict_age）\u3002<\/li>\n
- \u200b\u200b\u70ed\u5ea6\u611f\u77e5\u200b\u200b：\u901a\u8fc7hit_set\u8ffd\u8e2a\u5bf9\u8c61\u8bbf\u95ee\u9891\u6b21，\u652f\u6301\u6309\u70ed\u5ea6\u8fc1\u79fb\u3002<\/li>\n
- \u200b\u200b\u4e91\u96c6\u6210\u200b\u200b：\u652f\u6301\u5c06\u51b7\u6570\u636e\u5f52\u6863\u5230S3\u517c\u5bb9\u4e91\u5b58\u50a8（\u5982AWS Glacier），\u5e76\u914d\u7f6e\u68c0\u7d22\u7b56\u7565\u3002<\/li>\n<\/ul>\n<\/li>\n
\n1.6.4\u3001\u900f\u660e\u6027\u4e0e\u5ba2\u6237\u7aef\u5f71\u54cd\u200b\u200b<\/h4>\n
- \n
- \u200b\u200bZFS\u200b\u200b：\u5206\u5c42\u5bf9\u5e94\u7528\u5b8c\u5168\u900f\u660e，\u65e0\u9700\u4fee\u6539\u5ba2\u6237\u7aef\u914d\u7f6e\u6216\u534f\u8bae\u3002<\/li>\n
- \u200b\u200bCeph\u200b\u200b：\u9700\u5ba2\u6237\u7aef\u91cd\u5b9a\u5411：\n
- \n
- Writeback\u6a21\u5f0f\u4e0b，\u6240\u6709I\/O\u5148\u6307\u5411\u7f13\u5b58\u6c60\u3002<\/li>\n
- \u53ef\u80fd\u56e0\u7b56\u7565\u5ef6\u8fdf（\u5982\u7f13\u5b58\u672a\u5237\u65b0）\u5bfc\u81f4\u5ba2\u6237\u7aef\u8bfb\u53d6\u65e7\u6570\u636e（Read-only\u6a21\u5f0f）\u3002<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
\n1.6.5\u3001\u9002\u7528\u573a\u666f\u5bf9\u6bd4\u200b\u200b<\/h4>\n
\n
\u200b\u200b\u573a\u666f\u200b\u200b\u200b\u200bZFS\u200b\u200b\u200b\u200bCeph\u200b\u200b<\/tr>\n \n\n \u200b\u200b\u5355\u8282\u70b9\u9ad8\u6027\u80fd\u5b58\u50a8\u200b\u200b<\/td>\n \u2705 \u672c\u5730\u6570\u636e\u5e93\u3001\u865a\u62df\u673a\u5b58\u50a8\u3002<\/td>\n \u274c \u975e\u5206\u5e03\u5f0f\u573a\u666f\u4f18\u52bf\u5f31\u3002<\/td>\n<\/tr>\n \n \u200b\u200b\u5206\u5e03\u5f0f\u6df7\u5408\u4e91\u5b58\u50a8\u200b\u200b<\/td>\n \u274c \u65e0\u8de8\u8282\u70b9\u80fd\u529b\u3002<\/td>\n \u2705 \u8de8\u96c6\u7fa4\u51b7\u70ed\u5206\u5c42+\u4e91\u5f52\u6863\u3002<\/td>\n<\/tr>\n \n \u200b\u200b\u7b56\u7565\u7cbe\u7ec6\u5316\u9700\u6c42\u200b\u200b<\/td>\n \u274c \u7b56\u7565\u56fa\u5b9a\u3002<\/td>\n \u2705 \u652f\u6301\u591a\u7ef4\u5ea6\u6761\u4ef6（\u65f6\u95f4\/\u5927\u5c0f\/\u6807\u7b7e）\u3002<\/td>\n<\/tr>\n \n \u200b\u200b\u90e8\u7f72\u590d\u6742\u5ea6\u200b\u200b<\/td>\n \u2705 \u5f00\u7bb1\u5373\u7528，\u914d\u7f6e\u7b80\u5355\u3002<\/td>\n \u274c \u9700\u72ec\u7acb\u914d\u7f6e\u7f13\u5b58\u6c60\u3001\u7b56\u7565\u4ee3\u7406\u548cCRUSH\u89c4\u5219\u3002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n\u00a0\u200b\u200b\u603b\u7ed3：\u672c\u8d28\u533a\u522b\u200b\u200b<\/h4>\n
- \u200b\u200b\u67b6\u6784\u672c\u8d28\u200b\u200b：\n
- \n
- ZFS\u662f\u200b\u200b\u5355\u673a\u6587\u4ef6\u7cfb\u7edf\u200b\u200b\u7684\u5206\u5c42\u4f18\u5316，\u4f9d\u8d56\u786c\u4ef6\u6c60\u5316\u3002<\/li>\n
- Ceph\u662f\u200b\u200b\u5206\u5e03\u5f0f\u5bf9\u8c61\u5b58\u50a8\u200b\u200b\u7684\u5206\u5c42，\u4f9d\u8d56\u7b56\u7565\u9a71\u52a8\u7684\u8de8\u6c60\u8fc1\u79fb\u3002<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u200b\u8fc1\u79fb\u903b\u8f91\u200b\u200b：\n
- \n
- ZFS\u901a\u8fc7\u200b\u200b\u5757\u7ea7\u70ed\u5ea6\u200b\u200b\u81ea\u52a8\u8fc1\u79fb，\u65e0\u7b56\u7565\u63a5\u53e3\u3002<\/li>\n
- Ceph\u901a\u8fc7\u200b\u200b\u5bf9\u8c61\u7ea7\u7b56\u7565\u200b\u200b（\u5982\u65f6\u95f4\u9608\u503c\u3001\u8bbf\u95ee\u9891\u7387）\u89e6\u53d1\u8fc1\u79fb\u3002<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u200b\u6269\u5c55\u6027\u200b\u200b：\n
- \n
- ZFS\u9650\u4e8e\u5355\u8282\u70b9，Ceph\u652f\u6301\u200b\u200b\u8de8\u96c6\u7fa4\u3001\u6df7\u5408\u4e91\u200b\u200b\u5206\u5c42\u3002<\/li>\n<\/ul>\n<\/li>\n
\u200b\u200b\u5b9e\u9645\u9009\u578b\u5efa\u8bae\u200b\u200b：<\/p>\n
- \n
- \u5355\u8282\u70b9\u9ad8\u6027\u80fd\u9700\u6c42（\u5982NAS\u3001\u6570\u636e\u5e93）\u2192 \u200b\u200bZFS\u200b\u200b<\/li>\n
- \u5927\u89c4\u6a21\u5206\u5e03\u5f0f\u5b58\u50a8\u3001\u4e91\u539f\u751f\u96c6\u6210 \u2192 \u200b\u200bCeph\u200b\u200b
\n\u4e8c\u8005\u4ea6\u53ef\u7ed3\u5408：\u7528ZFS\u4f5c\u4e3aCeph OSD\u8282\u70b9\u7684\u672c\u5730\u6587\u4ef6\u7cfb\u7edf，\u517c\u987e\u6570\u636e\u4e00\u81f4\u6027\u4e0e\u5206\u5e03\u5f0f\u6269\u5c55\u6027\u3002<\/li>\n<\/ul>\n1.7 ZFS\u4e0eCeph\u5728\u6570\u636e\u4e00\u81f4\u6027\u4fdd\u969c\u673a\u5236<\/h3>\n
\u5b58\u5728\u663e\u8457\u5dee\u5f02，\u4e3b\u8981\u4f53\u73b0\u5728\u200b\u200b\u67b6\u6784\u5c42\u7ea7\u3001\u5b9e\u73b0\u539f\u7406\u548c\u9002\u7528\u573a\u666f\u200b\u200b\u4e09\u4e2a\u65b9\u9762\u3002<\/p>\n
\n1.7.1\u3001\u6838\u5fc3\u673a\u5236\u5dee\u5f02<\/h4>\n
\n
\u200b\u200b\u7ef4\u5ea6\u200b\u200b\u200b\u200bZFS\u200b\u200b\u200b\u200bCeph\u200b\u200b<\/tr>\n \n\n \u200b\u200b\u67b6\u6784\u5c42\u7ea7\u200b\u200b<\/td>\n \u5355\u8282\u70b9\u6587\u4ef6\u7cfb\u7edf<\/td>\n \u5206\u5e03\u5f0f\u5b58\u50a8\u96c6\u7fa4<\/td>\n<\/tr>\n \n \u200b\u200b\u4e00\u81f4\u6027\u8303\u56f4\u200b\u200b<\/td>\n \u672c\u5730\u5b58\u50a8\u6c60\u5185\u6570\u636e\u5757<\/td>\n \u8de8\u8282\u70b9\u591a\u526f\u672c\u6570\u636e\u540c\u6b65<\/td>\n<\/tr>\n \n \u200b\u200b\u6838\u5fc3\u6280\u672f\u200b\u200b<\/td>\n \u5199\u65f6\u590d\u5236 (Copy-on-Write) + 256\u4f4d\u6821\u9a8c\u548c<\/td>\n Paxos\u5171\u8bc6\u7b97\u6cd5 + \u4e3b\u526f\u672c\u6a21\u578b + CRUSH\u6570\u636e\u5206\u5e03<\/td>\n<\/tr>\n \n \u200b\u200b\u6545\u969c\u6062\u590d\u200b\u200b<\/td>\n \u81ea\u6211\u4fee\u590d (\u901a\u8fc7\u6821\u9a8c\u548c\u81ea\u52a8\u4fee\u590d\u635f\u574f\u5757)<\/td>\n \u526f\u672c\u91cd\u5efa + PGLog\u65e5\u5fd7\u540c\u6b65<\/td>\n<\/tr>\n \n \u200b\u200b\u6570\u636e\u6a21\u578b\u200b\u200b<\/td>\n \u5757\u7ea7\u4e00\u81f4\u6027 (\u5b58\u50a8\u6c60\u5185)<\/td>\n \u5bf9\u8c61\u7ea7\u4e00\u81f4\u6027 (\u8de8OSD\u526f\u672c)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n
\n1.7.2\u3001ZFS\u7684\u6570\u636e\u4e00\u81f4\u6027\u673a\u5236<\/h4>\n
1. \u200b\u200b\u5199\u65f6\u590d\u5236 (CoW)\u200b\u200b<\/h5>\n
- \n
- \u200b\u200b\u539f\u7406\u200b\u200b：\u6570\u636e\u4fee\u6539\u65f6\u4e0d\u8986\u76d6\u65e7\u5757，\u800c\u662f\u5206\u914d\u65b0\u5757\u5199\u5165，\u66f4\u65b0\u5143\u6570\u636e\u6307\u9488\u3002\u65e7\u6570\u636e\u4fdd\u7559\u81f3\u4e8b\u52a1\u63d0\u4ea4\u5b8c\u6210，\u786e\u4fdd\u5d29\u6e83\u65f6\u53ef\u56de\u6eda\u3002<\/li>\n
- \u200b\u200b\u4f18\u52bf\u200b\u200b：\u907f\u514d\u201c\u5199\u4e00\u534a\u201d\u95ee\u9898，\u4fdd\u8bc1\u539f\u5b50\u6027\u3002<\/li>\n
- \u200b\u200b\u4ee3\u4ef7\u200b\u200b：\u53ef\u80fd\u52a0\u5267\u788e\u7247\u5316（\u968f\u673a\u4fee\u6539\u5927\u6587\u4ef6\u540e\u987a\u5e8f\u8bfb\u6027\u80fd\u4e0b\u964d）\u3002<\/li>\n<\/ul>\n
2. \u200b\u200b\u7aef\u5230\u7aef\u6821\u9a8c\u548c\u200b\u200b<\/h5>\n
- \n
- \u6bcf\u4e2a\u6570\u636e\u5757\u9644\u5e26256\u4f4d\u6821\u9a8c\u548c，\u8bfb\u53d6\u65f6\u81ea\u52a8\u9a8c\u8bc1\u3002\u82e5\u6821\u9a8c\u5931\u8d25，ZFS\u4ece\u5197\u4f59\u526f\u672c（\u5982RAID-Z\u955c\u50cf）\u6062\u590d\u6570\u636e\u3002<\/li>\n
- \u200b\u200b\u81ea\u6108\u80fd\u529b\u200b\u200b：\u4f9d\u8d56\u5b58\u50a8\u6c60\u7684\u5197\u4f59\u914d\u7f6e（\u5982\u955c\u50cf\u6216RAID-Z），\u65e0\u5197\u4f59\u5219\u4ec5\u62a5\u9519\u65e0\u6cd5\u4fee\u590d\u3002<\/li>\n<\/ul>\n
3. \u200b\u200b\u4e8b\u52a1\u7ec4\u63d0\u4ea4 (Transaction Groups)\u200b\u200b<\/h5>\n
- \n
- \u5c06\u591a\u6b21\u5199\u5165\u5408\u5e76\u4e3a\u4e8b\u52a1\u7ec4，\u539f\u5b50\u63d0\u4ea4\u5230\u78c1\u76d8，\u51cf\u5c11\u5143\u6570\u636e\u66f4\u65b0\u5f00\u9500\u3002<\/li>\n<\/ul>\n
\n1.7.3\u3001Ceph\u7684\u6570\u636e\u4e00\u81f4\u6027\u673a\u5236<\/h4>\n
1. \u200b\u200bPaxos\u5171\u8bc6\u7b97\u6cd5\u200b\u200b<\/h5>\n
- \n
- \u200b\u200b\u4f5c\u7528\u8303\u56f4\u200b\u200b：\u7ba1\u7406Monitor\u96c6\u7fa4\u7684\u5143\u6570\u636e（\u5982OSD\u72b6\u6001\u3001CRUSH\u89c4\u5219）\u3002<\/li>\n
- \u200b\u200b\u6d41\u7a0b\u200b\u200b：\n
- \n
- Monitor\u8282\u70b9\u901a\u8fc7Paxos\u9009\u4e3eLeader，\u540c\u6b65\u96c6\u7fa4\u72b6\u6001\u53d8\u66f4\u3002<\/li>\n
- \u9700\u591a\u6570\u8282\u70b9\u786e\u8ba4\u66f4\u65b0，\u907f\u514d\u8111\u88c2（\u5982\u7f51\u7edc\u5206\u533a\u65f6\u6682\u505c\u670d\u52a1）\u3002<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
2. \u200b\u200b\u4e3b\u526f\u672c\u6a21\u578b (Primary-Replica)\u200b\u200b<\/h5>\n
- \n
- \u200b\u200b\u5199\u5165\u6d41\u7a0b\u200b\u200b：\n
- \u5ba2\u6237\u7aef\u5411\u4e3bOSD\u53d1\u8d77\u5199\u8bf7\u6c42\u3002<\/li>\n
- \u4e3bOSD\u540c\u6b65\u6570\u636e\u5230\u526f\u672cOSD\u3002<\/li>\n
- \u6240\u6709\u526f\u672c\u786e\u8ba4\u540e\u8fd4\u56de\u5ba2\u6237\u7aef\u6210\u529f\u3002<\/li>\n<\/li>\n
- \u200b\u200b\u5f3a\u4e00\u81f4\u6027\u4fdd\u8bc1\u200b\u200b：\u6240\u6709\u526f\u672c\u5b8c\u6210\u5199\u5165\u624d\u786e\u8ba4，\u907f\u514d\u810f\u8bfb\u3002<\/li>\n<\/ul>\n
3. \u200b\u200bPGLog\u4e0e\u5f02\u5e38\u6062\u590d\u200b\u200b<\/h5>\n
- \n
- \u200b\u200bPGLog\u200b\u200b：\u8bb0\u5f55\u5bf9\u8c61\u7248\u672c\u53f7，\u7528\u4e8e\u526f\u672c\u95f4\u540c\u6b65\u72b6\u6001\u3002<\/li>\n
- \u200b\u200b\u6545\u969c\u5904\u7406\u200b\u200b：\n
- \n
- OSD\u5b95\u673a\u540e，\u901a\u8fc7PGLog\u6bd4\u5bf9\u7f3a\u5931\u6570\u636e\u5e76\u91cd\u5efa\u3002<\/li>\n
- Scrubbing\u673a\u5236\u5b9a\u671f\u6821\u9a8c\u526f\u672c\u6570\u636e\u4e00\u81f4\u6027，\u81ea\u52a8\u4fee\u590d\u5dee\u5f02\u3002<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
- \u5c06\u591a\u6b21\u5199\u5165\u5408\u5e76\u4e3a\u4e8b\u52a1\u7ec4，\u539f\u5b50\u63d0\u4ea4\u5230\u78c1\u76d8，\u51cf\u5c11\u5143\u6570\u636e\u66f4\u65b0\u5f00\u9500\u3002<\/li>\n<\/ul>\n
- ZFS\u9650\u4e8e\u5355\u8282\u70b9，Ceph\u652f\u6301\u200b\u200b\u8de8\u96c6\u7fa4\u3001\u6df7\u5408\u4e91\u200b\u200b\u5206\u5c42\u3002<\/li>\n<\/ul>\n<\/li>\n
- \u200b\u200b\u67b6\u6784\u672c\u8d28\u200b\u200b：\n
- \u200b\u200b\u7f51\u7edc\u5e26\u5bbd\u63a7\u5236\u200b\u200b：\n
- \n
- \n
- \n
- \n
- \u200bFC\u200b：\u5149\u7ea4\u901a\u9053\u5206\u533a\n
- \u200biSCSI\/NVMe-oF\u200b：IPsec\u96a7\u9053\n
- \u200bS3\u591a\u6bb5\u4e0a\u4f20\u200b：\n
- \u200bNFSv4.1+\u200b\u200b：\u4f1a\u8bdd\u6301\u4e45\u5316\n
- \u200biSCSI\u200b：\u542f\u7528TOE（TCP\u5378\u8f7d\u5f15\u64ce）\n
- \u200b\u67b6\u6784\u7279\u70b9\u200b：\n
- \u200b\u6838\u5fc3\u6982\u5ff5\u200b：\n
- \u200b\u6838\u5fc3\u7b97\u6cd5\u200b：\n
- \u200b\u7b97\u6cd5\u5b9e\u73b0\u200b：\n
- \u200b\u7248\u672c\u6f14\u8fdb\u200b：
- \u200b\u7b97\u6cd5\u5b9e\u73b0\u200b：\n
- \u200b\u6280\u672f\u539f\u7406\u200b：
- \u200b\u6280\u672f\u539f\u7406\u200b：
- Microsoft Project Silica（\u73bb\u7483\u4ecb\u8d28\u5b58\u50a8\u4e07\u5e74）<\/li>\n<\/ul>\n<\/li>\n
- \n
- \u200b\u534e\u4e3aOceanStor V6\u200b：
- \u200bNVIDIA BlueField\u200b：
- \u200bIntel Optane PMem\u200b：
- \u200b\u673a\u5668\u5b66\u4e60\u9884\u6d4b\u200b：