网硕互联帮助中心
PHP接单涨薪系列（118）：万卡集群通信优化，如何降低All-Reduce延迟90%？
文章浏览阅读563次，点赞8次，收藏15次。摘要 本文针对万卡集群训练中高达70%的通信延迟问题，提出三大核心技术优化方案：拓扑感知通信算法、NCCL硬件优化及...
标签：分布式
第3页
PHP接单涨薪系列（117）：千卡级大模型训练，如何用3D并行策略突破显存墙
文章浏览阅读508次，点赞9次，收藏9次。本文系统解析了百亿参数大模型训练的分布式核心技术方案，针对显存不足、训练效率低下和千卡通信瓶颈三大痛点，提出3D并行技...
hadoop（服务器伪分布式搭建）
文章浏览阅读719次，点赞14次，收藏28次。摘要 本文解决两个常见问题：1) Windows脚本在Linux系统运行时因换行符差异导致的报错，可通过dos2u...
西电分布式计算大实验——在腾讯云轻量服务器上搭建分布式计算环境：从MPI到Spark全栈指南
文章浏览阅读665次，点赞16次，收藏28次。通过本文的指导，你应该已经成功在腾讯云轻量服务器上搭建了完整的分布式计算环境。这种环境不仅适用于学习实验，也可作为...
Kafka的存储与索引：数据处理的底层奥秘
文章浏览阅读836次，点赞5次，收藏6次。Kafka 的存储与索引机制是其能够在大数据领域大放异彩的关键所在。日志分段机制将大文件分割成小文件，结合偏移量索引和...
Python实例题：分布式任务调度系统
文章浏览阅读243次，点赞3次，收藏3次。分布式任务调度系统。
分布式微服务系统架构第152集：JavaPlus技术文档平台日更
文章浏览阅读914次。服务器收到FIN包，回应一个ACK包（ACK=1, ack=u+1），进入CLOSE_WAIT状态，客户端收到后进入FIN_WAIT_2状...
Ray框架核心原理解析：从Actor模型到分布式参数服务器——实现异构计算集群的联邦学习框架
文章浏览阅读831次，点赞12次，收藏21次。GCS（Global Control Store）实时监控集群状态，实现任务级细粒度调度。：Tasks（无状态任务...
一个服务器算分布式吗，分布式需要几个服务器
文章浏览阅读712次，点赞5次，收藏9次。通过通信网络共享资源、共同完成任务。，而非单纯堆砌服务器数量。分布式系统的核心在于。分布式系统的核心在于。_分布式服务...
计算机基础知识（第五篇）
文章浏览阅读859次，点赞5次，收藏9次。架构演化与维护、未来信息综合技术、知识产权与标准
