今天（19日），上海东说念主工智能践诺室发布DeepLink超大边界跨域混训时代决策，并已完成多个神志落地，救济千公里多智算中心跨域长稳混训千亿参数大模子。
本年2月，上海AI践诺室聚积十余家合作伙伴，在上海建成了超大边界跨域混训集群原型，并罢了千亿参数大模子20天不拒绝巡视。在此基础上，上海AI践诺室交融中国联通AINET时代，高出1500公里畅达了上海和济南之间的智算中心，完成千亿参数大模子混训，等效算力达单芯片单集群算力的95%以上；与中国电信息壤算网合作，罢了了北京、上海与贵州等多地智算中心的互联和大模子混训。
为高无邪、低老本获得大算力提供新道路
跟着国内AI相干及产业利用日益深远，算力需求抓续增长，世界智算中心大边界兴修，但存在配置诀别、采购芯片代次各别大、算力资源碎屑化等问题，难以无邪、低老腹地获得大算力。
上海AI践诺室攻克了大边界跨域异构集群调度、高性能通讯契约整合、高可靠容错机制盘算等时代弯曲，有用应付硬件算力狼藉不王人、通讯同步不理会、故障容错难等挑战，推出DeepLink超大边界跨域混训时代决策，以保险跨域智算集群的大模子长稳巡视。
DeepLink超大边界跨域混训时代决策
破解效果低、不理会、难协同三浩劫题
智算芯片行业百花王人放，但不同芯片的软件栈及性能存在各别，异构互联通讯效果低下，导致适配纳管难度大、混训效果不高。且大边界远距离跨域混训需要照看网罗带宽、通讯延长、巡视理会性等问题。
针对远距离跨域混训存在的数据同步和理会性问题，这一时代决策翻新性地给与“3D并行+PS”架构，将超大边界任务分发到各个智算中心，通过算法换通讯的形势减少全局同步复杂度和通讯支出，有用消弱了网罗职守，为数据传输提供了更宽松的时刻窗口，等闲专线即可豪恣通讯带宽的条件；还确保在他乡巡视中即使某个智算中心的节点发生故障也不影响举座巡视，举座莳植巡视理会性。
“3D并行+PS”架构
针对芯片种类广宽，不同硬件显存容量和通讯带宽狼藉不王人导致的异构混训效果低下弯曲，本决策同期暴戾修订的异构活水线并行战术，并给与自研诀别式并行框架动态转化不同硬件的任务量，以更细粒度的拆分形势照看了异构芯片各别性带来的负载平衡和推敲壅塞问题。聚积团队基于现存通讯契约构建适配层，见效遏抑了异构芯片互联效果低下的瓶颈。
联袂高下贱，助力AI生态富贵
AI生态茂密发展，离不开算力资源高效周转。行动海外级东说念主工智能新式科研机构，上海AI践诺室弃取有组织的科研范式，线路原创算法及AI软硬件深度互联时代上风，在世界算力互联互通探索中抢先布局、不断遏抑。
DeepLink决策不仅考证了跨域混训的实用价值，也为行业提供了全新启示。在推敲资源有限的场景下，行业依旧不错罢了不同性能芯片的无邪组合，无需依赖高算力芯片“扎堆”式部署，有用裁汰对特定硬件的旅途依赖；不同算力集群可通过互联组合酿成“协力”，遏抑单集群性能上限；跨厂商资源更好地兼容与谐和，为算力生态的多元富贵奠定基础。
DeepLink超大边界跨域混训时代快速集成决策
新民晚报记者了解到，当今，上海AI践诺室DeepLink绽放推敲体系已深度集成至联通、电信、商汤、仪电等智算平台，罢了“1个平台+N种芯片+X个地域”理会启动。