中国科大冲破图神经网络练习瓶颈,Capsule 体系机
栏目:专题报道 发布时间:2025-02-25 08:33
IT之家 2 月 23 日新闻,2 月 11 日,中国科年夜姑苏高级研讨院医学影像智能与呆板人研讨核心 DDL 试验室发布,团队在年夜范围图神经收集(GNN)练习体系方面的研讨论文被国际著名学术集会 ACM International Conference on Management of Data(SIGMOD)2025 任命。图神经收集(GNN)的主流练习框架,如 DGL 跟 PyG,应用 GPU 的并行处置才能从图数据中提取构造信息,在推举体系、天然言语处置、盘算化学跟生物信息学等范畴展示出出色机能。只管 GPU 在 GNN 练习中供给了强盛的盘算上风,但其无限的显存容量难以包容宏大的图数据,因此现有 GNN 体系在年夜范围图数据上的扩大性方面仍面对挑衅。对此,DDL 试验室团队提出了一种新的核外(Out-of-Core)GNN 练习框架 ——Capsule,为年夜范围图神经收集练习供给了高效的处理计划。与现有的核外 GNN 框架差别,该体系经由过程图分别跟图裁剪战略将练习子图构造及其特点完整放入 GPU 显存之中从而打消了反向传布进程中 CPU 与 GPU 之间的 I/O 开支,进而明显晋升了体系机能。别的,Capsule 经由过程计划基于最短哈密顿回路的子图加载方法跟流水线并行战略,进一步优化了机能。同时,Capsule 具有即插即用的特征,可能无缝集成至主流开源 GNN 练习框架中。在年夜范围实在图数据集上,Capsule 与现有最好的体系比拟可能在仅应用 22.24% 的内存下带来最高 12.02 倍的机能晋升,并供给了对于练习所得嵌入方差的实践上界。这一结果标记着我国在图盘算体系范畴获得主要冲破,为交际收集剖析、生物医学图谱构建等需处置超年夜范围图数据的场景供给了全新处理计划。IT之家附论文链接:https://doi.org/10.1145/3709669
服务热线
400-123-4567