Cluter

Communication Optimizations on Large-Scale GPU Clusters Using Rail Optimized Networks and NCCL PXN

대규모 언어모델을 효율적으로 수행하기 위해서는 여러 대의 GPU 와 CPU 간의 네트워크 통신 최적화가 필요하다. 본 논문에서는 기존의 네트워크 토폴로지 기반 클러스터 구성의 비효율성을 개선하기 위하여 대규모 GPU 클러스터 환경에서 Rail …

Seha Lee, Hongil Shin, Gunjae Koo