Performance Analysis of Graph Convolutional Networks on Accelerator Architectures

Abstract

Graph neural networks의 연산 과정은 높은 희소성을 갖는 행렬 연산을 포함하고 있다. 그러므로, GNN 처리를 기존의 조밀 행렬 및 낮은 희소성을 가지는 행렬 연산에 특화된 가속기에서 수행할 경우 매우 낮은 효율을 보일 것으로 예상할 수 있다. 이 논문에서는 GNN의 대표적인 응용 방법인 GCN 커널을 행렬 연산 가속기 구조 중의 하나인 TPU와 SIGMA에서 수행시키면서 GCN 커널이 보여주는 성능 저하 요소를 분석하였다. 분석 결과 기존의 가속기 구조에서는 매우 높은 희소성을 가지는 행렬 연산이 낮은 효율성은 보여주는 것을 밝혔으며 이는 데이터의 이동 및 zero 값에 따른 PE의 낮은 utilization에 의한 것임을 밝혀내었다.