26년 3월 3주차 그래프 오마카세

A Case for Hypergraphs to Model and Map SNNs on Neuromorphic Hardware

paper link : https://arxiv.org/abs/2601.16118

• LLM 기반 거대 AI 인프라가 수천 대의 서버로 구성된 대규모 데이터센터를 필요로 하는 것과 대조적으로, 인간의 뇌는 놀라울 정도로 높은 효율로 작동합니다. 수천억 개의 뉴런이 끊임없이 신호를 주고받으면서도 에너지 소비는 고작 약 20와트에 불과하며, 동시에 복잡한 추론과 창의적 사고를 수행한다는 사실은 매우 인상적입니다.
• 이러한 특성에 착안해 등장한 것이 바로 스파이킹 신경망(Spiking Neural Networks, SNN)과 이를 실행하기 위해 설계된 뉴로모픽 하드웨어(Neuromorphic Hardware, NMH)입니다.
  • SNN은 뇌의 희소성을 기반으로, 특정 순간에 활성화되는 극소수의 뉴런 패턴을 이진 스파이크(전기 신호) 형태로 표현함으로써 불필요한 연산을 줄이고 정보를 효율적으로 압축하는 방식으로 동작합니다.
  • NMH는 시냅스 간 화학적 연산이 즉각적으로 이루어지는 뇌의 구조에서 영감을 받아, 현대 컴퓨터에서 CPU(연산)와 RAM(기억)이 분리되며 발생하는 데이터 이동 비용과 전력 소모를 최소화하도록 설계된 뇌 모방형 회로 시스템입니다. (NMH에 대한 개요는 Intel의 Loihi 소개 페이지에서 참고해보시면 좋습니다.)
• 뇌에서 뉴런을 노드, 시냅스를 엣지로 표현하는 관점에 따라, 수백만 개의 뉴런으로 이루어진 SNN을 물리적 하드웨어 위에 효율적으로 배치하는 문제는 전통적으로 그래프 모델링을 통해 다루어져 왔습니다.
• 그러나 이러한 접근에는 구조적인 한계가 존재하며 실제 구현은 예상보다 훨씬 복잡합니다. 특히 뉴로모픽 하드웨어에서 스파이크가 전달되는 방식, 즉 하나의 신호가 여러 목적지로 동시에 복제되어 전달되는 메커니즘을 기존 그래프 표현만으로는 자연스럽게 담아내기 어렵다는 문제가 있습니다.
• 이번 주 오마카세에서 소개할 논문의 저자들은 기존 접근이 간과해 온 핵심적인 구조적 관점을 제시합니다. 저자들은 이러한 한계를 극복하기 위해 SNN의 표현 단위를 기존 그래프에서 하이퍼그래프로 확장할 것을 제안합니다.

• 대부분의 뉴로모픽 칩은 공통적인 구조를 가지고 있습니다. 수백에서 수천 개의 코어가 2D 격자 형태로 배치되어 있으며, 각 코어는 일정 수의 뉴런을 담당합니다. 뉴런 사이에서 발생하는 스파이크 신호는 Network-on-Chip을 통해 전달됩니다.
• 여기서 중요한 특성이 하나 있습니다. 동일한 코어 안에 있는 여러 뉴런이 같은 출처의 스파이크를 받아야 할 경우, 하드웨어는 그 스파이크를 단 한 번만 수신한 뒤 내부에서 복제합니다. 즉, 같은 목적지를 공유하는 뉴런들을 하나의 코어에 모아두면 통신 비용을 크게 줄일 수 있습니다. 이것이 바로 이 논문의 핵심 개념인 Synaptic Reuse입니다.
• 기존의 그래프 기반 접근법들은 바로 이 지점을 충분히 포착하지 못했습니다. 하나의 뉴런이 여러 목적지로 동시에 스파이크를 보내는 구조를 그래프로 표현하면 이 관계가 여러 개별 엣지로 분산되어 표현되며, 결과적으로 어떤 뉴런들이 동일한 스파이크 출처를 공유하는지에 대한 정보가 사라지게 됩니다.
• 하이퍼그래프에서는 하나의 하이퍼엣지(h-edge)가 단일 소스 뉴런과 여러 타깃 뉴런을 하나의 관계로 묶어 표현합니다. 이는 SNN에서 하나의 뉴런 축삭(axon)이 여러 시냅스로 분기되는 구조와 정확히 대응됩니다.
• 이 표현 방식의 장점은 두 가지 중요한 개념을 자연스럽게 정의할 수 있다는 점입니다. 실제 실험 결과에서도 확인되듯, 제안된 하이퍼그래프 기반 접근법은 기존 그래프 기반 방법 대비 최대 2배 이상 효율적인 매핑 성능을 달성했습니다.
  • 1차 친밀도(First-order Affinity): 같은 h-edge에 포함된 노드들이 서로 얼마나 강하게 직접 연결되어 있는지를 나타냅니다. 이 값을 높이면 코어 배치 과정에서 연결된 코어들 사이의 물리적 거리를 줄일 수 있으며, 이는 Connections Locality 개념으로 이어집니다.
  • 2차 친밀도(Second-order Affinity): 노드들이 얼마나 많은 h-edge를 공통으로 공유하는지를 나타냅니다. 기존 그래프 기반 방법들은 뉴런 사이의 직접 연결 강도만을 기준으로 파티셔닝을 수행했기 때문에, 이러한 2차 친밀도를 충분히 활용하지 못했습니다.
    • 이 값을 극대화하면 파티셔닝 과정에서 시냅스 재사용 가능성이 높은 뉴런들을 같은 코어에 묶을 수 있으며, 이는 Synaptic Reuse와 직접적으로 연결됩니다.

• 논문에서는 하이퍼그래프 기반 파티셔닝과 배치를 위한 여러 알고리즘을 제안하고 비교합니다.
• 파티셔닝 측면에서 가장 눈에 띄는 방법은 새롭게 제안된 Hyperedge Overlap-based Partitioning입니다. 이 방법은 h-edge들을 순회하면서 2차 친밀도가 높은 노드를 공유하는 뉴런들을 동일한 파티션으로 묶어가는 greedy 전략을 사용합니다. 계산 복잡도를 낮게 유지하면서도 대규모 SNN에서 높은 품질의 파티션을 생성할 수 있습니다. 기존의 계층적 파티셔닝보다 품질은 약간 낮지만, 훨씬 빠른 속도로 유사한 수준의 결과에 도달합니다.

• 배치 측면에서는 Spectral Placement가 흥미롭습니다. 이 방법은 하이퍼그래프 라플라시안 행렬의 고유벡터를 이용해 뉴런 파티션들을 2D 좌표 공간에 먼저 배치한 뒤, 이를 실제 하드웨어 격자에 매핑합니다. 그래프 이론의 스펙트럴 방법을 배치 문제에 적용한 것으로, 특히 밀도가 높은 SNN에서 강점을 보입니다.

• 논문은 총 12개의 SNN을 대상으로 실험을 진행했습니다. LeNet, AlexNet, VGG11, MobileNet V1 같은 잘 알려진 피드포워드(Feedforward) 네트워크들을 SNN으로 변환한 것들과, 생물학적으로 영감을 받은 순환(Cyclic) 구조의 네트워크(Allen V1, Liquid State Machine 기반의 랜덤 네트워크들)까지 포함합니다.
• 특히 실험에서 확인된 중요한 사실은 Synaptic Reuse와 Connections Locality 두 지표가 최종 매핑 품질과 매우 강한 상관관계(Spearman's ρ ≈ -0.86, +0.69)를 보였다는 점입니다. 이는 단순한 직관을 넘어, 이 두 개념이 실제 매핑 품질을 예측할 수 있는 신뢰할 만한 지표임을 실증적으로 보여줍니다.

• 기존 연구들이 뉴런 간 연결, 즉 엣지에만 주목해 온 것과 달리 이 논문은 이러한 관계를 하이퍼그래프 구조로 명시적으로 표현해야 한다고 주장하며 이를 실험적으로 뒷받침합니다. 그로부터 전달되는 메시지는 분명합니다.

• 그래프 표현을 어떻게 설계하느냐는 그 위에서 동작하는 알고리즘의 가능성을 결정합니다. 이러한 관점에서 보면, 뉴로모픽 하드웨어와 그래프의 결합 문제에서 하이퍼그래프라는 표현이 아직 충분히 탐구되지 않았다는 사실 역시 앞으로의 연구에 많은 가능성을 남겨 줍니다.
• 이전 오마카세에서 던졌던 메시지와 마찬가지로 뉴로모픽 하드웨어라는 특정 응용 분야를 넘어 그래프 표현을 어떻게 설계하느냐가 그 위에서 동작하는 알고리즘과 시스템 성능을 어떻게 바꿀 수 있는지에 대한 흥미로운 시사점을 발견할 수 있을 것입니다. 이러한 점에서 구독자 여러분들에게 그래프 기반 알고리즘과 시스템을 바라보는 새로운 출발점이 되기를 기대해봅니다.

[Contact Info]

Gmail: jhbae1184@akane.waseda.jp

Twitter (X): @jhbae1184

LinkedIn