25년 4월 1주차 그래프 오마카세
Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting
paper link : https://arxiv.org/abs/2206.09113
- 참여 프로젝트 중 시계열 데이터 분석 관련하여 그래프를 활용해보고자 하는 좋은 기회를 부여받아서, 해당 도메인 상에서 정말 유명한 위 논문을 읽고 요약하여 여러분들께 전달해드려보고자 합니다.
- 다변량 시계열 (Multivariate Time Series) 예측을 위해 단기 시계열 데이터에 집중되어 공간 및 시간 패턴을 잘 모델링하도록 사전학습되어있는 STGNN 모델을 개선하여 새로운 프레임워크 STEP을 제안합니다.
- 단기 시계열 데이터에 집중되어있기에, 기존 STGNN은 장기 시계열 데이터에서 중요한 패턴 및 종속성을 놓치기 쉽습니다. 또한 이를 직접적으로 확장하기에는 값비싼 계산 비용과 최적화의 어려움을 가지고 있습니다.
- 장기 시계열로의 개선을 위해, 트랜스포머 기반 pre-trained 모델 (TSFormer)을 설계한 이후, masked autoencoding 방식으로 학습을 진행합니다. 그로부터 시계열 데이터의 higher semantic한 정보를 학습할 수 있게 됩니다.
- 입력으로 시계열의 패치 분할 방법을 활용하는데, 시간 포인트 기반 정보처리보다 시퀀스 길이를 줄일 수 있어 계산 효율성을 높히고, 공간적 의미 유사성을 갖는 정보들을 묶어 명확한 제공을 가능케합니다.
- 상관관계를 모델링하기 위하여 STGNN과 동일하게 시계열 상의 종속성 그래프 구조를 차용합니다. 위의 TSFormer로부터 얻어낸 표현 정보를 기반으로 KNN 그래프를 형성하고, 이를 정규화항으로 활용하는 방법으로부터 시계열 그래프의 학습 안정성을 높히고 예측 정확도를 향상시켰습니다.
- 학습된 그래프 구조가 KNN 구조와 유사해지도록 크로스-엔트로피 loss를 정규화항으로 활용하였습니다.
- 다음 논문에서는 베르누이 분포를 따라 discrete한 의존성을 인코딩하는 그래프를 효과적으로 샘플링하고 학습하는 과정에서 해당 그래프의 인접 행렬 계산의 미분 불가능한 문제를 해결하기 위해 Gumbel-Softmax reparametrization 기법을 활용하였습니다.
- 트랜스포머 기반 장기 시계열 데이터 처리의 장점과 공간적 상관관계 모델링에 특화된 그래프 학습 방법을 통합하여 설계된 STEP은 기존 STGNN의 단기적 제한된 패턴정보 학습을 넓게 확장시키고, 변수 간의 종속성을 정확하게 모델링할 수 있었습니다. 다양한 실험을 통해 이를 검증합니다.
GiGL: Large-Scale Graph Neural Networks at Snapchat
paper link : https://arxiv.org/abs/2502.15054
github : https://github.com/snap-research/GiGL
- Snapchat research에서 거대 그래프 학습 라이브러리인 GiGL (Gigantic Graph Learning)에 대한 논문을 최신 발표했습니다.
- 해당 라이브러리는 중심 노드를 기반으로 그래프 샘플링 기법을 활용하여 최대 9억개의 노드, 168억개의 엣지, 그리고 다양한 노드 및 엣지 피처로 구성된 그래프를 확장시킵니다. 그로부터 30개 이상의 추천시스템, 친구 추천 및 사기 남용 등과 같은 이상 감지 등 여러 응용프로그램에 대한 GNN의 성공 사례를 제공합니다.
- 현실적으로 대규모 그래프를 처리하는 GNNs의 능력은 제한되어 어려움이 존재하고 있으나, GiGL은 이를 해결하기 위해 구축된 라이브러리로써 대규모 그래프에 대한 분산 훈련, 추론, 및 관리 시스템을 효과적으로 지원합니다. 다음의 핵심 방법 Tabularization 및 Real-Time Subgraph Samplinig을 활용하는 것으로 본 논문에서 설명합니다.
- 간략하게 Tabularization은 그래프 데이터를 테이블(Tabular) 형태로 변환하여 분산 처리하는 방식이며, 그로부터 비용 절감 및 스케일링 등의 효과를 얻어낼 수 있음을 언급합니다.
- Real-Time Subgraph Sampling은 이름 그대로 실시간 대규모 그래프로부터 학습에 필요한 서브그래프를 추출하는 방법으로 GraphLearn-for-Pytorch (GLT)의 커스텀 버전을 통합하여 구현되었습니다.
- 조만간 업데이트 되어질 깃헙 코드 및 OSS 공개 등을 살펴보며 디테일한 세부정보를 확인해보면 재밌을 것 같습니다.
- 개인적으로 읽어보고자 리스트업 해둔 최신 그래프 논문들을 공유드립니다.
- Towards Quantifying Long-Range Interactions in Graph Machine Learning: a Large Graph Dataset and a Measurement : 장거리 상호작용 (Long-range Interaction)을 정량화하기 위한 새로운 그래프 머신러닝 방법을 제안합니다. 기존 연구들의 Inductive Learning 방식에 초점이 맞추어진 한계점을 장거리 상호작용의 사례들과 연관지어 깊이 있게 분석하고, 이를 해결하기 위한 새로운 대규모 데이터셋인 City-Networks를 제안합니다. 장거리 상호작용을 측정하는 독립적인 모델링 방법을 위해 이웃 노드들의 자코비안 (Jacobian)을 활용한 정량화 기법을 소개합니다.
- No Metric to Rule Them All: Toward Principled Evaluations of Graph-Learning Datasets : 그래프 학습 데이터셋의 품질을평가하기 위한 새로운 프레임워크인 RINGS (Relevant Information in Node features and Graph Structure)을 제시합니다. 기존의 성능 중심 평가방식에서 벗어나 데이터셋 자체적으로 그래프 학습 방법의 효과를 제대로 벤치마킹할 수 있는지의 여부를 평가하는 데 중점을 두고 있습니다. 좋은 그래프 데이터셋은 그래프 구조 및 노드 특징 간 상호 보완적인 정보를 담고 있어야 함을 언급하며 일부 데이터셋을 perturbation시켜 원래 데이터셋과 차이 비교를 통해 품질을 평가하는 방법을 제안합니다.
- Survey on Generalization Theory for Graph Neural Networks : 논문 제목 그대로 MPNNs의 일반화 능력에 대한 기존 연구들을 체계적으로 분석하는 서베이 논문입니다. VC Dimension, Rademacher Complexity 등의 다양한 방법론을 활용하여 MPNNs의 일반화 능력을 분석하며 이론적으로 부족한 부분을 해결할 수 있는 미래적인 방향성 및 과제를 제시합니다.
[Contact Info]
Gmail: jhbae1184@akane.waseda.jp
Twitter (X): @jhbae1184