25년 3월 1주차 그래프 오마카세
Recommended Weekly Paper list
- 이번 주 오마카세는 개인적으로 넓은 스펙트럼 도메인으로 리스트업하고 있는 그래프 관련 논문들 중 시간되실 때 한번 쯤 읽어보시면 좋을만한 것들을 공유드리면서 가볍게 마무리하고자 합니다.
- 최신 ICLR 2025 accepted papers & respective categories 등을 포함하여 분야 불문하고 다양한 범주의 그래프 관련한 인사이트를 위해 이번 주에 제가 읽어본 4가지 논문들을 선정하여 오마카세 리스트에 담아보았습니다. 좋은 참고문헌로써 전달되기를 바랍니다.
- Spectral Journey: How Transformers Predict the Shortest Path : 그래프와 트랜스포머 모델 간의 상호작용을 다루는 연구 논문이 많이 나오면서 그 관심도도 점점 높아지고 있는 듯 싶습니다. 저 또한 집중하고 있는 주제 인데요, 간단하게 다음 논문에서는 그래프 상의 최단 경로를 찾아내는 2개 레이어로 구성된 decorder-based transformer모델에 집중하여, line graph의 라플라시안 계산 방법 및 Latent space 공간에서 타겟 그래프와의 거리 정보를 기반한 다음 엣지 선택 방법 등을 제안하는 논문입니다. 그로부터 최대 10개 노드까지 포함된 그래프에서 최단 경로를 예측할 수 있다는 것을 발견한 것을 해당 논문의 핵심 기여도로 밝힙니다.
- On Vanishing Gradients, Over-Smoothing, and Over-Squashing in GNNs: Bridging Recurrent and Graph Learning : 그래프 신경망의 고질적인 문제들을 해결하는 방법에 대한 논의를 담고 있습니다. GNN과 RNN의 상호관계성을 분석하고, 이를 기반으로 상태 공간 모델으로 해석하는 방법을 소개합니다. MAMBA 기반 모델 아키텍처와의 연관성을 확인해볼 수 있을 것으로 기대합니다.
- Do Graph Diffusion Models Accurately Capture and Generate Substructure Distributions? : 기존 분자 패턴을 학습하여 새로운 분자 구조를 생성하는 도메인에 그래프 디퓨전 모델이 많이 활용되고 있습니다. 하지만 중요한 구성 요소를 정밀하게 재현하는 것에 대한 어려움이 존재하는데, 특히 제목과 같이 Substucture의 세부 구조 사항 등을 놓치는 문제점을 자세하게 분석합니다. 이러한 분자적 구성 요소를 얼마나 정확하게 재.현하는지 Local(e.g. Individual bonds and atoms) & Global (Overall molecular structure)측정하는 새로운 방법을 제안합니다.
- HOG-Diff: Higher-Order Guided Diffusion for Graph Generation : 그래프 생성 태스크에 대한 토폴로지 부재성 문제를 해석하고 보완하는 방법론을 제안하는 논문입니다. 호지 이론을 바탕으로 고차원 관계형 데이터의 복합적인 구조 정보와 서로간의 상호작용을 분석합니다. Coarse to Fine-grained의 생성방식을 추구하여 고차원 정보를 탐색하면서 점진적으로 신뢰할 수 있는 그래프를 생성하는 과정을 따라가는 것이 메인 포인트이며, 가우시안 분포에 점진적으로 접근하면서 데이터 분포를 모델링하는 데 Ornstein-Uhlenbeck process라는 마르코브 프로세스를 활용합니다. 이러한 전 과정은 그래프 구조 정보의 점진적인 재구성을 허용하며 생성된 그래프의 연결성 및 희소성을 파괴하지 않고 가우시안 분포를 유지할 수 있게 도움을 준다고 합니다.
[Contact Info]
Gmail: jhbae1184@akane.waseda.jp
Twitter (X): @jhbae1184