Examining graph neural networks for crystal structures: limitations and opportunities for capturing periodicity

[https://arxiv.org/abs/2208.05039]

material 산업에서 gnn 이 활용되고 있다는 사실 알고계실까요? 반도체 디자인을 위해 강화학습과 GNN을 결합하여 진행하는 시나리오도 있는데요. 반도체는 원자 배열에 따라 전하의 이동을 받는데, 원자 배열 또한 원자-원자 간 그래프 형태로 표현이 되기 때문에 이를 전하이동 최적화측면으로 접근한다고 하네요.

논문의 저자는 이처럼 원자 배열의 중요성에 대해 강조하며 material 산업에서의 GNN 의 역할에 대해 논의합니다. 과연 GNN이 기존 human-designed descriptors 의 특성 정량화를 잘 할것인가? 가 주 research question 이라고 보시면 될 것 같습니다.

정량화를 ‘잘’ 한다는 것은 결국 화합물 구조의 특성을 벡터로 잘 표현한다라는 것과 동일한 의미인데요. 이 때 화합물 구조 특성 추출할 때 발생하는 GNN 의 한계점으로 다음 2가지를 언급합니다.

1. capture lattice constants
2. 격자 구조로 표현된 분자구조에서의 공간정보 또한 중요하다 라는 의미를 내포하고 있습니다. 예를 들면 ) H-H-H 등 모두 동일한 원자 정보를 가진 화합물일지라도, 어떤 H로 연결되어있으며 그 연결의 각도 그리고 몇번째 depth에 속해있는가와 같은 3D 입체적인 정보를 반영하게 된다면 전혀 다른 조합이 탄생한다는거죠. 이를 기존에는 많이 간과하고 있으므로 본 논문에서는 그 문제점을 어떻게 해결할 것인가에 대해 아이디어를 제시합니다.
3. long-range information ,readout-function
4. neighborhood aggregation 을 통해 hop 간의 정보가 전달이 되긴합니다. 허나, 3-hop 이상의 거리가 있는 노드 정보를 받아올 때 여러 정보들이 결합됨으로써, 본연의 정보를 잃고 전달이 되곤하는데요. 이 문제를 어떻게 해결할 것인가에 대해 아이디어를 제시합니다.

material , physics 에 관심있는 분들이 보시면 좋을 논문 같습니다. 왜 gnn 이 lattice 구조에서 강한가 부터 시작해서 어떤 요소들이 prediction에 유리한지, 와 같은 전반적인 청사진을 파악하기에 좋은 논문이라 생각됩니다. (많은 내용이 담겨있는 만큼 논문의 양 또한 방대합니다..무려 49p)

On the Ability of Graph Neural Networks to Model Interactions Between Vertices

[https://arxiv.org/abs/2211.16494]

vertex - vertex 간의 interaction 또한 예측성능에 중요한 재료라고 할 수 있습니다. 기존에는 어떤 vertex가 removed 되었을 때, prediction performance 가 오르고 내리고를 관찰하며 중요도를 산정했다면, 본 논문에서는 vertex 를 연결하는 edge 의 중요도를 산정하기 위한 아이디어를 제시합니다.

Walk Index Sparsification(WIS) 라는 아이디어 입니다. large-scale graph에서 발생하는 overload for memory, runtime 를 서두에 꺼내면서 전체 overall graph 보다 partitioning graph 중에서도 중요한 노드,엣지들을 보존한다면 비교적 연산량이 적기 때문에 효율적이다.라는 proof , reference 로 motivation을 전개해놓았습니다.

partition → WIS measurement 적용 → performance 체크 → edge remove 과정이 진행됩니다. 사전에 지정해놓은 하이퍼파라미터인 desired number of edge 에 도달할 때 까지 진행됩니다.

심플하게 생각해보면 딥러닝의 경량화 방법 중 하나인 pruning technique 를 그래프 데이터에 적용할 수 있게 변환했다고 보시면 될 것 같습니다.

핵심은 ‘separation rank’ 라는 measurement 과 vertex , graph prediction performance 간의 연관성을 어떻게 녹여내었는지를 보시면 논문의 핵심을 이해하셨다고 보셔도 될 것 같습니다.

large graph dataset (w GNN model training) 을 효율적으로 적용하기 위해 고민하고 계신 분들에게 도움이 될 것 같습니다.

Temporal Graph Learning in 2023

[https://towardsdatascience.com/temporal-graph-learning-in-2023-d28d1640dbf2]

dynamic , temporal graph 의 기본서라 생각해도 될만큼 핵심 내용들을 잘 정리해놓은 포스팅입니다.

temporal graph learning 이 무엇인지 개요부터 포스팅이 시작됩니다. 구성을 보시면 크게 ‘temporal graph introduction’ , ‘WL-test learning ‘, ‘ evaluation‘ , ‘ framework’ , ‘applications’ 다섯 섹션으로 구성되어 있습니다.

특히, temporal graph application 파트에서는 Disease modeling , anomaly detection , detecting information 3가지 측면으로 어떻게 활용이 되는지 접근법을 짧고 쉽게 설명이 되어있습니다.

그래프 형태의 데이터에서 시간에 대한 정보도 반영되어있을때, 어떤 접근법이 좋을지 고민하고 계신분들에게 도움이 될 만한 글입니다.

Multi-behavior Recommendation with Graph Convolutional Networks

[https://peterjin.me/Multi-behaviour Recommendation with Graph Convolutional Networks.pdf]

추천시스템 산업에서 도메인마다 다르겠으나, 유저의 만족도를 높인다 라는 목적은 모두 동일할거라 생각됩니다. 유저의 만족도가 높아짐에따라 구매, 구독 과 같은 요소들이 올라가며 플랫폼의 실질적인 수익 또한 상승할것이다 이기 때문에 단기적으로 보면

본 논문에서는 유저의 다양한 행동들을 그래프 형태로 표현하여 추천시스템에 활용합니다. 다양한 행동들이라 함은 정의하기에 따라 무수히 많겠으나 여기에선 click , cart , purchase 3가지만을 선정하여 적용합니다.

심플하게 각각의 행동에 따라 Weight 들이 학습하는 디자인은 예상하셨을거라 생각됩니다. 이 논문에서 주의깊게 보면 좋을 포인트는 1. 다양한 행동들이 유저의 추천에 어떻게 기여하는가에 대한 논리 전개 2. user-item graph 뿐만아니라, item-item graph 를 설계하여 대체재 , 보완재 측면으로 접근하는 논리 이상 두가지를 유의깊게 보시고 적용하시면 좋을것 같습니다.