GraphOmakase
Graph Neural Networks Go Forward-Forward modeling [https://arxiv.org/pdf/2302.05282.pdf] * ‘Backward 를 Forward 로 대체한다’라는 참신한 아이디어를 적용한 논문입니다. 레이어를 거듭하며 파라미터가 갱신되는 기존 학습 방식과 다르게, 오직 한 레이어에서 파라미터가 갱신되는 방식입니다. 그럼 자연스레 체인룰 과정이 생략되며 cost 가 간소화되는 효용을 얻을 수 있습니다.
GraphOmakase
그래프 임베딩 하실 때 데이터에 대해 고민해보신 경험 있으실까요? 오늘 이 시간에는 임베딩 결과에 도움이 될만한 네트워크 지표를 가져왔습니다. 바로 degree 뿐만 아니라, clustering coefficient , path length 등에 대한 요소들입니다. 그럼 이 요소들이 어떻게 도움이 되는가? 라는 의문이 드실텐데요. 활용 사례를 말씀드려볼게요. Table 2.1. 에서 나온 지표들을 모두 고려하면
GraphOmakase
static and dynamic robustness Dynamic 편 * Robustness 기억나시나요? 저번주 오마카세에서는 ‘static’ 맥락을 다루었다면, 이번주차는 ‘dynamic’ 맥락입니다! ‘static 와 dynamic 의 가장 큰 차이점은 바로 ‘역학’ 입니다. 코로나를 역학조사 할 때도 쓰인 개념이죠. SIR 모델. 누군 치료되고 누군 감염되는 등 실시간으로 변화되는 네트워크 상태 예의주시하는게 핵심입니다. 그렇다면 어떻게 우리가 예측을 할
GraphOmakase
Static and dynamic robustness * 오늘 다루어볼 네트워크 지식은 ‘robustness’ 입니다. 딥러닝 분야에서와 복잡계 네트워크 분야에서의 ‘robustness’는 모델의 강건함을 측정한다는 동일한 목적이 있으나, 어떤식으로 측정할지 기준치 사전분포 측정과 같은 요소들 때문에 약간 결이 다르다고 볼 수 있습니다. * ‘robustness’ , 딥러닝 분야에서는 training 데이터셋에 존재치않은 out-of-distribution 데이터를 inference 할 때
GraphOmakase
Examining graph neural networks for crystal structures: limitations and opportunities for capturing periodicity [https://arxiv.org/abs/2208.05039] material 산업에서 gnn 이 활용되고 있다는 사실 알고계실까요? 반도체 디자인을 위해 강화학습과 GNN을 결합하여 진행하는 시나리오도 있는데요. 반도체는 원자 배열에 따라 전하의 이동을 받는데, 원자 배열 또한 원자-원자 간 그래프
GraphOmakase
Anomaly Detection in Multiplex Dynamic Networks: from Blockchain Security to Brain Disease Prediction [https://openreview.net/pdf?id=UDGZDfwmay] * Anomaly detection with GNN 아이디어 입니다. brain , blockchain , 추천 , 협업 에서 발생하는 anomaly edge interaction 을 unsupervised manner 로 해결해본다 가 논문의 노벨티 라고 할 수 있겠습니다. * 저자는 3가지 문제를 제시합니다.
GraphOmakase
Scalable Graph Transformers for Million Nodes • 글 서두부터 graph transformer 와 graph neural network 의 차이점인 “whether is the resorting function the message or not” 을 언급하면서 이야기가 진행됩니다. • message passing 을 hopbyhop으로 진행하며 information resort 가 필요한 gnn 대비(local feature aggregation), all feature aggregation 이 가능한 graph transformer
GraphOmakase
TGL: A General Framework for Temporal GNN Training on Billion-Scale Graphs // APAN: Asynchronous Propagation Attention Network for Real-time Temporal Graph Embedding // Pay Attention to MLPs
💡dynamic graph embedding , scalability graph with data engineering , spatial gating unit , homophily 오늘의 네트워크 지식 Connected components 들어가기에 앞서, "subgraph 와 connected component 의 차이"에 대해 알고 계시나요? * (본문)One standard way to categorize graphs is as connected or disconnected. A disconnected graph can be decomposed into
GraphOmakase
Sequential Recommendation System 카카오 서비스 적용기 // Motifs-based Recommender System via Hypergraph Convolution and Contrastive Learning // Mining Social-Network Graphs
GraphOmakase
1. Giant higher-ordre component 가 정말 dynamics 에 영향을 미칠까요 ? // 2. scalable GNN 의 대안 중 하나 KuzuDB에서 어떻게 이를 다룰지에 대해 알아봅니다. // 3. Jax vs. Pytorch 과연 large graph data를 학습할땐 뭐가 좋을까요?!
GraphOmakase
review keyword 1. hypergraph application 2. Positional encoding with Graph representation learning 3. expressive-power of graph checking experiment