Place for sharing the trend and foundation graph technology
GraphOmakase
A Complete Expressiveness Hierarchy for Subgraph GNNs via Subgraph Weisfeiler-Lehman Tests [https://arxiv.org/pdf/2302.07090.pdf] Expressive power, 그래프 데이터의 장단점을 논할 때 항상 강조되는 요소입니다. 노드 수와 엣지 수가 동일한 그래프라 하더라도, 그래프 내의 노드 연결 방식에 따라 다른 그래프로 구분됩니다. 따라서 '어떻게 연결'되는지를
GraphOmakase
Preview How Transitive Are Real-World Group Interactions? - Measurement and Reproduction → 그래프 지표 중 하나인 전이성(Transitivity), Hypergraph 에서는 어떻게 측정되며 생성모델에서는 어느 측면으로 접근할 수 있을까요? A*Net: A Scalable Path-based Reasoning Approach for Knowledge Graphs →KG Reasoning , 안그래도 비용이 많이 드는 알고리즘인 최단거리탐색 알고리즘을 지식그래프에 적용을 한다? A*
GraphOmakase
Preview On the Connection Between MPNN and Graph Transformer → Graph transformer 의 Self-attention,Positional-encoding 을 대체하기 위해 MPNN에서 어떤 시도를 할 수 있을까요? Virtual node 를 통해 앞선 두가지 요소를 대체하기 위한 아이디어에 대해 알아봅니다. EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations → Euqiformer 모델에서 scalable 를 위해 개선한
GraphOmakase
Transformers Meet Directed Graphs [https://arxiv.org/pdf/2302.00049.pdf] 트랜스포머 시대에 살고있다해도 무리가 없을 정도로 데이터 종류를 가리지않고 많은곳에서 트랜스포머를 활용하고 있는 요즘입니다. 하지만, 그래프 데이터에서만 유난히 기를 못쓰는데요. 그 이유로는 1. 동형 사상 2. 토폴로지 종류 라고 저는 생각합니다. 본 논문에서는 위 두 가지를 한계점으로 꼽고 해결하고자
GraphOmakase
Voucher Abuse Detection with Prompt-based Fine-tuning on Graph Neural Networks [https://arxiv.org/pdf/2308.10028.pdf] 저번주 오마카세에서도 언급했었죠. GNN 이 각광받고 있는 이유중 하나 바로 준지도학습을 통해 라벨링 되어있지 않은 데이터에 대해 추론이 가능하다 였습니다. 이를 활용하기 좋은 분야는 바로 FDS 즉 이상치 탐지분야인데요. 오늘은 저번 오마카세에서 다룬
GraphOmakase
MESH: A Flexible Distributed Hypergraph Processing System [https://ieeexplore.ieee.org/document/8790188] “Think likie a vertex” 점처럼 생각하라. 본 논문을 읽으며 처음 접한 문장이지만, 그래프 처리 시스템들의 개발 이념 중 하나라고 하네요. 객체 지향 프로그래밍과 유사한 개념입니다. ‘점’ 기준으로 모든걸 생각한다. 라고 생각하시면 이해가 수월하실수 있겠습니다. 점의 상태 그리고
GraphOmakase
Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [https://arxiv.org/pdf/2306.02592.pdf] Graph 활용사례들이 늘어가고 있습니다. LLM 및 ChatGPT 흥행의 여파이지 않을까 하네요. 본 논문의 핵심을 말씀드려보자면, 과연 graph topology 를 활용하는게 Application 에 도움이 될까에 대한 원초적인 문제를 기반으로 시작된
GraphOmakase
Paper on graph database schemata wins best-industry-paper award [https://www.amazon.science/blog/paper-on-graph-database-schemata-wins-best-industry-paper-award] 그래프 모델링에 대해 궁금하신 분들께서 보시면 좋을 콘텐츠 입니다. LPG(label property graph)에 대한 개요부터 PG-schema 까지. 그래프 schemata 를 위해 어떤식으로 접근하고 발전되어가고 있는지에 대해 본 포스팅에서 다룹니다. 주방장도 늘상 그래프 모델링의 중요성을 언급했지만,
GraphOmakase
KHAN: Knowledge-Aware Hierarchical Attention Networks for Accurate Political Stance Prediction [https://arxiv.org/pdf/2302.12126.pdf] Introduction 풍요로운 정보속에서 유의미한 정보에 대해 분별하는 기술이 핵심역량으로 되어가고 있는 요즘입니다. 과도한 정보가 오히려 독이 되어 무언가에 대해 판단할 때, 확신이 생길 때까지 정보들을 분석하느라 의사결정이 늦춰지는 경우가 발생하고 있습니다. 주방장 같은
GraphOmakase
On the initialization of graph neural networks [https://www.amazon.science/publications/on-the-initialization-of-graph-neural-networks] Introduction 딥러닝의 핵심은 label 이 학습됨에 따라, 그 변동되는 weight 를 어떻게 잘 관리하느냐 라고 할 수 있습니다. 이 관리하는 방법을 살펴보면 다양한데요. Epoch, intilization function, activation function, learning rate, optimizer 등 여러 파라미터들이 복합적으로 작용하며 weight를
GraphOmakase
DRew: Dynamically Rewired Message Passing with Delay [https://arxiv.org/pdf/2305.08018.pdf] Introduction MPNN(message passing neural network) , life-science 에서 주로 활용되는 그래프 딥러닝 아키텍쳐입니다. Message passing aggregation 을 변형시켜 task에 맞는 정보들을 update 할 수 있단 점에서 타 아키텍쳐들과 차이점을 보입니다. 다시 말해 , message passing function 을
GraphOmakase
A heterogeneous graph-based framework for scalable fraud detection [https://www.amazon.science/publications/a-heterogeneous-graph-based-framework-for-scalable-fraud-detection] Introduction 지능범죄의 수법이 고도화됨에 따라, 악의적 의도를 가진 사람들의 횡포가 날이 갈수록 심해지고 있습니다. 이를 사전에 방지하기 위해 오늘도 다양한 곳에서 많은 노력을 기울이고 있습니다. 다양한 곳을 특정하여 이야기해보면 바로 FDS라고 할 수 있는데요. 합법 패턴과