Place for sharing the trend and foundation graph technology
GraphOmakase
오늘은 stanford & pyg 에서 진행한 컨퍼런스를 가져왔습니다. 주방장이 1년간 여러분들에게 드렸던 정보들 중 핵심만을 가득 담아놓아서 깜짝놀랬습니다. 아마 글 중 ‘핵심’이다 라고 강조했던 부분이 있었을텐데요. 그 부분들이 7시여간의 컨퍼런스에 모두 담겨있었습니다. 다시 말하자면, 1년간의 그래프 기술들을 공부하며 정수라고 생각했던 부분들이 이 컨퍼런스에 잘 녹아져 들어가 있던거죠. 그러기에, 그래프에
GraphOmakase
1. BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models → NER(Name Entity Recognition) , RE(Relation Extraction) 때문에 고생하셨던 분들에게 단비같은 논문이라 생각합니다. 프롬프트 엔지니어링과 사전학습된 모델만으로 다양하고 정교한 관계를 추출할 수 있는 방법에 대해 이야기합니다. 2. Knowledge Graph Generation From Text → 대규모 언어모델을 활용해 지식그래프를 형성하는 과정에서
GraphOmakase
A Complete Expressiveness Hierarchy for Subgraph GNNs via Subgraph Weisfeiler-Lehman Tests [https://arxiv.org/pdf/2302.07090.pdf] Expressive power, 그래프 데이터의 장단점을 논할 때 항상 강조되는 요소입니다. 노드 수와 엣지 수가 동일한 그래프라 하더라도, 그래프 내의 노드 연결 방식에 따라 다른 그래프로 구분됩니다. 따라서 '어떻게 연결'되는지를
GraphOmakase
Preview How Transitive Are Real-World Group Interactions? - Measurement and Reproduction → 그래프 지표 중 하나인 전이성(Transitivity), Hypergraph 에서는 어떻게 측정되며 생성모델에서는 어느 측면으로 접근할 수 있을까요? A*Net: A Scalable Path-based Reasoning Approach for Knowledge Graphs →KG Reasoning , 안그래도 비용이 많이 드는 알고리즘인 최단거리탐색 알고리즘을 지식그래프에 적용을 한다? A*
GraphOmakase
Preview On the Connection Between MPNN and Graph Transformer → Graph transformer 의 Self-attention,Positional-encoding 을 대체하기 위해 MPNN에서 어떤 시도를 할 수 있을까요? Virtual node 를 통해 앞선 두가지 요소를 대체하기 위한 아이디어에 대해 알아봅니다. EquiformerV2: Improved Equivariant Transformer for Scaling to Higher-Degree Representations → Euqiformer 모델에서 scalable 를 위해 개선한
GraphOmakase
Transformers Meet Directed Graphs [https://arxiv.org/pdf/2302.00049.pdf] 트랜스포머 시대에 살고있다해도 무리가 없을 정도로 데이터 종류를 가리지않고 많은곳에서 트랜스포머를 활용하고 있는 요즘입니다. 하지만, 그래프 데이터에서만 유난히 기를 못쓰는데요. 그 이유로는 1. 동형 사상 2. 토폴로지 종류 라고 저는 생각합니다. 본 논문에서는 위 두 가지를 한계점으로 꼽고 해결하고자
GraphOmakase
Voucher Abuse Detection with Prompt-based Fine-tuning on Graph Neural Networks [https://arxiv.org/pdf/2308.10028.pdf] 저번주 오마카세에서도 언급했었죠. GNN 이 각광받고 있는 이유중 하나 바로 준지도학습을 통해 라벨링 되어있지 않은 데이터에 대해 추론이 가능하다 였습니다. 이를 활용하기 좋은 분야는 바로 FDS 즉 이상치 탐지분야인데요. 오늘은 저번 오마카세에서 다룬
GraphOmakase
MESH: A Flexible Distributed Hypergraph Processing System [https://ieeexplore.ieee.org/document/8790188] “Think likie a vertex” 점처럼 생각하라. 본 논문을 읽으며 처음 접한 문장이지만, 그래프 처리 시스템들의 개발 이념 중 하나라고 하네요. 객체 지향 프로그래밍과 유사한 개념입니다. ‘점’ 기준으로 모든걸 생각한다. 라고 생각하시면 이해가 수월하실수 있겠습니다. 점의 상태 그리고
GraphOmakase
Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [https://arxiv.org/pdf/2306.02592.pdf] Graph 활용사례들이 늘어가고 있습니다. LLM 및 ChatGPT 흥행의 여파이지 않을까 하네요. 본 논문의 핵심을 말씀드려보자면, 과연 graph topology 를 활용하는게 Application 에 도움이 될까에 대한 원초적인 문제를 기반으로 시작된
GraphOmakase
Paper on graph database schemata wins best-industry-paper award [https://www.amazon.science/blog/paper-on-graph-database-schemata-wins-best-industry-paper-award] 그래프 모델링에 대해 궁금하신 분들께서 보시면 좋을 콘텐츠 입니다. LPG(label property graph)에 대한 개요부터 PG-schema 까지. 그래프 schemata 를 위해 어떤식으로 접근하고 발전되어가고 있는지에 대해 본 포스팅에서 다룹니다. 주방장도 늘상 그래프 모델링의 중요성을 언급했지만,
GraphOmakase
KHAN: Knowledge-Aware Hierarchical Attention Networks for Accurate Political Stance Prediction [https://arxiv.org/pdf/2302.12126.pdf] Introduction 풍요로운 정보속에서 유의미한 정보에 대해 분별하는 기술이 핵심역량으로 되어가고 있는 요즘입니다. 과도한 정보가 오히려 독이 되어 무언가에 대해 판단할 때, 확신이 생길 때까지 정보들을 분석하느라 의사결정이 늦춰지는 경우가 발생하고 있습니다. 주방장 같은
GraphOmakase
On the initialization of graph neural networks [https://www.amazon.science/publications/on-the-initialization-of-graph-neural-networks] Introduction 딥러닝의 핵심은 label 이 학습됨에 따라, 그 변동되는 weight 를 어떻게 잘 관리하느냐 라고 할 수 있습니다. 이 관리하는 방법을 살펴보면 다양한데요. Epoch, intilization function, activation function, learning rate, optimizer 등 여러 파라미터들이 복합적으로 작용하며 weight를