GraphOmakase
Transformers Meet Directed Graphs [https://arxiv.org/pdf/2302.00049.pdf] 트랜스포머 시대에 살고있다해도 무리가 없을 정도로 데이터 종류를 가리지않고 많은곳에서 트랜스포머를 활용하고 있는 요즘입니다. 하지만, 그래프 데이터에서만 유난히 기를 못쓰는데요. 그 이유로는 1. 동형 사상 2. 토폴로지 종류 라고 저는 생각합니다. 본 논문에서는 위 두 가지를 한계점으로 꼽고 해결하고자
GraphOmakase
Voucher Abuse Detection with Prompt-based Fine-tuning on Graph Neural Networks [https://arxiv.org/pdf/2308.10028.pdf] 저번주 오마카세에서도 언급했었죠. GNN 이 각광받고 있는 이유중 하나 바로 준지도학습을 통해 라벨링 되어있지 않은 데이터에 대해 추론이 가능하다 였습니다. 이를 활용하기 좋은 분야는 바로 FDS 즉 이상치 탐지분야인데요. 오늘은 저번 오마카세에서 다룬
GraphOmakase
MESH: A Flexible Distributed Hypergraph Processing System [https://ieeexplore.ieee.org/document/8790188] “Think likie a vertex” 점처럼 생각하라. 본 논문을 읽으며 처음 접한 문장이지만, 그래프 처리 시스템들의 개발 이념 중 하나라고 하네요. 객체 지향 프로그래밍과 유사한 개념입니다. ‘점’ 기준으로 모든걸 생각한다. 라고 생각하시면 이해가 수월하실수 있겠습니다. 점의 상태 그리고
GraphTravel
1. GAE와 Autoencoder 응용 이해 2. Amazon Purchase 데이터로 Link Prediction 구매 예측 안녕하세요, GUG 여러분! 그래프 튜토리얼의 가이드 Erica에요 🍹 8번째 여행에서는 GAE, VGAE 모델을 다룰 거에요. GAE는 AutoEncoder의 원리를 응용해서 Node와 Edge의 정보를 활용해 그래프의 구조를 학습합니다. 그래프 복원을 통해 누락된 Edge나 미래의 Edge를 예측하는 Link Prediction task에 특히
GraphOmakase
Graph-Aware Language Model Pre-Training on a Large Graph Corpus Can Help Multiple Graph Applications [https://arxiv.org/pdf/2306.02592.pdf] Graph 활용사례들이 늘어가고 있습니다. LLM 및 ChatGPT 흥행의 여파이지 않을까 하네요. 본 논문의 핵심을 말씀드려보자면, 과연 graph topology 를 활용하는게 Application 에 도움이 될까에 대한 원초적인 문제를 기반으로 시작된
GraphTravel
1. GraphSAGE의 neighbor sampling 2. Inductive Learning 3. Reddit 데이터로 node classification task 수행 안녕하세요, GUG 여러분! 그래프 튜토리얼의 가이드 Erica에요🍏 7번째 여행에서는 GraphSAGE 모델을 다룰 거에요. GraphSAGE는 neighbor sampling 전략을 통해, 학습 중에 본 적 없는 node에 대해서도 추론이 가능한 Inductive Learning 에 특화되어 있답니다. 📢 가독성을 위해 본문에는 코드
GraphOmakase
Paper on graph database schemata wins best-industry-paper award [https://www.amazon.science/blog/paper-on-graph-database-schemata-wins-best-industry-paper-award] 그래프 모델링에 대해 궁금하신 분들께서 보시면 좋을 콘텐츠 입니다. LPG(label property graph)에 대한 개요부터 PG-schema 까지. 그래프 schemata 를 위해 어떤식으로 접근하고 발전되어가고 있는지에 대해 본 포스팅에서 다룹니다. 주방장도 늘상 그래프 모델링의 중요성을 언급했지만,
GraphTravel
1. Graph Attention Network 구현 2. Amazon 상품 카테고리 예측하기 안녕하세요, GUG 여러분! 그래프 튜토리얼의 가이드 Erica에요🥁 6번째 여행에서는 GAT 모델을 다룰 거에요. GAT는 Transformer 모델처럼 Attention Mechanism을 활용하고, 그만큼 뛰어난 유용성과 범용성을 지니고 있답니다. 📢 가독성을 위해 본문에는 코드 전문을 임포트하지 않았어요. 튜토리얼 코드 전체를 한번에 실행해 볼 수 있는
GraphOmakase
KHAN: Knowledge-Aware Hierarchical Attention Networks for Accurate Political Stance Prediction [https://arxiv.org/pdf/2302.12126.pdf] Introduction 풍요로운 정보속에서 유의미한 정보에 대해 분별하는 기술이 핵심역량으로 되어가고 있는 요즘입니다. 과도한 정보가 오히려 독이 되어 무언가에 대해 판단할 때, 확신이 생길 때까지 정보들을 분석하느라 의사결정이 늦춰지는 경우가 발생하고 있습니다. 주방장 같은
GraphOmakase
On the initialization of graph neural networks [https://www.amazon.science/publications/on-the-initialization-of-graph-neural-networks] Introduction 딥러닝의 핵심은 label 이 학습됨에 따라, 그 변동되는 weight 를 어떻게 잘 관리하느냐 라고 할 수 있습니다. 이 관리하는 방법을 살펴보면 다양한데요. Epoch, intilization function, activation function, learning rate, optimizer 등 여러 파라미터들이 복합적으로 작용하며 weight를
GraphOmakase
DRew: Dynamically Rewired Message Passing with Delay [https://arxiv.org/pdf/2305.08018.pdf] Introduction MPNN(message passing neural network) , life-science 에서 주로 활용되는 그래프 딥러닝 아키텍쳐입니다. Message passing aggregation 을 변형시켜 task에 맞는 정보들을 update 할 수 있단 점에서 타 아키텍쳐들과 차이점을 보입니다. 다시 말해 , message passing function 을
GraphOmakase
A heterogeneous graph-based framework for scalable fraud detection [https://www.amazon.science/publications/a-heterogeneous-graph-based-framework-for-scalable-fraud-detection] Introduction 지능범죄의 수법이 고도화됨에 따라, 악의적 의도를 가진 사람들의 횡포가 날이 갈수록 심해지고 있습니다. 이를 사전에 방지하기 위해 오늘도 다양한 곳에서 많은 노력을 기울이고 있습니다. 다양한 곳을 특정하여 이야기해보면 바로 FDS라고 할 수 있는데요. 합법 패턴과