25년 10월 2주차 그래프 오마카세
Flexible GraphRAG: a configurable open source framework for GraphRAG
Blog link : https://integratedsemantics.org/
Github : https://github.com/stevereiner/flexible-graphrag
- 이번 주 오마카세는 'Open Source Integrated AI and Semantic Tech' 블로그에서 설명하는 통합된 오픈소스 플랫폼 관련한 소식을 전달해드리고자 합니다. 최근 포스트에서는 문서 처리, 지식 그래프 구축, RAG 및 GraphRAG 기능을 통합적으로 지원하는 통합된 오픈소스 플랫폼, Flexible GraphRAG에 대하여 소개하고 있습니다.
- 해당 플랫폼에서는 문서 처리, 지식 그래프 자동 구축, 스키마 지원, RAG 및 GraphRAG 설정, 하이브리드 검색(전문 검색, 벡터 검색, 그래프 검색), AI Q&A 쿼리 기능 등을 포괄적으로 지원하고 있습니다.
- 블로그에서 소개된 Flexible GraphRAG의 핵심 기술은 다음과 같습니다.
- 하이브리드 검색 방식 : 벡터 임베딩 검색, BM25 기반 전체 텍스트 검색, 그래프 순회를 통한 검색 기능을 조합합니다. 여러 검색 방식을 선택적으로 결합하여 포괄적인 문서 검색을 지원합니다.
- 지식 그래프 GraphRAG: 처리된 문서(Docling)에서 엔티티와 관계를 추출하여 그래프 데이터베이스를 생성하고, 이를 그래프 기반 추론 및 GraphRAG에 활용합니다.
- AI Q&A 쿼리: REST API 또는 MCP 서버를 통해 문서 수집, 하이브리드 검색, 그리고 AI Q&A 쿼리를 수행할 수 있습니다.
- 위 플랫폼은 LlamaIndex를 기반으로 다양한 벡터 데이터베이스, 그래프 데이터베이스, 검색 엔진 및 LLM을 지원하여 높은 모듈성과 유연성을 보장합니다.
- 그래프 데이터베이스: Neo4j ArcadeDB FalkorDB Kuzu NebulaGraph(Vesoft 기반, Memgraph 및 Amazon Neptune 지원 예정)
- 벡터 데이터베이스: Qdrant, Elastic, OpenSearch Project, Neo4j, Milvus (Weaviate, Chroma, Pinecone, PostgreSQL, LanceDB 지원 예정)
- 검색 데이터베이스/ LLM: Elasticsearch, OpenSearch, BM25에 내장된 LlamaIndex를 통한 OpenAI, Ollama, Claude, Gemini 등
- 데이터 소스 : LLamaIndex 리더를 활용하여 웹 페이지, Wikipedia, Youtube, 파일 시스템, Alfresco, CMIS 등의 데이터 수집을 지원합니다. Google Drive, S3 등 클라우드 기반 소스에 대한 지원도 포함됩니다.
- 또한 Flexible GraphRAG는 신속한 배포와 편리한 사용을 위한 인프라를 갖추고 있습니다.
- 백엔드 : 문서 수집, 하이브리드 검색 및 AI Q&A 쿼리를 위한 REST API를 갖춘 FastAPI 백엔드와 Claude Desktop 등의 MCP 클라이언트에 문서 및 텍스트 수집, 하이브리드 검색 및 AI Q&A 쿼리 도구를 제공하는 MCP(Model Context Protocol) 서버를 모두 갖추고 있습니다.
- UI 클라이언트 : Angular, React, Vue UI 클라이언트가 제공되어 시스템과의 상호 작용, 데이터 소스 선택, 문서 수집, 하이브리드 검색 등을 지원합니다.
- 배포 유연성 : 독립형 모드와 Docker 배포 모드를 모두 지원합니다. Docker 인프라는 docker-compose include를 사용하여 데이터베이스 선택을 모듈화하며, 필요에 따라 Docker 데이터베이스와 독립형 백엔드/UI를 결합하는 하이브리드 배포 옵션도 제공됩니다.
Microsoft Sentinel Graph: Securing relationship-based security context
- Microsoft의 'Sentinel, AI 시대를 위한 보안 재설계' 블로그 글 내용을 기반으로 전달해드립니다. 위 링크를 통해 접해보실 수 있습니다.
- 최근 Microsoft는 AI 시대를 위한 보안 방식을 재설계하고 있습니다. 이는 정적이고 규칙에 묶인 통제 및 사후 대응에서 벗어나 플랫폼 중심의 기계 속도 방어로 전환하는 것을 목표로 합니다. 기존의 파편화된 도구와 방대한 신호, Legacy 아키텍처는 현대 공격의 속도와 규모를 따라잡기 어렵다는 명확한 도전과제에 직면해 있습니다.
- 이러한 요구에 따라, 텔레메트리(Telemetry)를 보안 그래프로 전환하고, 에이전트의 접근을 표준화하며, 자율적인 행동을 조율하는 AI 준비가 된 데이터 우선(data-first) 기반이 필요합니다.
- Microsoft Sentinel은 기존 SIEM의 역할을 넘어 에이전트 방어(agentic defense)를 위한 플랫폼으로 진화하고 있습니다. 이는 생태계 전반의 분석 및 컨텍스트를 연결하는 역할을 수행합니다. Sentinel Data Lake의 일반 공개와 함께 Sentinel Data Lake를 기반으로 하는 새로운 미리 보기 플랫폼 기능을 도입하여, 분석가가 핵심 업무에 집중하는 동안 보호 속도를 기계 수준으로 끌어올리고 있습니다.
- Microsoft Sentinel Graph는 엔드포인트, 클라우드, 이메일, ID, SaaS 앱 등 디지털 자산 전반을 아우르며 위협 인텔리전스로 강화된 심층적으로 연결된 맵입니다. 이 Graph는 Defender와 Purview 전반에 관계 인식(relationship-aware) 컨텍스트를 제공하는 Sentinel 플랫폼의 핵심 기능입니다. 이는 Defenders와 에이전트 AI가 연결 고리를 파악하고 심층적인 컨텍스트를 신속하게 확보할 수 있도록 합니다.
- 관계 기반 분석의 이점을 다음과 같이 설명합니다.
- 공격자 관점 채택: 공격자들은 그래프 형태로 사고하는 반면, 기존 방어팀은 데이터를 목록 형태로만 분석해야 했기 때문에 내재적으로 존재하는 Silo effect의 한계가 있었습니다. Sentinel graph를 통해 공격자 관점의 그래프 사고 관계를 신속하게 파악할 수 있습니다.
- 영향 범위 파악: 대규모 클라우드 데이터 세트에서 이동 가능한 디지털 경로를 추적하여 잠재적인 피해의 영향 범위, 권한 에스컬레이션, 이상 징후 등을 이해할 수 있습니다.
- 신속한 조치: 사전 침해(pre-breach) 및 사후 침해(post-breach) 시나리오 전반에 걸쳐 깊이 있는 컨텍스트 통찰력을 도출하여 SOC 팀과 AI Agents가 사전에 대응하고 탄력성을 유지하도록 지원합니다.
- 현재 다음 그래프 기능을 도입하여 Sentinel Graph들은 Microsoft Security 전반에 걸쳐 연결성을 높이고 관계 기반 컨텍스트를 충분히 제공함으로써 Defenders의 분석 및 대응 속도를 가속화합니다.
- Defender 내 Incident 및 Hunting graph
- Purview Insider Risk Management 및 Purview Data Security Investigation 내 Data risk graph
[Contact Info]
Gmail: jhbae1184@akane.waseda.jp
Twitter (X): @jhbae1184