벤치마크

같은 문서, 같은 모델로 Graph-Me-Maybe를 텍스트 RAG, GraphRAG와 비교합니다. 결과는 다시 돌려 볼 수 있는 모든 것과 함께 이 페이지에 공개합니다.

진행 중본 실험이 진행 중입니다. 이 페이지는 측정을 마친 숫자만 보여 줍니다.

무엇으로 재나

오피스 문서 세트지어낸 두 회사(한국어·영어)의 엑셀, PPT, 워드, PDF, 스캔본. 질문마다 답이 적힌 정확한 셀·슬라이드·문단을 기준으로 채점합니다.
MMLongBench-Doc (NeurIPS 2024)보고서, 논문, 브로슈어, 재무 보고서 같은 긴 PDF. 텍스트·표·차트·그림·레이아웃에 관한 질문과 답할 수 없는 질문이 섞여 있습니다. 최신 비전-언어 모델들이 성적을 보고하는 세트입니다.
MultiHop-RAG (COLM 2024)답이 여러 뉴스 기사에 걸쳐 있는 질문. GraphRAG 논문이 쓴 세트로, 그래프 방식에 유리한 영역입니다.

비교한 시스템

Graph-Me-Maybe, 텍스트 RAG(글자 추출·조각·벡터 검색), Microsoft GraphRAG(일반·빠른 인덱싱), LightRAG. 모든 시스템이 각자의 기본 설정으로, 같은 모델 Claude Haiku 5.5를 씁니다. 채점은 다른 모델 Claude Opus 5.5가 어느 시스템의 답인지 모르는 상태에서 합니다.

보고하는 지표

정답률질문 유형별로 — 우리가 지는 유형까지
출처 정확도답이 맞는 문서와 쪽을 짚었는지
구축 시간과 비용문서를 인덱싱하는 데 든 시간, 모델 호출, 토큰, 정가 기준 비용
저장 크기각 시스템이 디스크에 남기는 크기, 원본 대비
질문당답하는 데 쓴 토큰과 시간

직접 재현하기

실험 코드, 질문 세트, 원본 답변, 채점 결과, 측정 날짜를 결과와 함께 공개합니다. 공개 데이터셋은 재배포하지 않고 원래 출처에서 받게 합니다.

한계

모든 시스템이 같은 모델 계열을 쓰고, 채점은 LLM 심사(사람이 일부 확인)이며, 오피스 세트는 우리가 만들었습니다. 결과마다 함께 적습니다.