SharedArrayBuffer1 브라우저 로컬에서 구동되는 토큰 절약형 PDF to Markdown 변환기 LiteDoc은 브라우저 메모리 상에서 100% 로컬 구동되는 PDF to Markdown 변환 기술이다. PDF.js와 JSZip을 결합하여 서버 업로드 없이 작동하며, X-gap 인식 단어 병합 및 유니코드 깨짐 자동 감지 폴백 시스템을 제공한다. 이를 통해 AI 비전 엔진(래스터화)으로 낭비되는 페이지당 약 850토큰의 비용을 원천 차단하고 RAG 성능을 향상시킨다.로컬 PDF 파싱 기술의 등장 배경생성형 AI 시대가 도래하면서 기업들이 가진 수많은 문서 자산(PDF)을 거대언어모델(LLM)에 주입하는 작업은 일상이 되었다. 하지만 무가공 상태의 PDF를 Claude나 ChatGPT와 같은 상용 모델에 그대로 업로드하는 행위는 심각한 토큰 낭비와 비용 부담을 야기한다. 그 이유는 LLM 내부적으로 .. 2026. 6. 7. 이전 1 다음
