합성 평가서 정밀도 91.7%·재현율 73.3%…실제 저장소 성능과는 구분해야
핵심 요약
- AFTERLIGHT는 정적 분석과 Git 이력, 오픈웨이트 AI를 결합해 낯설거나 방치된 소프트웨어를 조사하는 프로젝트다. 소스 파일과 커밋 근거를 연결하고 유지보수 개선 방향을 제시한다.
오픈웨이트 AI로 방치된 소프트웨어의 개발 목적과 이력을 추적하는 프로젝트 AFTERLIGHT가 소개됐다. 개발자는 Dev Community에 올린 글에서 정적 분석과 Git 이력, 근거 자료 검색을 결합해 낯설거나 관리가 중단된 저장소를 이해하도록 돕는 도구라고 설명했다. AI의 설명을 소스 파일·행 번호·과거 커밋과 연결해 개발자가 근거를 직접 확인하도록 하는 데 초점을 맞췄다.
AFTERLIGHT는 지원하는 저장소나 업로드한 ZIP 압축파일을 조사한다. 분석 파이프라인은 저장소 구조, 프로그래밍 언어, 의존성 명세 파일, 문서와 Git 이력을 살핀다. 문서화되지 않은 함수, 사용하지 않을 가능성이 있는 임포트, 미해결 TODO, 오래된 의존성, 테스트 누락 등을 찾아 관련 파일과 가능한 경우 행 번호, 근거, 권장 후속 조치를 제시하는 것을 목표로 한다. 다만 이런 결과는 추가 조사를 위한 단서다. 코드가 동적으로 참조되는 경우 등에는 정적 분석의 한계가 있어 불필요한 코드라는 증거로 단정할 수 없다.
개발 이력을 보여주는 Digital Time Machine은 Git 커밋의 시각, 메시지, 작성자와 변경 파일을 제시한다. 확인된 커밋 정보와 변경 이유에 대한 AI의 해석은 구분해야 한다. AI Explorer는 로컬 모델이 설정돼 있고 사용 가능한 경우 Ollama를 통해 Gemma를 사용하도록 설계됐다. 관련 소스 코드 조각과 과거 맥락을 검색한 뒤 이를 근거로 프로젝트의 원래 목적 등에 답하는 방식이다. 인용 표시로 파일을 확인하도록 돕고, 근거가 부족하면 불확실성을 알려야 한다. 조사 후에는 유지보수·의존성·테스트·문서·아키텍처의 개선안을 우선순위별 로드맵으로 정리한다. 권고는 사람의 검토를 전제로 하며 원본 저장소 파일을 자동으로 덮어쓰지 않아야 한다.
개발자는 호환 모델과 실행 환경을 설치하면 저장소 관련 질문을 개발자 컴퓨터에서 처리할 수 있다는 점에 주목했다. 애플리케이션의 다른 부분도 외부 전송을 하지 않을 때 비공개 소스 코드를 로컬에 유지하는 데 도움이 된다. 모델이나 검색 로직을 바꾸고 통합 방식을 살펴볼 수 있으며, 유료 추론 API 의존도를 줄일 여지도 있다. 다만 하드웨어·전력·설정 비용은 남는다. 오픈 모델이라는 이유만으로 개인정보 보호나 제한 없는 이용 허가가 보장되지는 않으며, 실제 데이터 흐름과 모델 라이선스, 배포 설정을 확인해야 한다.
프로젝트는 알려진 문제를 넣어 분석 파이프라인을 시험하도록 만든 합성 시연 저장소 GHOST_ARCHIVE_DEMO를 포함한다. 개발자가 보고한 평가 결과는 정밀도 91.7%, 재현율 73.3%, F1 점수 0.815, 인용 커버리지 100%, 분석 지연시간 약 396ms다. 이는 합성 평가 데이터셋에 대한 수치로, 실제 저장소 전반을 대표하는 벤치마크는 아니다. 데이터셋 규모와 평가 방법, 한계를 함께 살펴야 한다. 인용 커버리지 100%도 AI가 생성한 모든 주장이 정확하다는 뜻은 아니며, 근거의 유효성과 답변 품질은 별도로 평가해야 한다.
기술 구조는 인터페이스에 React·TypeScript·Tailwind CSS, 백엔드에 FastAPI·Python을 사용하는 모듈형 구성을 바탕으로 설계됐다. Python AST 기반 소스 코드 분석과 Git 이력 추출, Gemma·Ollama를 통한 설정 가능한 로컬 추론, 검색 증강 생성(RAG)을 활용한 저장소 관련 질의응답을 결합한다. 데이터는 로컬에 저장하며 데이터베이스 연동은 선택 사항이다. 실제 기능의 사용 가능 여부는 구현된 코드와 설치한 의존성, 실행 환경 설정에 따라 달라진다.
AFTERLIGHT — The Digital Archaeologist는 Hacktoberfest 2026 Open-Source AI Challenge의 4주 차 주제인 Ghost in the Machine에 맞춰 제작됐다. 개발자는 AI 개발 도구에 모델을 붙이는 것만으로는 부족하며, 신뢰할 수 있는 입력 처리와 근거 검색, 추적 가능한 결론, 명확한 실패 상태, 출력의 정확성을 평가할 방법이 필요하다고 설명했다. 향후 개선 과제로는 검색 품질과 재현율 향상, 더 많은 프로그래밍 언어 평가, 더 크고 다양한 저장소를 활용한 시험을 꼽았다. 라이브 데모와 GitHub 저장소를 안내했으며, 백엔드나 로컬 모델이 필요한 기능은 저장소의 설치 지침에 따라 실행해야 한다.
