AI를 코드 생성기가 아니라 검증 장치로 쓰기: 개발 Harness 만들기
·
AI
정산 백엔드를 개발하면서 AI 코딩 도구를 팀에 도입했습니다. 처음 몇 주는 오히려 리뷰 부담이 늘었습니다. 코드는 빨리 나오는데 그 코드를 믿을 근거가 없었기 때문입니다. 그래서 생성 속도를 올리는 대신 각 단계에 검증과 중단 조건을 넣는 쪽으로 방향을 틀었습니다. 그 과정을 정리합니다.TL;DRAI를 코드 생성기로 쓰면 속도는 오르지만 검증 비용이 그만큼 늘어납니다. 돈을 다루는 도메인에서는 이 거래가 남지 않습니다.Rules, Skills, Agents, Hooks 네 계층으로 나누고 계획부터 PR까지 단계마다 권한 경계와 중단 조건을 넣었습니다.검증은 반드시 격리된 컨텍스트에서 했습니다. 자기가 쓴 코드를 같은 세션에서 리뷰하면 확증편향이 그대로 나옵니다.세션에서 발생한 마찰을 모아 규칙으로 승격..
정산 멀티레포 도메인 지식을 LLM Wiki로 유지하기
·
AI
정산 시스템 5개 레포를 오가며 일하는데 AI에게 물어볼 때마다 같은 설명을 반복하고 있었습니다. 그래서 도메인 지식을 마크다운 위키로 따로 만들고 유지 주체를 LLM에게 넘겨봤습니다. 구조와 운영 규칙, 만들면서 알게 된 한계를 정리합니다.TL;DR코드는 "어떻게"를 답하지만 "왜 이렇게 계산하는가"는 답하지 못합니다. 그 지식은 Jira와 Slack, 사람 머릿속에 흩어져 있었습니다.Karpathy가 제안한 LLM Wiki 패턴을 멀티레포 환경에 맞춰 적용했습니다. 원천 자료와 컴파일된 지식을 물리적으로 분리하는 게 핵심입니다.지금 마크다운 123개를 유지하고 있습니다. lint와 검색, 그래프, llms.txt 내보내기를 스크립트로 붙여 사람도 LLM도 같은 파일을 씁니다.가장 위험한 건 위키를 믿..