AI의 시야를 설계한다는 것
AI가 답을 만들 때 볼 수 있는 정보의 범위, 위치, 압축 방식을 설계하는 컨텍스트 엔지니어링의 의미를 이해한다.
AI와 오래 대화하다 보면 이상한 순간이 온다.
분명 앞에서 말한 조건인데, 어느 순간부터 AI가 다른 방향으로 답한다. 이미 설명한 배경을 다시 묻고, 지켜달라고 한 형식을 놓치고, 처음에 정한 기준과 다른 말을 하기 시작한다.
사람처럼 보면 잊었다고 말하고 싶어진다.
하지만 LLM에게 더 정확한 표현은 조금 다르다. 잊은 것이 아니라, 지금 답을 만들 때 충분히 보지 못하거나 중요하게 쓰지 못하는 것이다.
AI는 매번 새 책상을 받는다
AI가 답을 만들 때 보는 것은 대화 전체가 아니다. 모델마다 볼 수 있는 텍스트의 범위가 있고, 이 범위를 컨텍스트 윈도우라고 부른다.
책상 위에 놓인 종이만 보고 답을 쓰는 사람을 떠올리면 이해하기 쉽다. 책상 위에 없으면, 그 정보는 지금 답을 만드는 과정에 직접 들어오지 않는다. AI는 기억 속에서 대화를 꺼내는 것이 아니라, 지금 책상 위에 놓인 텍스트를 보고 다음 답을 만든다.
그래서 오래된 조건이 밀려나거나, 긴 대화 속에서 중요한 기준이 흐려지면 AI는 마치 잊은 것처럼 행동한다. 책상이 바뀐 것이다.
무엇을 놓고 무엇을 뺄 것인가
컨텍스트가 부족하면 답은 일반적이 된다. 하지만 컨텍스트가 너무 많아도 답은 흐려진다.
관련 없는 자료, 오래된 조건, 서로 충돌하는 지시, 중요하지 않은 대화 기록이 함께 들어가면 AI는 무엇을 기준으로 삼아야 할지 흔들릴 수 있다.
나쁜 컨텍스트:
- 전체 회의록 3만 자
- 이미 폐기된 의사결정
- 최신 목표와 충돌하는 과거 논의
좋은 컨텍스트:
- 현재 목표
- 최신 결정 사항
- 참고해야 할 핵심 자료
- 원하는 출력 기준
차이는 정보량이 아니다. 어떤 정보가 지금 답에 영향을 줘야 하는지 정리되어 있는가의 차이다.
컨텍스트 엔지니어링은 정보를 많이 넣는 일이 아니라, 필요한 정보를 남기는 일이다.
위치도 설계다
컨텍스트는 무엇을 넣느냐만의 문제가 아니다. 어디에 놓느냐도 중요하다.
긴 입력에서 중요한 조건이 중간에 묻히면, 모델이 그 정보를 충분히 반영하지 못하는 경우가 있다. 사람도 긴 문서를 읽을 때 첫머리와 끝부분을 더 잘 기억하듯, AI에게도 정보의 위치는 답의 방향에 영향을 줄 수 있다.
그래서 중요한 지시와 기준은 앞에 두고, 최종 출력 조건은 끝에서 한 번 더 고정하는 방식이 자주 쓰인다.
실용적으로 정리하면 이렇다.
- 절대 지켜야 할 규칙은 앞에 둔다
- 최종 출력 형식은 끝에서 다시 고정한다
- 긴 참고 자료는 섹션으로 나눈다
- 오래된 정보와 최신 정보를 구분한다
- 중요도 높은 맥락에는 제목을 붙인다
대화가 길어질 때
대화가 길어지면 모든 내용을 그대로 유지하고 싶어진다. 하지만 실제로는 중요한 것과 중요하지 않은 것이 함께 쌓인다.
긴 대화를 그대로 들고 가는 것은 기억이 아니라 짐이 될 수 있다.
이럴 때 필요한 것이 히스토리 관리다. 오래된 대화를 그대로 붙이는 대신, 현재 결정에 필요한 내용만 요약하고 압축한다. 목표, 결정된 기준, 금지된 방향, 아직 남은 질문처럼 다시 사용할 정보만 남긴다.
[SUMMARY]
지금까지 결정된 것:
- 글은 시리즈가 아니라 독립된 짧은 책으로 쓴다
- subject는 시리즈가 아니라 책장이다
- slug는 가능하면 유지한다
[CURRENT TASK]
prompt-context-engineering 글의 구조를 설계한다
[DO NOT]
- 앞뒤 글에 의존하는 표현을 쓰지 않는다
- 단순 API 문서처럼 쓰지 않는다
이런 요약은 대화를 줄이는 것이 아니라, AI가 다시 봐야 할 것을 선명하게 만드는 일이다.
AI 앞에 무엇을 놓을 것인가
컨텍스트 엔지니어링은 AI에게 더 많은 정보를 던지는 일이 아니다.
AI가 지금 무엇을 봐야 하는지, 무엇은 보지 않아도 되는지, 어떤 정보가 앞에 있어야 하고 어떤 정보가 압축되어야 하는지를 정하는 일이다.
AI는 모든 것을 기억하는 존재가 아니다. 지금 앞에 놓인 것을 바탕으로 답을 만든다.
그래서 컨텍스트를 설계한다는 것은 AI의 시야를 설계하는 일에 가깝다.