AI 시대에 노력은 무엇으로 측정될까?
AI를 많이 쓰고 자동화를 많이 만든다는 것은 많은 시도의 흔적일 수 있다. 하지만 그것이 곧 깊이 있는 노력이나 좋은 판단을 의미하는지는 따로 확인해야 한다.
하루에 AI와 수십 번 대화를 나눌 수 있게 됐다. 토큰을 수천, 수만 단위로 쓸 수 있고, 자동화 파이프라인을 여러 개 만들어둘 수 있고, 결과물을 빠르게 뽑아낼 수 있다. 가시적인 지표들이 이전보다 훨씬 쉽게, 훨씬 많이 쌓인다.
그러면 자연스럽게 질문이 생긴다.
토큰을 많이 쓰는 것은 노력의 증거일까? 자동화를 많이 만들어두는 것은 일을 잘하고 있다는 뜻일까? 결과물을 많이 생성하는 것은 생산성이 높아졌다는 의미일까?
노력처럼 보이는 지표들
AI 시대에는 노력처럼 보이는 지표가 늘어났다. 그리고 그 지표들은 모두 나름의 의미를 가질 수 있다.
토큰을 많이 썼다는 것은 많은 실험을 했다는 흔적일 수 있다. 단순히 한 번 물어보고 끝낸 것이 아니라, 같은 질문을 여러 각도로 반복했거나, 다른 접근을 시도했거나, 더 나은 표현을 찾으려 했다는 뜻일 수 있다. 자동화를 여러 개 만들어뒀다는 것은 반복 작업을 줄이려는 합리적인 시도의 결과일 수 있다. 결과물을 많이 생성했다는 것은 실행을 두려워하지 않았다는 증거일 수 있다.
이 가능성들은 실제로 존재한다. 부정하기 어렵다.
하지만 질문은 여기서 끝나지 않는다.
사용량이 자동으로 증명하지 않는 것들
토큰을 많이 썼다는 사실은 기록된다. 하지만 그 사용이 무엇을 더 선명하게 만들었는지는 따로 확인해야 한다.
같은 질문을 조금씩 다르게 반복하는 것은 대화량을 늘린다. 그러나 그 반복이 질문 자체를 더 정확하게 만들었는지, 아니면 같은 착각을 다른 문장으로 확인받는 과정이었는지는 사용량만으로 알 수 없다. AI는 어떤 방향으로 물어봐도 대답을 돌려준다. 그래서 많이 물어봤다는 것이 방향이 올바랐다는 뜻이 되지는 않는다.
자동화도 비슷하다. 자동화는 반복을 줄일 수 있다. 잘 설계된 자동화는 사람이 더 중요한 판단에 집중할 수 있도록 만들어준다. 하지만 무엇을 자동화할지 잘못 정했다면, 그 자동화는 잘못된 반복을 더 빠르게 만들어낼 뿐이다. 자동화 개수가 늘어났다는 사실이 더 좋은 방향으로 가고 있다는 것을 보장하지는 않는다.
결과물도 마찬가지다. 결과물을 많이 만들었다는 것은 실행의 흔적이다. 그러나 그 결과물이 이후의 판단에 영향을 줬는지, 다음 행동을 더 분명하게 만들었는지는 결과물 수와 별개로 확인해야 한다.
많이 썼다는 것과 잘 썼다는 것은 같은 말이 아니다.
무엇이 더 선명해졌는가
AI 시대의 노력을 측정하는 지표가 필요하다면, 사용량 옆에 하나를 더 붙여야 한다.
그 사용 이후 무엇이 더 선명해졌는가.
질문이 더 정확해졌는가. 같은 문제를 이전보다 더 잘 표현할 수 있게 됐는가. 기준이 더 명확해졌는가. 판단이 더 빨라지거나 더 나아졌는가. 다음 행동이 더 분명해졌는가.
이것들은 숫자로 쉽게 보이지 않는다. AI 대시보드에 표시되지 않는다. 하지만 AI를 사용하고 난 뒤 남는 것이 있다면, 그것은 아마 이쪽에 가깝다.
사용량이 쌓이는 방향과 이해가 깊어지는 방향이 반드시 같지는 않다. 둘이 함께 움직이는 경우도 있고, 한쪽만 움직이는 경우도 있다.
AI 시대의 노력은 사용량을 부정하는 것이 아니다. 사용량이 무엇을 남겼는지 확인하는 일에 가깝다.
나는 AI를 많이 사용하고 있는가, 아니면 AI를 사용한 뒤 무엇이 더 선명해졌는지 확인하고 있는가.