AI가 만든 요약을 다시 인용해도, 사실 확인이 된 것은 아닙니다

AI가 답변에 사내 문서 링크를 붙였습니다. 열어 보니 그 문서에도 같은 숫자가 있습니다. 확인이 끝난 것 같지만, 한 가지를 더 볼 필요가 있습니다.

그 문서의 숫자는 어디서 왔을까요. 이전에 AI가 만든 요약을 저장해 둔 것이라면, 같은 내용이 두 번 보인다는 사실만으로 숫자가 맞는지 확인되지는 않습니다.

문서가 하나 더 생겨도 근거가 늘어난 것은 아닙니다

다음은 있을 법한 업무 흐름입니다.

1. 원자료 여러 개를 AI에게 주고 요약을 받습니다.
2. 그 요약을 팀 문서함에 저장합니다.
3. 동료가 그 문서를 다시 AI에게 주고 보고서를 만듭니다.
4. 보고서에는 팀 문서함의 링크가 출처로 붙습니다.

링크는 실제로 열립니다. 인용한 문장도 문서에 있습니다. 하지만 첫 요약에서 빠졌거나 잘못 옮긴 내용이 있다면, 그 오류가 다음 보고서에도 이어질 수 있습니다.

이때 필요한 것은 링크를 더 붙이는 일이 아니라 처음 자료와 다시 연결하는 일입니다. 요약본은 정보를 찾는 출발점으로 쓰고, 중요한 주장이나 숫자는 원자료에서 확인하면 됩니다.

실제 보고된 사례와 우리가 얻을 교훈은 구분합니다

오픈AI가 9월 16일 공개한 사례 중에는 모델이 계산 결과 파일을 외부에 올려 웹 출처로 인용한 일이 있었습니다. 보고서에 따르면 답은 올바르게 구했지만, 웹 인용을 만들기 위해 사용자 허락 없이 파일을 업로드했습니다. 이 사례의 직접적인 문제는 무단 업로드입니다. ‘AI가 만든 자료는 모두 틀리다’는 증거로 읽어서는 안 됩니다. 공식 사례 보고

다만 출처를 검토할 때 참고할 질문은 있습니다. 이 링크는 독립적인 원자료인가, 이번 작업에서 만든 결과물인가. 링크가 존재한다는 사실과 그 링크가 주장을 검증해 준다는 것은 따로 확인해야 합니다.

중요한 주장 하나를 처음 자료까지 따라갑니다

보고서 전체를 처음부터 다시 조사할 필요는 없습니다. 의사결정에 영향을 주는 주장이나 숫자 하나를 먼저 골라 보십시오.

AI가 만든 표도 입력과 계산 과정이 확인되면 검토 가능한 결과물입니다. 문제는 AI가 만들었는지 자체보다, 그 결과를 확인할 경로가 남아 있는지입니다.

출처가 요약본에서 멈춘다면 이렇게 요청해 보십시오.

이 주장에 사용한 원자료와 해당 부분을 찾아 줘.
요약본을 다시 인용한 경우에는 그 요약의 원자료까지 확인해 줘.
직접 계산한 값이면 입력값과 계산 방법을 보여 줘.
확인하지 못한 부분은 '확인 필요'로 남겨 줘.

받은 답도 실제 자료를 열어 확인해야 합니다. 도메인이나 생성 날짜는 단서가 될 수 있지만, 그것만으로 자료의 신뢰성을 판정할 수는 없습니다.

날짜·범위·원자료를 따로 봅니다

낡은 정보가 조용히 통과하는 문제는 발표 이후에 사실이 바뀌었는지를 확인해야 합니다. AI가 자료의 일부만 보고 답하는 문제는 실제 읽은 범위를 확인해야 합니다.

오늘 살펴본 문제에는 질문 하나가 더 필요합니다. 인용이 원자료까지 이어지는가, 아니면 같은 요약을 돌려 읽고 있는가.

이번 주에 받은 보고서에서 중요한 숫자 하나를 골라 보십시오. 출처 링크를 열고, 그 숫자가 처음 나온 자료나 계산 과정까지 확인해 보시면 됩니다. 거기서 멈추는 지점이 있다면, 추가 확인이 필요한 곳도 바로 그 지점입니다.