AI 요약은 긴 문서의 구조와 핵심 주제를 빠르게 파악하게 해 줍니다. 동시에 조건과 예외를 없애거나, 서로 다른 주장을 합치거나, 결론을 잘못된 근거에 연결하거나, 원문에 없는 세부 사항을 추가할 수 있습니다. 자연스러운 요약문은 원문의 작은 복사본이 아니라 새로 생성된 별도 산출물입니다.
NIST 생성형 AI 프로필은 confabulation과 과신을 평가, grounding, 문서화와 사람 감독이 필요한 위험으로 다룹니다. 추상적 요약 연구에서도 생성된 요약이 원문과 사실적으로 불일치할 수 있다는 문제가 반복해서 확인됐습니다. 현실적인 대응은 요약을 사용하지 않는 것이 아니라, 정확한 원문·구간·버전·남은 불확실성으로 돌아갈 수 있는 탐색 계층으로 사용하는 것입니다.
이 절차는 보고서, 정책, 연구 논문, 제품 문서, 회의 기록, 계약서처럼 요약이 실제 판단에 영향을 줄 수 있는 자료에 적용할 수 있습니다.
1. 요약 목적과 허용 가능한 정보 손실 정하기
문서를 읽을지 결정하기 위한 요약과 구매 승인, 정책 변경, 사실 발행을 위한 요약은 위험 수준이 다릅니다. 압축을 요청하기 전에 목적을 먼저 적으세요.
대표적인 목적은 다음과 같습니다.
- 방향 파악: 주제와 문서 구조 이해
- 선별: 전체 검토할 문서 결정
- 추출: 날짜, 인물, 요구사항, 수치 위치 찾기
- 비교: 여러 출처의 주장을 같은 기준으로 정리
- 브리핑: 의사결정자가 원문을 검토하기 전에 맥락 제공
- 보관 검색: 나중에 원문을 다시 찾기 위한 색인
목적마다 생략해도 되는 것과 반드시 남겨야 하는 것을 정합니다.
| 목적 | 허용 가능한 생략 | 반드시 보존할 것 |
|---|---|---|
| 방향 파악 | 예시와 부차적 세부 | 범위, 주요 구간, 문서 신원 |
| 선별 | 자세한 논증 | 왜 검토할 가치가 있는지 |
| 의사결정 브리핑 | 반복 표현 | 근거, 조건, 예외, 불확실성 |
| 정책·법적 검토 | 전문가 검토 없이 거의 없음 | 정확한 문구, 정의, 의무, 날짜 |
| 연구 종합 | 문체 세부 | 방법, 표본, 결과, 한계, 인용 |
잘못된 생략이 결정을 바꿀 수 있다면 요약은 원문을 대신하지 말고 해당 구간으로 연결해야 합니다.
2. 문서 신원·버전·처리 범위 보존하기
안정적인 출처 신원이 없는 요약은 나중에 감사하기 어렵습니다. 요약 전에 다음을 기록하세요.
- 제목
- 작성자 또는 발행 기관
- 원문 URL이나 파일 식별자
- 발행일
- 확인 가능한 최종 수정일
- 버전 또는 개정 번호
- 포함한 페이지와 구간
- 제외한 부록과 자료
- 확인일
- 문서 언어
여러 문서를 한 요약에 섞을 때는 출처별 경계를 표시합니다. PDF 안의 표, 이미지, 부록이 모델에 전달되지 않았다면 그 제한도 공개해야 합니다.
원문: AI Risk Management Framework: Generative AI Profile
발행 기관: NIST
버전: NIST AI 600-1
발행일: 2024-07-26
확인일: 2026-07-20
포함: 본문 전체와 표
제외: 직접 열지 않은 외부 링크 자료
이 신원 정보는 요약의 일부입니다. 복사, 내보내기, 개정 이후에도 함께 남아야 합니다.
3. 추상 요약 전에 원문 구조 지도 만들기
먼저 원문 표현을 최대한 유지하는 구조 지도를 요청하세요. 모델이 문서 구조를 무시하고 매끄러운 새 이야기를 만드는 위험을 줄일 수 있습니다.
구조 지도에는 다음을 포함합니다.
- 구간 제목
- 각 구간의 한 문장 목적
- 중요한 표와 그림
- 정의된 용어
- 명시된 권고나 요구사항
- 문서가 밝힌 한계
- 답하지 않은 질문
각 항목에 페이지, 구간, 문단 또는 확인 가능한 짧은 문구를 붙입니다. 구조 지도는 최종 요약이 아니라 생성된 해석이 어디에서 나왔는지 보여 주는 색인입니다.
그다음 지도에 포함된 구간을 바탕으로 추상 요약을 만듭니다. 지도에서 근거를 찾을 수 없는 주장이 요약에 새로 나타나면 검토 대상으로 표시합니다.
원문
→ 구간 지도
→ 주장·근거 목록
→ 짧은 요약
→ 의사결정용 브리핑
각 계층은 이전 계층으로 돌아갈 수 있어야 합니다.
4. 중요한 요약 주장마다 원문 위치 연결하기
여러 해석이 섞인 긴 문단보다 개별 주장으로 작성하면 검증하기 쉽습니다.
중요 주장마다 다음을 기록하세요.
- 요약 문장
- 근거 유형
- 원문 페이지 또는 구간
- 짧은 뒷받침 문구나 데이터 위치
- 적용 범위와 조건
- 신뢰도 또는 검증 상태
| 요약 주장 | 원문 위치 | 상태 | 메모 |
|---|---|---|---|
| 프레임워크는 네 가지 핵심 기능을 사용 | Core 개요 | 확인됨 | 정확한 명칭 보존 필요 |
| 모니터링은 배포 후에도 지속 | Monitor 구간 | 확인됨 | 전체 수명주기에 적용 |
| 특정 도구 하나를 의무화 | 근거 구간 없음 | 미지원 | 요약에서 삭제 |
긴 문서에서는 URL만으로 충분하지 않습니다. 관련 페이지, 표, 문단 또는 구간을 남겨야 원문이 바뀌었을 때 다시 검증할 수 있습니다.
발행하거나 중요한 결정에 사용할 주장은 AI 답변의 출처와 사실을 검증하는 8단계를 적용하세요.
5. 원문 사실·검토자 해석·생략·불확실성 분리하기
요약이 검토자의 해석을 원문 표현처럼 바꾸면 오해가 생깁니다. 다음 상태를 구분합니다.
- 원문 명시: 문서가 직접 말함
- 검토자 추론: 원문에서 도출한 해석
- 가능한 함의: 그럴듯하지만 입증되지 않음
- 다루지 않음: 문서가 질문에 답하지 않음
- 출처 충돌: 다른 구간이나 출처와 다름
- 미확인: 근거를 직접 확인하지 않음
요약에서 생략한 항목도 별도로 요구하세요.
- 예외
- 소수 의견이나 반대 결과
- 방법론적 한계
- 정의
- 부정적 결과
- 구현 세부
- 부록
- 출처 간 불일치
좋은 요약은 압축 과정에서 무엇이 사라졌는지 보여 줍니다. 모든 독자에게 필요한 내용을 전부 포함한 것처럼 보이게 하지 않습니다.
6. 수치·이름·의무·예외·인과 주장은 원문에서 직접 확인하기
나머지 요약이 적절해도 다음 세부는 원문으로 돌아가야 합니다.
- 수치와 단위
- 날짜와 기한
- 사람·기관·직책 이름
- 직접 인용
- 정의된 용어
- 계약이나 정책 의무
- 자격 조건과 제외 조건
- 예외와 각주
- 비교와 순위
- 인과 설명
- 안전·법률·의료·재무 주장
추상 요약은 주체를 바꾸거나, 누가 행동했는지 뒤집거나, 상관관계를 원인으로 바꿀 수 있습니다. 요약 사실성 연구는 원문과 생성 요약 사이의 이런 충돌을 직접 평가합니다.
표는 원래 행·열 제목과 비교하고, 차트는 축, 모집단, 기간과 불확실성을 확인합니다. 직접 인용은 생성 요약이 아니라 원문에서 복사합니다.
7. 요약만 읽지 말고 위험 기반 계층 읽기 사용하기
계층 읽기는 위험에 따라 검토 깊이를 다르게 배분합니다.
1단계: 방향 파악
출처 신원, 구조 지도와 짧은 요약을 읽어 중요한 구간을 찾습니다.
2단계: 근거 검토
핵심 주장, 권고, 수치와 예외를 뒷받침하는 원문 구간을 엽니다.
3단계: 전체 맥락 검토
결정 영향이 크거나, 출처가 충돌하거나, 문구가 의무를 만들거나, 공식 정보처럼 공개할 경우 원문 전체를 읽습니다.
이 방식은 모든 문서를 같은 깊이로 읽지 않으면서도 최종 해석 책임을 유지합니다. 요약은 검색 비용을 줄일 뿐 책임을 없애지 않습니다.
검토자는 다음 질문에 답할 수 있어야 합니다.
- 어떤 문장을 원문에서 직접 확인했는가?
- 어떤 구간은 검토하지 않았는가?
- 무엇이 전체 읽기를 요구하는가?
- 누가 남은 불확실성을 승인했는가?
8. 수정·개정·재요약 기록하기
요약에도 수명주기가 필요합니다. 원문이 바뀌거나 오류를 발견했을 때 문장을 조용히 교체하지 마세요.
다음을 기록합니다.
- 요약 버전
- 원문 버전
- 사용한 모델 또는 절차
- 검토자
- 수정 내용
- 수정 이유
- 재검증일
- 해결되지 않은 주장
다음 경우 재요약합니다.
- 원문 개정
- 연결된 정책 변경
- 중요한 오류 발견
- 의사결정 범위 변경
- 새로운 근거가 기존 결론과 충돌
- 내부 방향 파악용 요약을 공개 콘텐츠로 전환
감사 가능성이 중요하면 이전 요약을 보존하고 삭제 대신 대체됨 상태로 표시합니다.
요약-원문 검토 매트릭스
| 요소 | 요약이 제공할 수 있는 것 | 원문 확인 |
|---|---|---|
| 주제와 구조 | 대체로 적합 | 문서 신원 확인 |
| 핵심 결과 | 방향 파악에 유용 | 근거와 한계 확인 |
| 수치 | 위치 탐색에 사용 | 정확한 값·단위·분모 확인 |
| 인용 | 생성 문구에 의존하지 않음 | 원문에서 복사 |
| 요구사항 | 후보 목록 정리 | 실제 효력을 갖는 문구 읽기 |
| 예외 | 압축되거나 누락될 수 있음 | 각주와 조건 확인 |
| 인과 주장 | 과장될 수 있음 | 연구 방법과 대안 설명 확인 |
| 권고 | 논리 구조를 정리할 수 있음 | 결정 기준과 충돌 근거 확인 |
요약만으로 판단하면 위험한 경우
다음 업무에서는 요약만 사용하지 마세요.
- 계약 체결 또는 해석
- 접근 권한이나 보안 통제 변경
- 의료·법률·재무·안전 결정
- 직접 인용이나 정밀 통계 발행
- 자격·규정·정책 요구 적용
- 변동하는 가격·기능으로 제품 비교
- 중요한 표·도표·부록이 처리되지 않은 문서
- 신뢰할 수 있는 출처 간 충돌
- 모델이 주장 위치를 제시하지 못하는 경우
- 잘못된 생략의 피해가 큰 경우
이때 요약은 원문 검토 체크리스트이지 대체물이 아닙니다.
짧은 원문 확인 체크리스트
- 정확한 문서, 버전과 확인일이 기록됐는가?
- 포함·제외한 구간을 공개했는가?
- 짧은 요약 전에 구조 지도를 만들었는가?
- 중요한 주장마다 원문 위치가 있는가?
- 사실과 해석·불확실성을 분리했는가?
- 생략 보고가 있는가?
- 수치·이름·인용·의무·예외를 직접 확인했는가?
- 결정 위험에 맞는 검토 깊이를 사용했는가?
- 수정과 원문 개정을 추적하는가?
- 다른 검토자가 요약에서 원문까지 경로를 재현할 수 있는가?
AI 요약은 원문을 더 쉽게 찾고 읽게 할 때 가장 유용합니다. 자연스러운 문장이 근거와의 연결을 끊을 때 위험해집니다.
확인한 기준 자료
- NIST 생성형 AI 프로필 (새 창에서 열림)
- NIST AI RMF Core (새 창에서 열림)
- 미국 GAO AI 책임성 프레임워크 (새 창에서 열림)
- 추상 요약의 사실 일관성 평가 연구 (새 창에서 열림)
- 질의응답을 이용한 추상 요약 사실 일관성 개선 연구 (새 창에서 열림)
자료 확인일: 2026-07-20