정확도 점수만으로는 AI 도구가 실제 산출물 작업에서 어떤 경험을 주는지 알기 어렵습니다. F4에서는 한 번의 정답 대신 작업 흐름 전체를 평가했습니다. 두 개의 합성 파일을 업로드하고, 운영 의사결정 브리프를 만든 뒤, 위험한 비용·ROI 경계를 한 번 재검토시키고, 수정 결과를 외부에 보존할 수 있는지 확인했습니다.
핵심 관찰은 하나의 점수가 아니었습니다.
- 최초 브리프부터 Harborline의 최종 수정값을 사용했습니다.
- CSV의 누락 비용을 0으로 취급하지 않았습니다.
- 314시간의 추정 시간 절감을 금전 ROI로 바꾸지 않았습니다.
- correction 1회 뒤 비용 소계와 시간 절감의 관계를 더 명시적으로 분리했습니다.
- 수정된 브리프는 ChatGPT 내장 편집기에서 전체 복사해 로컬 Markdown으로 보존할 수 있었습니다.
- UI에는 Markdown, PDF, DOCX 다운로드 선택지가 보였지만 통제된 실행에서 완료된 파일 다운로드 이벤트는 확보하지 못했습니다.
- Temporary Chat 탭 손실로 증거 보존 문제가 생겨 승인된 recovery 실행이 한 번 필요했습니다.
따라서 이 글은 ChatGPT 전반의 평점이 아니라 하나의 통제된 운영 브리프 workflow 리뷰입니다.
테스트한 workflow
입력은 실제 업무 자료가 아니라 평가용 합성 자료 두 개였습니다.
- F2 Harborline 운영 패킷
- F3 구조화 CSV
첫 prompt는 다음 다섯 섹션을 가진 export-ready weekly operations decision brief를 요구했습니다.
- Executive decision
- Operational performance
- Cost and data-quality limits
- Risks and exceptions
- Recommended human follow-up
또한 수정된 최종값 사용, 전체 성과와 취약 하위그룹 구분, 누락 비용 명시, 근거 없는 만족도·ROI 주장 금지, 주요 결론별 사용 evidence 표시를 요구했습니다. 실제 고객·회사·재무 데이터는 사용하지 않았습니다.
실행 조건
| 조건 | 관찰값 |
|---|---|
| 제품 | ChatGPT Web |
| 플랜 | Pro |
| UI에 표시된 정확한 모델 | 표시되지 않음 |
| 세션 | Temporary Chat |
| Web search | Off |
| 내장 data analysis | 사용 관찰 |
| 업로드 파일 | 2개, 한 번의 multi-file action |
| 최초 결과까지 단계 | 4 |
| 계획된 correction | 1회 |
| 결과 보존 단계 | 3 |
| 검증된 보존 방식 | 내장 editor 전체 복사 → 로컬 Markdown |
F2 source SHA-256은 0CDEC648D9CAF891B59628C5A56A853124659C4F580BA4B0A431BE03CA24445E입니다.
F3 CSV SHA-256은 3DD5D56F100DA9B98A02FD363701EE30CBA0EBEBE87A3C4C3F531C5605C0B5B8입니다.
최초 브리프가 이미 잘 처리한 부분
최초 응답은 6,240건의 수정된 ticket 수와 6.9%의 최종 reopen rate를 사용했습니다. 과거의 6,310과 7.1%를 최종값으로 가져오지 않았습니다. 전체 trial 성공과 더 약한 Technical queue를 분리했고 severity-2 privacy incident도 숨기지 않았습니다.
CSV에서는 1,860건 중 1,602건 성공을 계산했고, Epsilon의 2월 비용 누락을 0으로 처리하지 않았습니다. USD 1,343은 알려진 비용의 소계라고 표현했고 complete total이라고 부르지 않았습니다.
또 Harborline의 314시간은 시간 절감 추정치로 유지했습니다. 승인된 노동비 단가가 없으므로 payroll saving이나 금전 ROI로 변환하지 않았습니다.
처음부터 조심스러웠는데 왜 correction을 보냈나
계획된 correction은 비용 완전성과 금전 ROI에 관한 문장만 다시 검사하도록 요청했습니다. 한 CSV 비용값이 비어 있고, source가 명시적으로 지원하지 않는 한 estimated time saved를 cash saving으로 바꾸면 안 된다는 조건을 다시 강조했습니다.
이는 틀린 산술을 정답으로 고치는 재시도가 아니었습니다. 최초 브리프도 핵심 경계를 지켰습니다. 목적은 좁은 위험 경계를 한 번 더 확인했을 때 이미 맞는 부분을 깨뜨리지 않고 더 명확하게 만들 수 있는지 보는 것이었습니다.
correction 뒤 무엇이 달라졌나
수정된 export는 세 가지를 더 분명하게 만들었습니다.
첫째, CSV에는 18개 record가 있지만 cost_usd가 보고된 것은 17개뿐이라고 적었습니다. 따라서 USD 1,343은 known-cost subtotal이지 complete total이 아닙니다.
둘째, 이 비용 소계와 Harborline의 314시간 추정치를 분리했습니다. Harborline packet에는 승인된 labor-cost figure가 없고, 두 자료 어디에도 CSV 비용을 314시간에 적용할 노동비라고 정의하지 않았습니다.
셋째, 금지해야 할 추론을 구체화했습니다. 현재 자료만으로 cash savings, ROI percentage, payback period 또는 complete total cost를 계산할 수 없다고 명시했습니다.
운영 문서에서는 이런 수정 패턴이 유용합니다. 전체 결론을 다시 쓰게 하기보다 한 가지 위험 경계만 좁게 재검증할 수 있기 때문입니다.
숨기지 않는 capture limitation
화면에서 correction 뒤 문서가 실제로 바뀌었고 corrected editor export도 보존했습니다. 그러나 f4-corrected-response.md raw slot에 저장된 파일은 최초 응답 raw와 byte-identical이었습니다.
따라서 그 파일은 correction evidence로 사용하지 않습니다. correction 결과의 authoritative evidence는 보존된 corrected export와 correction screenshot입니다.
실측 리뷰에서는 잘못 라벨링된 capture를 나중에 편한 근거로 승격시키지 않는 것이 중요합니다.
보존·export에서 실제로 확인한 것
확인된 성공 경로는 다음과 같습니다.
- 생성된 브리프를 ChatGPT 내장 editor에서 열기
- 전체 복사 기능 사용
- 복사한 내용을 로컬 Markdown으로 저장
Editor에는 Markdown, PDF, DOCX 다운로드 선택지도 표시됐습니다. 하지만 통제된 세션에서 완료된 다운로드 이벤트를 확보하지 못했으므로 이 글은 해당 파일 다운로드가 성공했다고 주장하지 않습니다. 검증된 것은 전체 복사 후 로컬 Markdown 보존입니다.
관찰한 friction
Temporary Chat의 증거 내구성
가장 큰 workflow 약점은 recoverability였습니다. Temporary/private conversation은 장기 증거 저장소가 아닙니다. 탭 손실 뒤 증거를 다시 확보하기 위해 승인된 recovery rerun이 필요했습니다.
감사 가능한 업무라면 대화를 닫기 전에 결과를 외부에 보존해야 합니다.
긴 결과 탐색
의사결정 브리프는 세로 탐색이 필요했습니다. 긴 답변에서는 자연스러운 현상이지만, 특정 문장을 source와 대조하면서 전체 문서를 유지하려는 reviewer에게는 마찰이 됩니다.
Export 주장은 정확하게 써야 함
다운로드 버튼이 보였다는 것과 실제 다운로드 완료를 관찰했다는 것은 다릅니다. 이번 실행에서 검증된 것은 full copy였고 완료된 다운로드 이벤트는 아니었습니다.
이 workflow가 맞았던 사용자 유형
이번 테스트에서는 생성된 운영 브리프를 그대로 수용하지 않고 검토할 수 있는 사용자, 누락 비용이나 근거 없는 ROI처럼 위험 경계를 찾아낼 수 있는 사용자, 좁은 correction을 요청하고 최종 결과를 chat 밖에 보존할 수 있는 사용자에게 적합했습니다.
반대로 Temporary Chat 자체가 영구 복구 가능해야 하거나, 불완전한 source만으로 금융 ROI까지 자동 확정하기를 기대하는 workflow에는 적합도가 낮습니다.
이 리뷰가 증명하지 않는 것
F4는 제품 하나, 합성 workflow 하나, 계획된 correction 한 번을 사용했습니다. Claude와 비교한 테스트가 아니며 production integration, collaborative editing, 매우 큰 파일, 장기간 반복 사용을 측정하지 않았습니다.
Recovery rerun도 있었기 때문에 처음부터 끝까지 손대지 않은 one-shot session이라고 부를 수 없습니다. 그 제한 자체가 결과의 일부입니다.
실무적 결론
의사결정 브리프 workflow에서는 benchmark 점수보다 다음 네 가지가 더 유용했습니다.
- 첫 draft가 수정값과 중요한 예외를 유지하는가?
- 좁은 correction이 새로운 오류 없이 위험 경계를 강화하는가?
- 수정 결과를 chat 밖에 보존할 수 있는가?
- Temporary session이 사라졌을 때 어떤 evidence가 남는가?
이번 통제된 작업에서 ChatGPT는 비용·ROI 경계를 조심스럽게 처리했고 correction-and-copy loop도 사용할 수 있었습니다. 가장 큰 운영상 주의점은 산술보다 evidence durability였습니다.
별도의 구조화 데이터 비교 결과는 ChatGPT vs Claude CSV 분석 비교를 참고하세요.