AI 도구의 시연이 유용해 보인다는 이유만으로 실제 업무 데이터를 바로 입력해서는 안 됩니다. 도입 전에는 어떤 정보가 시스템에 들어가는지, 누가 접근하는지, 공급자가 무엇을 얼마나 보관하는지, 도구가 어떤 행동을 할 수 있는지, 문제가 생기면 어떻게 중단하고 복구할지를 먼저 정해야 합니다.

개인정보와 보안은 같은 체크박스가 아닙니다. 개인정보 관점에서는 데이터 처리가 정당한 목적에 맞고 필요한 범위로 제한되며 당사자가 이해할 수 있는지를 봅니다. 보안 관점에서는 무단 접근, 조작, 유출, 손실과 오용으로부터 데이터와 업무를 보호하는지를 봅니다. 암호화가 잘된 서비스도 필요 이상의 데이터를 수집할 수 있고, 상세한 개인정보처리방침이 있어도 과도한 권한과 외부 문서를 연결하면 위험해질 수 있습니다.

이 글은 일반적인 업무용 AI 서비스를 검토하는 팀, 1인 사업자와 소규모 조직을 위한 도입 전 점검표입니다. 법률 자문, 정식 보안 심사 또는 산업별 규제 검토를 대체하지 않습니다.

1. 공급자보다 먼저 업무 흐름을 정의하기

제품명부터 검토하지 말고 실제 업무를 한 문장으로 적습니다. 입력, 처리, 결과, 사람 검토자, 최종 저장 위치와 실패했을 때의 피해가 보여야 합니다. “고객 업무에 AI를 쓴다”는 표현은 여러 데이터 흐름과 결정을 숨기므로 평가할 수 없습니다.

좋은 정의는 다음처럼 구체적입니다. “식별 정보를 제거한 승인된 상담 메모로 초안을 만들고, 담당자가 사실을 확인한 뒤 기존 문서 시스템에 저장한다.” 이 문장은 어디에서 데이터가 들어오고, 사람 판단이 어디에 남으며, 어떤 시스템이 연결되는지를 드러냅니다.

AI가 결정해서는 안 되는 항목도 적습니다. 채용, 접근 권한, 결제 승인, 의료·법률 결론, 보안 설정 변경과 대외 발표는 단순한 초안 작성보다 강한 통제가 필요합니다.

판단 질문

  • 입력, 처리, 결과, 검토자와 저장 위치를 한 문장으로 설명할 수 있는가?
  • 결과가 틀리거나 유출되거나 조작되면 어떤 피해가 생기는가?
  • 어떤 결정과 승인은 반드시 사람이 유지해야 하는가?

2. 실제 데이터를 넣기 전에 분류하기

사람이 일상에서 사용할 수 있을 정도로 단순한 데이터 분류표를 만듭니다. 최소한 공개 정보, 내부 정보, 영업상 기밀, 개인정보, 규제 대상 또는 고위험 정보, 인증 정보와 보안 자료를 구분하세요.

각 등급에는 허용, 식별 정보 제거 후 허용, 승인된 기업 설정에서만 허용, 금지 중 하나를 연결합니다. 빠른 대화 중에 긴 정책을 기억하길 기대하지 말고, 도구 사용 화면과 교육 자료, 실제 업무 절차 가까이에 규칙을 둡니다.

비밀번호, API 키, 세션 쿠키, 복구 코드, 개인 키, 데이터베이스 인증 정보와 Production 설정은 일반 AI 인터페이스에 붙여 넣지 않습니다. 이름을 지웠다고 익명화가 끝난 것도 아닙니다. 날짜, 장소, 희귀 사건과 고유 식별자가 조합되면 사람을 다시 알아볼 수 있습니다.

판단 질문

  • 어떤 데이터 등급을 어떤 계정과 설정에서 입력할 수 있는가?
  • 실제 자료 대신 합성 데이터나 식별 정보를 제거한 자료로 시험할 수 있는가?
  • 이름을 지운 뒤에도 개인을 알아볼 수 있게 만드는 항목은 무엇인가?

3. 실제 요금제에 적용되는 계약과 설정 확인하기

홍보 페이지의 요약만 보지 않습니다. 실제 사용할 요금제와 지역에 적용되는 약관, 개인정보처리방침, 데이터 처리 조건, 보안 문서, 보관 기간, 하위 처리업체, 삭제 기능과 관리자 설정을 확인합니다.

계약상 약속과 선택 가능한 기능을 구분하세요. 학습 활용 제외, 짧은 보관 기간, 지역 처리, 관리자 로그, 통합 로그인과 공유 제한 기능이 특정 요금제에서만 제공될 수 있습니다. 문서에 기능이 있다고 적혀 있어도 실제 계정에서 활성화됐는지 확인해야 합니다.

문서가 사람 검토, 삭제 완료 시점, 백업 보관, 국외 이전을 명확히 설명하지 않는다면 미확인으로 남깁니다. 설명이 없다는 사실은 안전하다는 증거가 아닙니다.

판단 질문

  • 입력, 출력, 메타데이터와 피드백이 보관되거나 서비스 개선에 사용되는가?
  • 어떤 요금제·지역·계정 설정이 실제 처리 방식을 결정하는가?
  • 관리자가 삭제, 공유와 접근 설정을 직접 확인할 수 있는가?

4. 사용자·연동·에이전트에 최소 권한 적용하기

정의한 업무에 필요한 가장 작은 권한만 부여합니다. 글쓰기 보조 도구가 모든 드라이브 폴더를 볼 필요는 없습니다. 회의 요약 도구가 이메일을 보낼 필요도 없습니다. 처음에는 좁은 시험 데이터에 읽기 전용으로 연결하고, 실제 근거가 있을 때만 범위를 넓힙니다.

권한은 사용자 계정, 연결된 서비스 계정, 도구 호출 기능을 가진 에이전트의 세 수준에서 확인합니다. 사용자 권한이 작더라도 연동 토큰이 전체 작업 공간을 읽거나 확인 없이 행동할 수 있다면 위험은 큽니다.

중요한 작업은 준비와 실행을 분리하세요. AI가 메시지, 쿼리나 변경 계획을 만들 수는 있지만 사람 검토 후 최종 실행해야 합니다. 외부 발송, 구매, 삭제, 권한 변경, 코드 실행과 Production 작업에는 명시적 확인을 둡니다.

판단 질문

  • 이 업무에 필요한 최소 읽기·쓰기 범위는 무엇인가?
  • 준비와 실행을 서로 다른 권한과 승인 단계로 나눌 수 있는가?
  • 사용자나 공급자가 바뀌면 모든 접근 권한을 얼마나 빨리 회수할 수 있는가?

5. 프롬프트·파일·웹페이지·검색 문서를 비신뢰 입력으로 보기

프롬프트 인젝션은 사용자 입력, 문서, 웹페이지, 메시지나 검색된 지식 안의 지시가 모델 행동을 바꾸는 문제입니다. 단순히 “이전 지시를 무시하라”는 문장만 위험한 것이 아닙니다. 문서가 비밀 공개, 업무 변경, 도구 실행이나 승인되지 않은 링크 이동을 요구할 수 있습니다.

모델이 신뢰할 지시와 외부 콘텐츠를 항상 정확히 구분한다고 가정하지 않습니다. 시스템 규칙을 검색 문서와 분리하고, 도구 권한을 줄이며, 요청된 행동을 검증하고, 외부 지시의 출처를 검토자에게 보여 줍니다. 임의의 외부 콘텐츠를 읽는 구성 요소가 민감 데이터에도 접근한다면 강한 격리 경계가 필요합니다.

도입 전 공격적 예제를 시험하세요. 인증 정보 공개를 요구하는 문서, 원래 업무와 충돌하는 숨은 지시, 승인되지 않은 목적지 링크와 행동 승인을 가장하는 콘텐츠를 포함합니다. 기대 결과는 거부, 격리 또는 사람 검토 요청이어야 합니다.

판단 질문

  • 고객, 웹사이트, 첨부 파일이나 제3자가 통제할 수 있는 입력은 무엇인가?
  • 비신뢰 콘텐츠가 도구 호출, 데이터 접근이나 외부 행동에 영향을 줄 수 있는가?
  • 악성 지시가 차단되거나 검토자에게 표시된다는 증거가 있는가?

6. 다른 시스템으로 보내기 전에 출력을 검증하기

AI 출력은 비신뢰 데이터입니다. 목적지에 맞는 검증 없이 명령 셸, 데이터베이스 쿼리, 브라우저 렌더러, 업무 자동화, 접근 정책이나 Production API에 바로 전달하지 않습니다.

허용 목록, 명확한 스키마, 매개변수화된 인터페이스, 길이 제한, 목적지 제한과 이스케이프를 사용합니다. 생성된 링크를 열기 전에 확인하세요. 수신자, 파일, 금액, 권한이나 명령을 선택하는 출력은 승인 요청과 대조하고 최종 행동을 사람에게 보여 줍니다.

사실 검증과 기술적 출력 처리는 별개입니다. 사실인 문장도 명령으로 실행되면 위험할 수 있고, 기술적으로 안전한 문단도 사실은 틀릴 수 있습니다. 의미와 실행 맥락을 모두 확인해야 합니다.

판단 질문

  • 어떤 시스템이 출력을 해석하며 어떤 형식만 안전하게 받을 수 있는가?
  • 생성된 행동이 스키마·허용 목록·사람 승인으로 제한되는가?
  • 자동 실행 대신 검토 가능한 초안으로 저장할 수 있는가?

7. 보관·내보내기·삭제와 종료 경로 준비하기

원자료, 프롬프트, 출력, 로그, 피드백과 감사 기록을 얼마나 보관할지 정합니다. 공급자의 최대 기본값이 아니라 업무 목적에 필요한 기간을 기준으로 해야 합니다. 모든 기록을 무기한 저장하면 노출 범위가 커지고 나중에 삭제하기도 어려워집니다.

의존성이 커지기 전에 삭제와 내보내기를 시험하세요. 대화를 삭제하면 첨부 파일, 임베딩, 파생 데이터, 공유 링크와 관리자 화면의 복사본도 제거되는지 확인합니다. 백업과 법적 보존이 삭제 시점에 미치는 영향도 봅니다. 내보낸 자료는 다른 승인 시스템에서 읽을 수 있는 형식이어야 합니다.

중요한 최종본은 조직이 관리하는 기준 저장소에 둡니다. 필수 의사결정과 증거가 AI 서비스 안에만 남아서는 안 됩니다.

판단 질문

  • 각 데이터 유형에 필요한 보관 기간은 얼마인가?
  • 삭제가 파일, 파생 데이터, 공유, 로그와 백업까지 포함하는가?
  • 서비스가 중단돼도 필요한 기록과 맥락을 복구할 수 있는가?

8. 출시 전에 모니터링과 사고 대응 준비하기

어떤 사건을 기록하고 누가 검토할지 정합니다. 계정 설정 변경, 연동 권한, 대량 내보내기, 공유, 도구 호출, 승인 실패, 정책 우회와 발행 행동이 유용한 신호가 될 수 있습니다. 전체 민감 프롬프트를 로그로 남겨 새로운 개인정보 문제를 만들지 말고 필요한 사건 메타데이터만 수집합니다.

실수로 민감 정보를 입력한 경우, 계정 침해, 악성 프롬프트 인젝션, 승인되지 않은 행동, 공급자 사고와 잘못된 공개 출력에 대한 짧은 대응 절차를 작성합니다. 연동 중지, 인증 정보 회수, 증거 보존, 공급자 연락, 필요한 통지와 복구 승인을 담당할 사람을 지정하세요.

합성 데이터로 실제 연습을 합니다. 한 번도 실행하지 않은 계획은 필요한 계정이 없거나 책임자가 불명확하거나 선택한 요금제에 기능이 없는 문제를 늦게 발견할 수 있습니다.

판단 질문

  • 오용, 유출, 과도한 접근과 예상 밖의 행동을 어떤 사건으로 감지하는가?
  • 누가 업무를 중단하고 연결된 모든 인증 정보를 회수할 수 있는가?
  • 격리, 증거 보존, 정정과 복구를 실제로 연습했는가?

도입 판단표

영역필요한 증거중단 조건
업무입력, 결과, 검토자와 피해 정의목적이나 책임자가 불명확
데이터승인된 분류와 최소화 규칙일상 업무에 금지 데이터가 필수
공급자적용 약관, 보관, 설정과 통제핵심 처리 방식이 미확인
접근최소 권한 계정과 연동 범위광범위한 쓰기 권한이 불가피
인젝션악성 문서와 프롬프트 시험외부 콘텐츠가 민감 행동을 실행
출력스키마, 허용 목록, 승인검증 없이 결과를 실행
수명주기내보내기와 삭제 시험필수 기록을 복구하거나 제거할 수 없음
대응책임자, 로그, 권한 회수, 연습현실적인 격리 경로가 없음

아직 도입하지 말아야 하는 경우

고위험 데이터가 필요한데 계약과 설정이 불명확하거나, 핵심 시스템에 광범위한 쓰기 권한이 필요하거나, 사용자가 초안과 승인된 결과를 구분할 수 없거나, 사고 대응 책임자가 없거나, usable한 내보내기와 삭제 경로가 없다면 도입을 미루세요.

제한된 시험은 가능합니다. 합성 데이터를 사용하고 외부 행동을 끄고 소수에게만 접근을 허용하며 종료일을 정합니다. 시험의 목적은 비공식 영구 시스템을 만드는 것이 아니라 도입 판단에 필요한 증거를 얻는 것입니다.

도입 전 짧은 체크리스트

  • 업무 범위와 사람 검토자가 구체적으로 정해졌는가?
  • 허용·금지 데이터 등급이 문서화됐는가?
  • 실제 요금제·지역·설정에 적용되는 계약을 확인했는가?
  • 사용자·연동·에이전트 권한이 최소 범위인가?
  • 프롬프트 인젝션과 악성 문서 사례를 시험했는가?
  • 외부 행동이 검증과 사람 승인을 거치는가?
  • 보관·내보내기·삭제와 공급자 종료 경로를 시험했는가?
  • 사고를 감지하고 격리하고 정정하고 복구할 수 있는가?

효용, 비용, 이동성과 장기 적합성을 평가할 때는 AI 도구를 선택하기 전에 확인할 7가지 기준을 함께 사용하세요. 도입 후 개별 출력의 사실성을 검증할 때는 AI 답변의 출처와 사실을 검증하는 8단계를 사용합니다.

확인한 기준 자료

자료 확인일: 2026-07-19