프롬프트 인젝션 뜻, AI가 읽은 글 속 명령을 따라 버리는 공격

01이 말이 무슨 뜻인가

챗봇에게 이 웹페이지를 요약해 달라고 하거나, 받은 메일함을 정리하라고 시키는 자리에서 이 말을 만나게 돼요. 프롬프트는 AI에게 주는 입력이고, 인젝션은 끼워 넣는다는 뜻이에요. 보안 단체 OWASP는 프롬프트 인젝션을 입력이 대규모 언어 모델의 동작이나 출력을 의도하지 않은 방식으로 바꾸는 일로 설명해요.

사용자가 채팅창에 직접 입력해서 모델의 동작을 바꾸는 것이 직접 인젝션이에요. 일부러 만든 악의적 입력일 수도 있고, 본인이 의도하지 않은 입력이 우연히 동작을 바꾸는 경우도 포함돼요.

간접 인젝션은 모델이 읽어 들이는 외부 내용, 예를 들어 웹페이지나 파일 안에 지시문이 들어 있어서 모델이 그것을 따르게 되는 경우예요. 사람 눈에 보이지 않는 글자여도 모델이 읽을 수 있다면 영향을 줄 수 있다고 OWASP는 설명해요.

02왜 이런 게 생겼나

AI 모델은 개발자가 준 규칙, 사용자의 요청, 읽어 오라고 한 자료를 모두 글의 형태로 한꺼번에 받아요. 사람은 이건 상사의 지시이고 이건 읽을 문서라고 나누어 받아들이지만, 모델에게는 그 경계가 분명하지 않아서 자료 속 문장이 지시처럼 작동할 틈이 생겨요.

예전에는 AI가 질문에 답만 했기 때문에 틀린 답을 하는 데서 그쳤어요. 지금은 검색을 하고, 파일을 열고, 메일을 보내는 도구까지 AI에 연결하는 경우가 늘어서, 숨은 지시가 실제 행동으로 이어질 수 있는 환경이 되었어요.

OWASP도 프롬프트 인젝션을 완전히 막는다고 알려진 방법은 없다고 적고 있어요. 그래서 막는다기보다 피해가 커지지 않도록 설계하는 쪽으로 대응이 모여 있어요.

함께 운영하는 곳

03어디까지 번질 수 있나

AI에게 주어진 권한이 클수록 숨은 지시가 닿는 범위도 넓어요. 글을 읽고 답만 하는 AI라면 요약이 왜곡되는 정도에서 끝나지만, 메일함과 파일에 접근하고 보낼 수도 있는 AI라면 개인정보 유출이나 원치 않는 발송으로 이어질 수 있어요.

그래서 피해의 크기는 공격 문장이 얼마나 교묘한가보다 AI에게 어떤 도구와 권한을 연결해 두었는가에 더 크게 좌우돼요. OWASP가 권하는 방어책에도 모델에 최소한의 권한만 주고, 위험한 행동은 사람의 승인을 거치게 하라는 항목이 들어 있어요.

04자주 헷갈리는 것

프롬프트 인젝션은 서버나 계정을 해킹하는 일과 달라요. 시스템에 침입하는 것이 아니라, 모델이 받아들이는 글 자체를 이용해서 모델이 하는 일을 바꾸는 방식이에요.

AI가 틀린 말을 지어내는 환각과도 달라요. 환각은 모델이 스스로 틀린 내용을 만드는 현상이고, 인젝션은 바깥에서 들어온 글이 모델의 행동을 틀어 놓는 일이에요.

질문을 잘 쓰는 기술인 프롬프트 엔지니어링과도 이름만 닮았어요. 그리고 필터 하나를 붙이면 끝난다는 생각은 맞지 않아요. 입력과 출력 검사, 권한 제한, 사람 승인 같은 방어를 겹쳐 쓰라는 것이 OWASP의 안내예요.

05언제 내 일이 되나

모르는 사이트나 출처가 불분명한 파일을 AI에게 읽혀 요약시킬 때 가장 가까워요. 그 안의 지시문이 AI의 답이나 행동을 틀 수 있기 때문이에요.

AI 비서를 내 메일, 일정, 파일에 연결해 쓰는 경우에는 연결 범위를 줄이고, 메일 발송이나 결제 같은 행동은 한 번 더 내 확인을 받도록 설정하는 것이 가장 직접적인 대비책이에요.