지난 1편부터 14편까지 우리는 챗GPT를 비롯한 다양한 생성형 AI 툴을 실무와 콘텐츠 제작에 활용하는 구체적인 방법들을 살펴보았다. 프롬프트에 페르소나를 부여하고, 데이터를 분석하며, 이메일의 톤을 조절하고, 크롬 확장프로그램으로 동선을 줄이는 법까지 배우고 나면 문득 한 가지 근원적인 질문과 마주하게 된다. "이렇게 AI가 글도 잘 쓰고 기획 초안도 잘 짜준다면, 결국 인간인 나의 역할은 무엇일까?", "머지않아 내가 하는 일의 대부분을 AI가 완전히 대체해 버리는 것은 아닐까?" 하는 막연한 불안감이다. 나 역시 AI 툴들을 깊숙이 연구하며 비슷한 두려움을 느낀 적이 있다. 내가 며칠 밤을 새우며 고민하던 기획서의 뼈대를 AI가 단 5초 만에 뽑아내는 것을 보았을 때의 허탈함은 이루 말할 수 없었다. 하지만 수많은 프로젝트를 AI와 협업하며 내린 결론은 명확하다. AI 기술이 발전할수록 역설적으로 '인간 고유의 기획력과 문제 정의 능력'의 가치는 그 어느 때보다 가치 있게 빛난다는 사실이다. 오늘 시리즈의 마지막 글에서는 급변하는 기술 트렌드 속에서 AI에게 대체되지 않고, 오히려 AI를 지휘하는 '대체 불가능한 기획자'로 살아남는 법을 제언하고자 한다. AI가 절대로 흉내 낼 수 없는 인간의 3가지 영역 첫 번째는 '문제를 정의하는 능력'이다. AI는 주어진 질문에 답을 하는 데는 천재적이지만, 스스로 "지금 우리 비즈니스의 진짜 문제는 무엇인가?"라는 질문을 던지지는 못한다. 매출이 떨어졌을 때, 그것이 제품의 질 문제인지, 타깃 설정의 오류인지, 혹은 브랜드 이미지의 노후화 때문인지 현장을 관찰하고 진짜 원인을 진단하는 것은 오직 인간의 몫이다. 올바른 질문(프롬프트)을 던지기 위해서는 현상 뒤에 숨은 본질적인 문제를 찾아내는 안목이 필수적이다. 두 번째는 '고유한 경험(Experience)과 맥락의 연결'이다. AI는 전 세계의 공개된 ...
생성형 AI를 업무나 콘텐츠 제작에 깊숙이 활용하다 보면 소름 돋을 정도로 똑똑한 답변에 감탄하게 된다. 하지만 반대로 소름 돋을 정도로 당당하게 거짓말을 늘어놓는 순간을 마주하기도 한다. 인공지능 분야에서는 이를 '할루시네이션(Hallucination, 환각 현상)'이라고 부른다. AI가 존재하지 않는 사실을 마치 실제 있는 것처럼 그럴듯한 문장으로 지어내어 답변하는 오류를 뜻한다.
나도 처음에 챗GPT를 쓸 때 특정 마케팅 이론의 논문 출처를 물어봤다가 낭패를 볼 뻔했다. 저자 이름, 출판 연도, 심지어 논문 제목까지 완벽하게 격식을 갖춰 알려주기에 그대로 기획서에 넣으려다 혹시 몰라 구글링을 해보았더니 세상에 존재하지 않는 논문이었다. 만약 검증 없이 그대로 상사나 클라이언트에게 보고했다면 내 전문성과 신뢰도에 치명적인 타격이 갔을 것이다. 오늘 글에서는 AI가 왜 이런 거짓말을 하는지 원리를 살펴보고, 실무에서 이를 완벽하게 필터링하는 예방책을 공유한다.
AI는 왜 눈 하나 깜짝 안 하고 거짓말을 할까?
할루시네이션을 예방하려면 먼저 AI의 작동 원리를 이해해야 한다. 챗GPT 같은 대형 언어 모델(LLM)은 '사실을 검색하는 백과사전'이 아니라 '다음에 올 가장 확률이 높은 단어를 예측하는 기계'다. 즉, AI는 자신이 하는 말이 진짜 사실인지 검증하면서 문장을 쓰는 것이 아니라, 그동안 학습한 방대한 데이터를 기반으로 문법적으로 가장 그럴듯하고 매끄러운 문장을 '창조'해내는 것이다.
특히 숫자가 들어가는 통계, 인물의 구체적인 약력, 법률 조항, 그리고 최신 정보(AI의 학습 컷오프 이후의 데이터)를 물어볼 때 환각 현상이 극대화된다. AI에게는 "모른다"고 답하는 것보다 "그럴듯한 문장을 완성하는 것"이 더 높은 우선순위로 세팅되어 있기 때문이다. 따라서 AI의 답변을 다룰 때는 '기본적으로 틀릴 수 있다'는 의심의 필터를 항상 장착해야 한다.
실무에서 환각 현상을 제어하는 3가지 프롬프트 장치
질문 단계에서 몇 가지 제약 조건을 명확히 걸어두는 것만으로도 AI의 거짓말 확률을 90% 이상 낮출 수 있다.
"모르면 모른다고 말해줘" 탈출구 마련하기 프롬프트 가장 마지막에 이 문장을 한 줄 넣는 것만으로도 효과가 대단하다. AI에게 거짓말을 지어내지 않아도 된다는 '면죄부'를 주는 것이다.
예시: "만약 제공하는 정보 중 확실하지 않거나 근거 데이터가 부족한 부분이 있다면, 억지로 지어내지 말고 반드시 '확인 불가' 또는 '모름'으로 답변해줘."
출처 및 근거 URL 요구하기 (웹 검색 기능 활용) 최신 챗GPT나 클로드 등 웹 브라우징이 가능한 AI를 쓸 때는 반드시 출처를 같이 요구해야 한다.
예시: "방금 제시한 2026년도 시장 점유율 데이터의 출처 기관과, 내가 직접 교차 검증할 수 있는 공신력 있는 뉴스나 리포트의 타이틀을 함께 명시해줘."
단계별 추론 유도 (Chain of Thought) AI에게 결론을 한 번에 내라고 하면 머릿속 연산이 꼬여 거짓말을 하기 쉽다. 문제를 쪼개서 생각하게 만들면 정확도가 올라간다.
예시: "이 법률 검토에 대해 바로 결론을 내지 말고, [관련 조항 탐색 -> 조항 적용 가능 여부 해석 -> 최종 결론]의 단계를 거쳐 생각 과정을 순서대로 보여주며 작성해줘."
실전 적용: 팩트 체크를 자동화하는 크로스 검증 프롬프트
내가 중요한 보고서나 블로그 정보성 글을 발행하기 전, AI가 작성한 초안의 오류를 잡아내기 위해 역으로 AI를 활용하는 검증 프로토콜이다. 대화창을 새로 열어 아래와 같이 질문하는 방법이다.
[실전 할루시네이션 검증 프롬프트 예시] "너는 언론사에서 15년간 팩트 체크만을 전문으로 담당해 온 베테랑 수석 저널리스트야. 아래의 텍스트는 인공지능이 작성한 비즈니스 트렌드 초안이야.
이 글에 포함된 사실관계 중 오류가 있을 가능성이 높은 부분을 칼날처럼 도려내어 검증해 주길 바란다. 특히 다음 항목을 집중적으로 봐줘.
언급된 수치, 통계 데이터, 연도의 정확성 여부
고유 명사(기업명, 인물명, 이론 이름)가 실존하는지 여부
인과관계가 왜곡되었거나 논리적 비약이 있는 지점
조금이라도 의심스러운 부분이 있다면 해당 문장을 인용하고, 왜 의심스러운지 근거를 제시해줘. 확실한 팩트가 아니라면 독자에게 경고 문구를 넣어야 할 곳도 짚어줘."
이 프롬프트에 초안을 넣고 돌리면, AI가 스스로 자신의 동료(?)가 저지른 텍스트 속 미세한 할루시네이션이나 과장된 표현들을 객관적으로 잡아내 준다.
생성형 AI는 훌륭한 조수이지만 최종 책임은 언제나 생산자인 인간에게 있다. AI가 준 자료를 100% 맹신하여 복사·붙여넣기만 반복하는 블로그는 결국 구글 시스템에 의해 '저품질 정보성 문서'로 분류되어 애드센스 승인에서 멀어지게 된다. 훌륭한 기획자가 되기 위해, 오늘부터 AI의 답변 뒤에 숨은 팩트를 확인하는 습관을 루틴화해 보길 권한다.
📌 9편 핵심 요약
AI의 할루시네이션(환각)은 사실을 검색하는 것이 아니라 문법적으로 가장 확률이 높은 단어를 조합하는 원리 때문에 발생한다.
프롬프트에 "모르면 모른다고 답하라"는 조건을 명시하고, 단계별로 추론(Chain of Thought)하게 만들면 거짓말 확률을 크게 낮출 수 있다.
구체적인 수치나 고유 명사는 사용자가 구글 검색 등을 통해 반드시 교차 검증(Cross-Check)해야 비즈니스 및 블로그의 신뢰도를 지킬 수 있다.
🚀 다음 편 예고
다음 10편에서는 생산성을 극대화하는 [노션 AI와 챗GPT 연동을 통한 나만의 업무 자동화 데이터베이스 구축]을 다룹니다. 오늘 배운 프롬프트 기술들을 노션(Notion)에 내재화하여 나만의 업무 치트키 노트를 만드는 방법을 공개합니다.
💬 생각 공유하기
챗GPT나 다른 AI 툴을 사용하시면서 가장 당황스러웠던 AI의 '새빨간 거짓말(할루시네이션)'은 무엇이었나요? 댓글로 황당했던 경험을 나누어 주세요!
댓글
댓글 쓰기