최근 비전공자들을 대상으로 AI 활용 특강을 몇 차례 진행했습니다. 강의 전에는 어떤 AI 도구를 소개할지, 프롬프트를 어떻게 설명할지 고민했습니다. 그런데 막상 현장에서 가장 많이 나온 질문은 도구 사용법이 아니었습니다. “대체 무엇부터 시작해야 하나요?”라는 질문이었습니다.
AI에게 일을 시키고 싶은데 첫 문장을 어떻게 써야 할지 모르겠고, 분석에 쓸 데이터는 어디서 어떤 기준으로 모아야 할지 막연하다고 했습니다. AI를 제대로 활용하려면 AI와 ICT를 어느 정도까지 공부해야 하는지도 부담스러워했습니다. 수학, 코딩, 데이터베이스를 먼저 배워야 하는 것 아니냐는 질문도 자주 나왔습니다.
그때마다 저는 업계 선배가 후배에게 말하듯 이렇게 답했습니다. 개발자가 되려고 시작하지 마세요. 먼저 이 기술이 무엇이고, 어느 용도에 쓰이는지 설명할 수 있을 정도로만 공부하세요. 그 정도를 알면 세부 작업은 AI에게 시킬 수 있습니다. 다만 무엇을 맡길지 정하고, 결과가 맞는지 판단하는 책임까지 AI에게 넘길 수는 없습니다.
특강에서 확인한 비전공자의 진짜 어려움
비전공자가 AI를 어려워하는 이유를 기술 부족으로만 보면 해법이 잘못됩니다. 실제로는 머릿속에 있는 업무를 AI가 처리할 수 있는 단위로 바꾸는 과정이 낯선 경우가 많습니다.
예를 들어 “우리 지역의 관광 활성화 방안을 분석하고 싶다”는 생각은 있지만, 어떤 지역과 기간을 볼지, 방문객 수와 매출 중 무엇을 기준으로 삼을지, 결과를 보고서와 표 중 어떤 형태로 받을지 정하지 못합니다. 이 상태에서 “관광 활성화 분석해줘”라고 요청하면 AI도 일반적인 이야기만 돌려줍니다. 사용자는 그 결과를 보고 “AI가 별로 쓸모없다”고 느낍니다.
문제는 프롬프트 기술이 아니라 업무 정의입니다. 누구를 위한 결과인지, 어떤 결정을 돕고 싶은지, 필요한 자료가 무엇인지부터 정해야 합니다. 좋은 프롬프트는 특별한 주문이 아니라 좋은 업무 지시서에 가깝습니다.
비전공자가 먼저 알아야 할 AI 개념은 많지 않다
AI 활용을 시작하기 전에 신경망의 수식이나 모델 학습 코드를 이해할 필요는 없습니다. 다만 다음 개념은 자기 말로 설명할 수 있어야 합니다.
- AI는 사람의 판단이나 생성 작업 일부를 소프트웨어가 수행하도록 만든 넓은 기술 범주입니다.
- 생성형 AI는 학습한 패턴을 바탕으로 글, 이미지, 코드, 음성 같은 새 결과물을 만듭니다.
- 대규모 언어 모델(LLM)은 많은 언어 자료에서 패턴을 학습해 문장을 이해하고 생성하는 모델입니다.
- 프롬프트는 AI에게 주는 질문이자 작업 지시입니다.
- 컨텍스트는 AI가 현재 작업을 이해하는 데 필요한 배경, 자료, 조건입니다.
- 환각은 AI가 사실처럼 보이지만 확인되지 않았거나 틀린 내용을 만들어 내는 현상입니다.
여기서 중요한 것은 용어 암기가 아닙니다. 생성형 AI는 글 초안과 요약에는 잘 맞지만 최종 사실 확인을 대신하지 못한다는 것, 컨텍스트가 부족하면 그럴듯한 일반론이 나온다는 것, 민감한 자료는 아무 서비스에나 넣으면 안 된다는 것을 이해하면 됩니다.
UNESCO의 AI 역량 프레임워크도 인간 중심 관점, 윤리, AI 기술과 응용, 시스템 설계를 구분하고 학습 단계를 이해·적용·창작 순서로 제시합니다. 처음부터 만드는 사람이 될 필요는 없습니다. 먼저 이해하고, 작은 일에 적용하고, 필요할 때 더 깊게 들어가면 됩니다.
꼭 기억할 한 문장, AI는 가설을 세우지 않는다
제가 비전공자 특강에서 꼭 강조하고 싶은 말이 하나 있습니다. AI는 가설을 세우지 않습니다. 조금 더 정확히 말하면, AI가 사람처럼 문제를 발견하고 “이것이 원인일 것이다”라고 책임 있게 가설을 선택한 뒤 끝까지 검증해 주는 것은 아니라는 뜻입니다.
AI는 이미 많은 정보의 패턴을 학습했습니다. 우리가 질문이나 작업을 주면 그 요청과 맥락을 바탕으로 정답에 가장 가까워 보이는 설명, 문장, 방법을 빠르게 제시합니다. 그래서 훌륭한 조력자가 될 수 있습니다. 하지만 무엇을 문제로 볼지, 어떤 전제를 의심할지, 어느 답을 실제 행동으로 옮길지는 여전히 사람이 정해야 합니다.
AI를 사용하다 보면 한 번쯤 이런 경험을 합니다. 처음에는 꽤 확신에 찬 답을 내놓았는데, 사용자가 “이것은 아닌 것 같은데?”라고 말하면 그제야 “좋은 지적입니다”라며 다른 해법을 제시합니다. 이것은 AI가 처음부터 하나의 가설을 세우고 검증하고 있었다기보다, 처음 주어진 질문에 가장 그럴듯한 답을 만들었고 새로운 지적이 들어오자 그 맥락에 맞춰 답을 다시 구성했다는 뜻에 가깝습니다.
반대로 사람이 자기 가설을 먼저 제시하면 AI의 장점이 살아납니다. “참가자들이 어려워한 이유는 AI 지식 부족보다 업무를 구체적으로 설명하지 못했기 때문이라고 생각한다”라고 말해 보세요. 그러면 AI에게 근거와 반례를 찾게 하고, 빠진 변수를 물으며, 가설을 검증할 설문 항목이나 실험 방법까지 설계하게 할 수 있습니다. 막연했던 생각이 훨씬 정교해집니다.
그러니 AI에게 무조건 답을 달라고 하기 전에 네 가지를 함께 물어보세요.
- 내가 세운 가설을 지지하는 근거와 반대하는 근거는 무엇인가.
- 지금 판단에 빠진 정보나 전제는 무엇인가.
- 이 가설이 틀렸다는 것을 확인하려면 무엇을 조사해야 하는가.
- 내 의견에 맞장구치지 말고 가장 강한 반론을 제시해 달라.
좋은 AI 활용자는 AI가 내놓은 첫 답을 믿는 사람이 아닙니다. 문제를 정의하고 자기 가설을 세운 뒤, AI를 이용해 그 가설을 흔들어 보고 보완하는 사람입니다. 가설은 사람이 세우고, AI는 그 가설을 빠르게 확장하고 검토하며 정교하게 만드는 조력자라고 기억하면 됩니다.
ICT 배경지식은 ‘개발’보다 ‘업무 연결’에 맞춰 배우자
비전공자에게 필요한 ICT 지식은 컴퓨터공학 전공 과정의 축소판이 아닙니다. AI가 업무 자료를 어떻게 읽고 주고받는지 이해하는 데 필요한 만큼이면 됩니다.
첫째, 파일 형식을 구분해야 합니다. PDF, 워드 문서, 엑셀, CSV, 이미지가 서로 다른 방식으로 정보를 담는다는 정도는 알아야 합니다. 표 데이터를 분석시키려면 행은 한 건의 기록이고 열은 같은 의미의 항목이라는 구조도 이해해야 합니다.
둘째, 웹과 클라우드의 기본을 알아야 합니다. 웹페이지 주소인 URL, 서비스를 연결하는 API, 온라인 저장 공간인 클라우드가 무엇인지와 어느 상황에 쓰는지만 알면 됩니다. API 코드를 직접 작성하지 못해도 “이 서비스의 자료를 API로 가져올 수 있는지 확인해줘”라고 AI에게 물을 수 있습니다.
셋째, 개인정보와 권한을 알아야 합니다. 주민등록번호, 연락처, 계약 정보, 내부 매출처럼 공개하면 안 되는 데이터를 외부 AI에 그대로 넣지 않아야 합니다. 회사나 기관의 보안 규칙, 서비스의 데이터 처리 조건, 자료 사용 권한을 먼저 확인해야 합니다.
이 정도 배경지식은 완벽하게 공부한 뒤 AI를 쓰기 위한 입장권이 아닙니다. 실제 작업 중 모르는 개념이 나왔을 때 AI에게 묻고, 공식 자료로 확인하며 조금씩 채우는 지도입니다.
데이터 수집은 많이 모으는 일이 아니라 질문에 필요한 증거를 모으는 일이다
특강에서 가장 막연해한 부분이 데이터 수집이었습니다. “일단 인터넷에서 많이 모으면 되나요?”라는 질문을 자주 받았습니다. 제 대답은 늘 같습니다. 데이터를 찾기 전에 질문을 한 줄로 적으세요.
가령 “우리 교육의 만족도가 낮은 이유를 알고 싶다”면 다음 순서로 바꿉니다.
1. 결정할 문제를 정합니다. 다음 교육에서 강의 시간, 난도, 실습 비중 중 무엇을 바꿀지 결정하려는 것인지 적습니다.
2. 필요한 항목을 정합니다. 참가자 배경, 사전 기대, 세션별 만족도, 어려웠던 지점, 자유 의견처럼 분석에 필요한 열을 정합니다.
3. 출처와 권한을 확인합니다. 설문, 출석 기록, 공개 통계 중 어떤 자료를 합법적으로 사용할 수 있는지 봅니다.
4. 최소한만 모읍니다. 분석에 필요 없는 이름, 전화번호, 주민번호는 처음부터 수집하지 않습니다.
5. 작은 표본으로 시험합니다. 10건 정도를 AI에 주고 분류 기준과 누락 항목을 확인한 뒤 전체 자료로 확대합니다.
6. 원본과 작업본을 나눕니다. 원본은 보존하고, 개인정보를 제거한 사본을 AI 작업에 사용합니다.
7. 결과를 교차 확인합니다. AI가 계산한 수치와 인용한 문장은 원자료 또는 공식 출처와 맞춰 봅니다.
이 흐름을 익히면 데이터 과학자가 아니어도 AI에게 꽤 정확한 일을 맡길 수 있습니다. 반대로 질문 없이 데이터를 많이 모으면 정리 비용만 커지고, 개인정보 위험과 잘못된 결론 가능성도 커집니다.
AI에게 일을 시킬 때는 다섯 가지를 말하자
프롬프트 공식을 복잡하게 외울 필요는 없습니다. 다음 다섯 가지를 업무 지시서처럼 적으면 됩니다.
| 항목 | 적어야 할 내용 | 예시 |
|---|---|---|
| 목적 | 왜 이 일을 하는가 | 다음 특강의 실습 비중을 결정하려고 한다 |
| 자료 | 무엇을 기준으로 볼 것인가 | 익명화한 만족도 설문 CSV |
| 작업 | AI가 무엇을 해야 하는가 | 불편 의견을 주제별로 분류하고 빈도를 계산한다 |
| 결과 형식 | 어떻게 보여줄 것인가 | 표, 핵심 원인 3개, 개선안 5개 |
| 검증 조건 | 무엇을 확인해야 하는가 | 근거가 된 설문 번호를 함께 표시하고 추측은 구분한다 |
이를 한 문장으로 합치면 다음과 같습니다.
다음 특강의 실습 비중을 정하려고 한다. 익명화한 만족도 설문 CSV에서 불편 의견을 주제별로 분류하고 빈도를 계산해라. 결과는 표와 핵심 원인 3개, 개선안 5개로 작성하고, 각 판단의 근거가 된 설문 번호를 표시해라. 자료에서 확인되지 않는 내용은 추측이라고 밝혀라.
OpenAI의 공식 프롬프트 안내도 명확하고 구체적인 지시, 충분한 맥락, 첫 결과를 검토한 뒤 반복해서 다듬는 방식을 권합니다. 첫 요청에 완벽한 결과가 나오지 않는다고 실패한 것이 아닙니다. 부하 직원에게 초안을 받고 보완 지시를 하는 과정이라고 생각하면 편합니다.
AI 검색을 공부 도구로 적극 활용하되 출처를 확인하자
저는 비전공자에게 AI 검색을 적극 권합니다. 모르는 용어를 만났을 때 검색창에서 여러 글을 떠돌기보다 AI에게 먼저 수준을 지정해 설명을 요청하면 학습 속도가 빨라집니다.
예를 들어 이렇게 물을 수 있습니다.
- “API가 무엇인지 행정 업무 담당자에게 설명하듯 비유와 실제 용도 중심으로 알려줘.”
- “CSV와 엑셀 파일의 차이를 데이터 분석을 맡길 때의 장단점으로 비교해줘.”
- “RAG라는 용어를 정의, 사용 목적, 필요한 데이터, 주의점 순서로 설명하고 공식 출처를 제시해줘.”
- “내 설명에서 틀리거나 빠진 개념을 지적하고, 확인할 공식 문서 링크를 알려줘.”
다만 AI가 제시한 링크가 실제로 존재하는지, 문서의 발행 주체와 날짜가 적절한지는 직접 확인해야 합니다. AI 검색은 공부의 출발점이지 최종 근거가 아닙니다. 중요한 수치, 법률, 정책, 건강, 금융 정보는 반드시 공식 자료와 원문을 다시 봐야 합니다.
이렇게 공부해 보자
막연함을 줄이는 가장 좋은 방법은 작은 완료 경험을 만드는 것입니다. 다음 순서는 비전공자가 퇴근 후에도 부담 없이 시도할 수 있는 수준입니다.
첫째, 용어보다 용도를 익힌다
AI, 생성형 AI, LLM, 프롬프트, 컨텍스트, 환각, API, CSV를 자기 업무 사례로 설명해 봅니다. 모르는 용어는 AI에게 “정의, 용도, 예시, 주의점” 순서로 묻고 공식 자료 하나를 함께 확인합니다.
둘째, 실제 문서 하나를 맡긴다
회의록 요약, 설문 의견 분류, 보고서 목차 작성처럼 결과를 직접 검토할 수 있는 작은 일을 선택합니다. 목적·자료·작업·형식·검증 조건을 적어 요청하고, 첫 결과를 두 번 이상 수정해 봅니다.
셋째, 데이터를 표로 정리한다
개인정보가 없는 작은 CSV를 만들어 열 이름과 값의 형식을 통일합니다. AI에게 누락값과 중복값을 찾아 달라고 하고, 계산 결과를 엑셀 수식이나 원자료와 대조합니다.
넷째, 반복 가능한 작업으로 만든다
잘 됐던 프롬프트와 자료 준비 순서를 한 페이지 절차서로 남깁니다. 입력 자료, 실행 순서, 검토 지점, 최종 책임자를 적습니다. 한 번 잘된 대화를 저장하는 데서 끝내지 말고 다음 달에도 다시 쓸 수 있는 업무 흐름으로 만드는 단계입니다.
선배로서 꼭 말하고 싶은 것
비전공자라는 말 때문에 스스로 출발선을 뒤로 미루지 않았으면 합니다. 현업에서 좋은 AI 결과를 만드는 사람은 항상 코드를 가장 잘 쓰는 사람이 아닙니다. 문제의 맥락을 알고, 필요한 자료를 구분하고, 결과가 현실과 맞는지 판단하는 사람이 더 강할 때가 많습니다. 이 능력은 오랫동안 자기 분야에서 일한 비전공자에게 이미 있습니다.
그렇다고 “AI가 다 해주니 아무것도 공부하지 않아도 된다”는 뜻도 아닙니다. 개발 기술을 전부 배울 필요는 없지만 AI에게 맡길 일과 맡기면 안 될 일을 구분하는 개념은 배워야 합니다. 데이터의 출처와 권한을 확인하고, 결과를 검증하고, 잘못됐을 때 책임 있게 수정하는 습관도 필요합니다.
문과 출신으로 IT 현장에서 오래 일하며 느낀 것은 기술을 모두 아는 사람보다 필요한 기술을 제때 찾아 연결하는 사람이 오래 간다는 점입니다. AI 시대에는 이 연결 능력이 더 중요해졌습니다. 이것이 무엇인지, 어디에 쓰는지부터 알아두세요. 나머지 세부 작업은 AI와 함께 배우며 시키면 됩니다.
너무 거창하게 시작하지 마세요. 내일 해야 할 일 하나를 골라 목적과 자료와 완료 조건을 적고 AI에게 맡겨 보세요. 결과를 검토하고 한 번 더 지시해 보세요. 그 작은 반복이 비전공자를 AI 사용자로 바꾸고, 결국 자기 일을 설계하는 사람으로 만들어 줍니다.