"AI 활용 능력"을 어떻게 측정할 수 있을까?

AI 시대, '잘 쓴다'는 것의 의미

매일같이 새로운 AI 도구와 모델이 쏟아져 나오는 시대다. 우리는 인공지능(AI)을 통해 아이디어를 얻고, 코드를 작성하며, 문서를 요약하는 등 다채로운 방식으로 업무 효율을 높이고 있다. 하지만 정작 "AI를 얼마나 잘 활용하고 있는가?"라는 질문에는 선뜻 답하기 어렵다. 어떤 부분에서 AI의 도움을 받는 것이 효율적인지, 그리고 사람 대비 얼마나 효율이 나아지는지에 대한 객관적인 측정은 아직 부족한 실정이다.

단순히 최신 AI 도구를 많이 아는 것을 넘어, 실제 업무 현장에서 유의미한 성과를 창출하기 위해서는 'AI 활용 능력'을 제대로 이해하고 체계적으로 개발할 필요가 있다. 본 글에서는 AI가 업무에 활용되는 영역을 나누어, 각 영역에서 필요한 핵심 역량이 무엇인지 구체적인 사례와 함께 살펴보고자 한다. 이를 통해 독자들이 자신의 AI 활용 능력을 진단하고, 필요한 영역의 역량을 강화하여 AI를 진정한 업무 파트너로 삼는 데 도움을 주고자 한다.

AI 활용 능력을 구성하는 5가지 핵심 역량

AI 활용 능력은 단일한 개념이 아니다. 복잡한 업무 문제를 해결하기 위해 여러 역량이 종합적으로 발휘되어야 한다. 필자는 이를 크게 문제 정의 능력, 프롬프트 엔지니어링 능력, 결과 검증 및 개선 능력, 도구 통합 능력, 윤리·보안 고려 능력의 다섯 가지로 나누어 제시하고자 한다

1. 문제 정의 능력: AI가 이해할 수 있는 언어로 질문하기

AI 활용의 첫 단추는 '질문'에서 시작된다. 내가 해결하고자 하는 업무 문제를 AI가 명확하게 이해하고 최적의 결과물을 내놓을 수 있도록 구체적이고 적절한 형태로 재구성하는 능력이 바로 문제 정의 능력이다. 추상적이고 모호한 문제를 잘게 쪼개고, AI가 작업할 수 있는 구체적인 과업으로 변환하는 과정이 핵심이다.

시나리오를 하나 살펴보자. 당신이 마케팅팀의 일원이고, 10대 타겟의 새로운 패션 앱 '스타일픽'의 초기 사용자 확보 방안을 고민하고 있다고 가정해보자.

• 나쁜 예 (추상적인 질문): "10대에게 인기 있는 마케팅 방법 알려줘."
  • AI 답변 예상: 일반적인 10대 마케팅 전략(SNS, 인플루언서, 챌린지 등)을 나열할 가능성이 높다. 우리 앱의 특성과 상황이 전혀 반영되지 않은 원론적인 답변이다.
• 좋은 예 (구체적인 문제 정의):
  • 목표: 패션 앱 '스타일픽'의 출시 후 3개월 내 활성 사용자 1만 명 확보
  • 타겟: 15~19세 여성, 패션 트렌드에 민감하며 인스타그램/틱톡 사용률이 높음
  • 핵심 기능: AI 기반 코디 추천, 가상 피팅
  • 질문: "AI 기반 패션 코디 추천 기능을 가진 신규 앱 '스타일픽'이 15~19세 여성을 타겟으로 출시 후 3개월 내 활성 사용자 1만 명을 확보하기 위한 구체적인 인스타그램 및 틱톡 마케팅 캠페인 아이디어 5가지를 제안해줘. 각 아이디어에는 예상 효과와 핵심 성공 지표(KPI)를 포함해줘."

이처럼 문제를 구체적으로 정의하면 AI는 훨씬 더 실용적이고 실행 가능한 아이디어를 제공할 수 있다. 좋은 문제 정의는 AI 활용의 성패를 좌우하는 가장 중요한 역량이라고 할 수 있다.

한 번에 내가 원하는 답변을 얻기 위해 필요한 항목들을 얻을 수 있게 질문을 구체적으로 할 수 있으면 가장 좋겠지만, 현실에서는 그렇게 바로 질문을 작성하는 것은 쉽지가 않다. 그렇다면 여러번 AI와 대화를 주고 받으면서 내가 지금 풀어야 하는 문제를 구체화 하는 것도 좋다. 질문 마지막에 “내가 더 제공해야 하는 정보가 있다면 어떤 것들이 있는지 알려줘”와 같은 문장을 추가하면 AI는 문제를 구체적으로 풀기 위해 어떠한 정보가 필요한지 알려줄 것이다. 일방적인 명령의 관점이 아니라 같이 문제를 풀어나가는 동료와 대화하는 느낌으로 작성해 보자. 이를 더 잘 하기 위해서는 2번 프롬프트 엔지니어링 능력이 중요해진다.

2. 프롬프트 엔지니어링 능력: 원하는 답을 얻어내는 소통의 기술

문제 정의가 '무엇을 물어볼 것인가'에 대한 것이라면, 프롬프트 엔지니어링은 '어떻게 물어볼 것인가'에 대한 기술이다. 같은 질문이라도 어떤 단어와 구조를 사용하고, 어떤 맥락과 제약조건을 제공하는지에 따라 AI의 답변 품질은 극적으로 달라진다.

앞서 '스타일픽' 앱의 틱톡 광고에 사용할 짧은 영상 스크립트 초안을 AI로 작성한다고 해보자.

• Before (개선 전 프롬프트): "스타일픽 앱 틱톡 광고 문구 써줘."
  • AI 답변 예상: "매일 뭐 입을지 고민이라면? 스타일픽을 다운로드하세요! #패션 #코디 #OOTD"
  • 문제점: 너무 평범하고 매력적이지 않다. 앱의 핵심 기능이 드러나지 않는다.
• After (개선 후 프롬프트): 너는 10대 소녀들의 말투와 유행에 정통한 틱톡 크리에이터 '스타일퀸'이야. 아래 조건에 맞춰 15초짜리 틱톡 챌린지 영상 스크립트를 작성해줘.
  • 앱 이름: 스타일픽
  • 핵심 기능: 내 옷장 속 옷을 촬영해 올리면 AI가 새로운 코디 조합을 10가지 추천해줌
  • 타겟: 옷은 많은데 어떻게 입을지 모르는 10대 여성
  • 영상 컨셉: “옷장 앞에서 한숨 쉬는 장면”으로 시작해서, 스타일픽 앱 사용 후 “완전 새로운 스타일로 변신!”하는 모습을 보여주는 극적인 장면
  • 필수 포함 요소:
    1. “#옷장파먹기챌린지” 해시태그
    2. “AI가 내 옷으로 코디해줌”이라는 핵심 메시지
    3. 빠르고 경쾌한 K-pop 배경음악 추천
  • AI 답변 예상: (장면1: 옷방) "하... 작년에 산 이 옷들... 왜 다 촌스러워 보이지?" (자막: 옷태기(옷+권태기) 온 사람?🙋‍♀️) / (장면2: 앱 사용) "AI한테 내 옷들 좀 보여줬더니... 헐, 이런 조합이??" (자막: #옷장파먹기챌린지 시작) / (장면3: 변신 후) "새 옷 1도 안 사고 스타일 변신 성공! 너도 스타일픽으로 인생 코디 찾아봐!" (BGM: 뉴진스 - Hype Boy)

개선된 프롬프트는 AI에게 구체적인 역할(페르소나)을 부여하고, 명확한 목표와 맥락, 제약 조건을 제공함으로써 훨씬 창의적이고 효과적인 결과물을 이끌어냈다. 이처럼 프롬프트 엔지니어링은 AI의 잠재력을 최대한으로 끌어내는 핵심적인 소통 능력이다.

정량적인 데이터로 표현할 수 있는 일들 뿐만 아니라 위에 살펴본 사례처럼 광고와 같은 크리에이티브한 영역들에서도 AI는 큰 도움을 줄 수 있다. 우리가 만들려고 하는 결과물의 요구사항을 정확하게 알고 있다면 빠르게 여러 개의 프로토타입을 볼 수 있기 때문이다. 물론 AI가 인간이 창의적으로 생각하는 만큼의 높은 수준의 크리에이티브를 보여줄 수 있는지에 대해서는 사람마다 의견이 약간 다르긴 하지만, 기초적인 작업이나 많은 프로토타이핑을 AI의 도움을 받아 빠르게 하고 그 뒤에 퀄리티를 높이는 작업을 사람이 하는 식으로 한다면 업무 생산성이 높아질 것이다.

그렇다면 이렇게 AI가 작성해 준 답변을 그대로 믿고 사용해도 되는가? AI는 우리가 프롬프트로 작성해 준 정보만 가지고 판단하기 때문에 그 외의 영역에 대한 정보는 없을 수 있다. 그렇기 때문에 결과물에 대해서는 사람이 검증하고 개선하는 절차가 반드시 필요하다. 3번에서 이어서 살펴보자.

3. 결과 검증 및 개선 능력: 비판적 시각으로 AI의 산출물 바라보기

AI는 놀라운 결과물을 생성하지만, 항상 완벽하지는 않다. 때로는 사실이 아닌 정보를 그럴듯하게 꾸며내는 '환각(Hallucination)' 현상을 보이거나, 코드에 미묘한 오류를 포함하기도 한다. 따라서 AI가 생성한 결과물을 맹신하지 않고, 비판적인 시각으로 정확성과 품질을 판단하여 수정·개선하는 능력은 매우 중요하다.

고객 데이터를 분석하여 연령대별 평균 구매액을 계산하는 파이썬 코드를 AI에게 요청했다고 가정해보자.

• AI가 생성한 코드:

 

import pandas as pd

def calculate_average_purchase(data):
  # 'age'와 'purchase_amount' 컬럼이 있다고 가정
  age_groups = pd.cut(data['age'], bins=[10, 20, 30, 40, 50])
  return data.groupby(age_groups)['purchase_amount'].mean()

• 문제점 발견 (결과 검증):
  • 코드를 실행해보니 10대, 20대, 30대, 40대 그룹은 잘 나오지만, 50세 이상 고객 데이터가 결과에서 누락되는 것을 발견했다.
  • pd.cut 함수의 bins 설정을 살펴보니, [10, 20, 30, 40, 50]으로 지정되어 10세 초과 ~ 20세 이하, 20세 초과 ~ 30세 이하... 와 같이 그룹이 생성되고, 50세를 초과하는 데이터는 포함되지 않는다는 것을 파악했다.
• 수정 및 개선:

import pandas as pd

def calculate_average_purchase_fixed(data):
  bins = [10, 19, 29, 39, 49, float('inf')] # 각 연령대의 끝을 명확히 하고, 50세 이상을 포함하도록 수정
  labels = ['10대', '20대', '30대', '40대', '50대 이상']
  age_groups = pd.cut(data['age'], bins=bins, labels=labels, right=True) # right=True로 구간의 오른쪽 경계를 포함
  return data.groupby(age_groups, observed=False)['purchase_amount'].mean() # observed=False 추가하여 데이터에 없는 그룹도 결과에 표시

AI가 만든 코드를 그대로 사용하는 것이 아니라, 잠재적인 문제를 인지하고 테스트하며, 더 정확하고 견고한 코드로 개선하는 과정이 바로 결과 검증 및 개선 능력이다. 이는 특히 코드 생성, 데이터 분석, 법률 및 의료와 같이 정확성이 중요한 분야에서 필수적이다. 이 부분은 AI가 하는 것의 한계가 있기 때문에 사람이 수작업으로 QA(Quality Assurance, 품질 검증)를 거쳐야 하는 영역이다. 로블록스의 프로덕트 리드인 Peter Yang은 “AI가 70%까지는 데려다 주지만, 나머지 30%는 사람이 직접 채워야 한다”고 말했다. 70%까지 모두가 비슷한 퀄리티로 비슷한 시간에 도달하더라도 결국 이 30%를 누가 어떻게 채우느냐에 따라 결과물의 퀄리티가 달라질 수 있다는 의미이다.

하지만 이 부분 역시 앞서 1,2번에서 요구사항을 명확하게 주고 또 중요한 로직들에 대해서는 테스트 코드를 잘 작성해 놓는다면 상당 부분을 AI에게 맡길 수 있다고 생각한다. 이렇게 AI를 사용한다는 것에는 단순히 프롬프트를 작성해서 결과물을 받는 것 뿐만 아니라 정말 다양한 영역이 있다. 필요한 영역에서 적절한 AI 도구를 잘 쓰는 것도 AI 활용 능력에서 중요한 역량에 포함된다. 이 부분에 대해서 4번에서 이어서 살펴보자.

4. 도구 통합 능력: 여러 AI를 조합하여 시너지 창출하기

하나의 뛰어난 AI 도구만으로는 해결하기 어려운 복잡한 문제가 많다. 여러 AI 도구의 강점을 이해하고, 이를 API, SDK, SaaS 형태로 엮어 하나의 워크플로우로 통합하여 시너지를 창출하는 능력이 필요하다.

'IT 트렌드'를 주제로 구독자 관심사에 맞는 개인화된 뉴스레터를 매주 자동으로 발송하는 시스템을 구축한다고 상상해보자.

1. 콘텐츠 수집 (웹 크롤링 AI + RSS): 특정 키워드(예: '생성형 AI', '메타버스', '클라우드 네이티브')가 포함된 최신 뉴스 기사와 블로그 포스트를 자동으로 수집하는 AI 에이전트를 활용한다.
2. 콘텐츠 요약 및 분류 (대규모 언어 모델 API): 수집된 아티클들을 OpenAI의 GPT나 구글의 Gemini API로 전송하여 각각 3줄로 요약하고, 'AI 신기술', '업계 동향', '투자 소식' 등 사전에 정의된 카테고리로 자동 분류한다.
3. 이미지 생성 (이미지 생성 AI API): 각 아티클의 핵심 내용을 기반으로 Midjourney나 Stable Diffusion API를 호출하여 뉴스레터에 사용할 매력적인 썸네일 이미지를 생성한다.
4. 개인화 및 발송 (이메일 마케팅 자동화 도구): 구독자별 관심사(사전에 수집된 데이터 기반)에 따라 요약된 아티클과 생성된 이미지를 재조합하여 개인화된 이메일 템플릿을 완성하고, Mailchimp나 SendGrid 같은 자동화 도구를 통해 예약 발송한다.

이처럼 각기 다른 강점을 가진 AI 도구들을 파이프라인처럼 연결하면, 한 사람이 수동으로 하기에는 엄청난 시간이 소요될 작업을 자동화하고 고도화할 수 있다. 목적에 맞는 AI 도구들은 지금도 계속해서 새로운 것들이 등장하고 또 기존의 것들을 밀어내기 때문에 사용하는 시점에서 검색해서 찾아보는 방법을 권장한다. 다음 이미지는 이 글을 쓰는 시점에서 여러 목적에 맞게 많이 사용하는 AI 도구들을 카테고리별로 5개씩 추천한 이미지이다. 요즘에는 이러한 추천 리스트도 한 두 달 사이로 바뀌는 경우가 많으니 참고만 하기를 바란다.

출처 : bytebytego

5. 윤리·보안 고려 능력: 책임감 있는 AI 활용

AI를 활용하는 것은 편리함과 효율성 이상의 책임감을 요구한다. AI가 생성한 결과물이 저작권을 침해하지는 않는지, 학습 데이터의 편향으로 인해 특정 집단에 대한 차별적인 결과를 내놓지는 않는지, 민감한 개인정보나 기업 기밀이 유출될 위험은 없는지 등을 종합적으로 판단하고 대응하는 능력이다.

인사팀에서 AI를 활용해 이력서를 검토하고 1차 면접 대상자를 선발하는 시스템을 도입한다고 가정해보자.

• 편향성 문제: 과거 특정 성별이나 특정 학교 출신 합격자 데이터를 기반으로 AI를 학습시켰다면, AI는 무의식적으로 비슷한 배경의 지원자에게 더 높은 점수를 줄 수 있다. 이는 채용 차별로 이어질 수 있으므로, 데이터의 편향을 최소화하고 AI의 판단 기준을 주기적으로 감사해야 한다.
• 개인정보보호 문제: 지원자의 이력서에 담긴 민감한 개인정보가 AI 모델 학습 과정에서 외부에 유출되거나, 동의 없이 다른 목적으로 활용되지 않도록 엄격한 보안 및 데이터 관리 정책을 수립해야 한다.
• 투명성 및 설명 가능성: AI가 특정 지원자를 탈락시켰을 때, 그 이유를 합리적으로 설명할 수 있어야 한다. 'AI가 그렇게 판단했다'는 말은 책임 있는 답변이 될 수 없다. 어떤 기준과 데이터를 근거로 결정이 내려졌는지 추적하고 설명할 수 있는 '설명 가능한 AI(XAI)' 기술 도입을 고려해야 한다.

이러한 윤리적, 보안적 쟁점들을 사전에 인지하고, 이를 방지하기 위한 제도적, 기술적 장치를 마련하는 것은 AI를 책임감 있게 활용하기 위한 필수 전제 조건이다. 우리가 민감한 개인정보를 남한테 알려주지 않듯이, AI를 사용할 때도 민감 정보는 조심해서 사용할 필요가 있다. 일반적으로 개인정보나 금융정보 등 민감 정보는 주고받을 때 데이터 암호화 과정을 반드시 거치게 되어 있지만, AI에게 정보를 제공하는 과정에서 우리는 이러한 정보를 아무런 경각심 없이 쉽게 전송하게 되는 경우가 많다. 우리가 사용하는 AI 도구도 결국 어떠한 기업에 의해 운영되는 서비스이고, 데이터가 누군가에게 노출될 수 있음을 잊지 말자.

같은 도구도 결국 누가 쓰느냐에 따라 결과는 천차만별이다

지금까지 AI 활용 능력을 구성하는 다섯 가지 핵심 역량을 구체적인 사례와 함께 살펴보았다. 단순히 많은 AI 도구의 사용법을 익히는 것만이 강조되는 시대에, 우리는 한 걸음 더 나아가야 한다. 내가 해결하고자 하는 문제가 무엇인지 명확히 정의하고(문제 정의), AI와 효과적으로 소통하며(프롬프트 엔지니어링), 그 결과물을 비판적으로 검증하고(결과 검증), 여러 도구를 엮어 시너지를 내며(도구 통합), 그 과정에서 발생할 수 있는 위험을 책임감 있게 관리(윤리·보안)하는 능력을 갖추는 것이 진정한 의미의 'AI를 잘 쓰는 것'이다.

필자는 개발자로서 코드를 짤 때 Cursor, Claude Code와 같은 AI 도구를 실무에서 사용한다. 하지만 때로는 이러한 AI 도구를 사용해서 코드를 짤 때 시간이 더 오래 걸리기도 하고, 또 코드를 이상하게 짜서 그걸 읽고 이해하는데 시간이 더 걸리는 경우도 정말 많다. 그러한 시행착오를 겪으면서 느낀 것은, 모든 걸 절대 AI에게 의존하면 안 된다는 것이다. 모든 것을 AI에게 의존하는 사람은 결국 AI 수준의 결과물 밖에 만들지 못하고, 다른 사람들에 비해 시장에서 경쟁력을 잃을 가능성이 높다. 이 글을 읽는 여러분들도 AI를 잘 쓰는 사람으로 인정받아 하고 있는 일에서 좋은 퍼포먼스를 낼 수 있기를 기대하며 이 글을 마무리 하고자 한다.