"AI의 거짓말, 책임은 누가 지죠?" 실패하는 AI 프로젝트의 공통점

AI 모델이 뱉은 엉뚱한 답, 범인은 데이터였다

🤔 ”우리 회사가 만든 AI 챗봇이 오류를 범했다면, 그 책임은 누구에게 있을까요?”

비즈니스 프로세스 자동화의 핵심인 AI 기술은 때로 기업에게 예기치 못한 법적·재무적 리스크를 안겨주기도 합니다. 캐나다 최대 항공사인 에어캐나다(Air Canada)의 배상 판결 사례는 데이터 거버넌스의 실패가 기업의 수익과 브랜드 가치에 얼마나 큰 타격을 주는지 명확히 보여줍니다.

사건의 발단은 고객 제이크 모팻이 가족 장례식 참석을 위해 유족 특별 요금을 문의하면서 시작되었습니다. 당시 에어캐나다의 챗봇은 "먼저 정가로 결제한 후, 90일 이내에 신청 양식을 제출하면 차액을 환불받을 수 있다"고 안내했습니다. 하지만 이는 "사후 환불은 불가하다"는 에어캐나다의 실제 내부 규정과 충돌하는 정보였습니다.

이후 발생한 소송에서 에어캐나다는 "챗봇은 별도의 법적 주체이므로 그 행동에 대한 책임 역시 스스로에게 있다"는 논리로 대응했으나, 법원은 이를 받아들이지 않았습니다. 재판부는 "챗봇이 상호작용 기능을 갖추고 있더라도 결국 기업 웹사이트의 일부일 뿐"이라고 명시하며, 정보가 정적인 페이지에서 제공되든 챗봇을 통해 전달되든 기업은 자사 플랫폼에서 제공하는 모든 정보에 대해 책임을 진다는 점을 분명히 했습니다.

특히 고객이 웹사이트 내의 특정 정보는 정확하고 챗봇의 정보는 틀릴 수 있음을 스스로 판별해야 할 근거가 없다는 점을 지적했습니다. 챗봇이 제공하는 답변 역시 기업의 공식적인 정보 파이프라인의 일부이며, 내부 규정과 챗봇 메시지 사이의 데이터 정합성을 유지하지 못한 책임은 전적으로 기업에 있다는 판결입니다. 결국 에어캐나다는 고객에게 운임 차액과 이자를 모두 지급해야 했습니다.

이 사례는 단순한 남의 일이 아닙니다. 우리 주변에서도 흔히 발생하는 '데이터 정합성'의 문제죠. 모델이 아무리 뛰어나도, 기반이 되는 내부 데이터가 일치하지 않으면 AI는 잘못된 정보를 제공할 수밖에 없습니다. 가트너(Gartner)의 최신 리포트에 따르면, 생성형 AI 프로젝트의 절반 이상이 데이터 품질 저하, 부적절한 위험 관리, 불분명한 비즈니스 가치 등의 이유로 중도 포기된다고 합니다. 정교한 모델을 도입하더라도 불완전한 데이터가 입력된다면(Garbage In), 기업에 치명적인 결과(Garbage Out)를 초래하게 되는 것이죠.

결국 AI를 제대로 활용하기 위해서는 '똑똑한 모델'을 고르기에 앞서, 그 모델이 학습하고 참조할 '깨끗한 데이터'의 상태부터 면밀히 점검해야 합니다.

고연봉 데이터 전문가가 하루 종일 엑셀 칸만 맞추고 있다면?

에어캐나다의 챗봇이 잘못된 안내를 했던 이유는 모델 자체의 결함이라기보다, 챗봇에 연결된 데이터 파이프라인이 꼬여 있었기 때문입니다. 앞선 사례처럼 AI가 내뱉는 '거짓말'의 책임은 알고리즘이 아닌 데이터의 부정합성에 있지만, 기업 현장에서 이 정합성을 완벽히 확보하기란 결코 쉬운 일이 아닙니다.

현재 데이터 사이언스 분야는 이른바 '80%의 법칙'이라 불리는 구조적 병목 현상에 직면해 있습니다. CrowdFlower의 조사에 따르면, 데이터 전문가들은 업무 시간의 60%를 데이터 정리 및 구성에, 19%를 데이터 세트 수집에 사용합니다. 즉, 고도의 분석과 모델링에 집중해야 할 전문 인력이 시간의 약 80%를 단순 가공 업무인 '데이터 멍잉(Data Munging)'에 허비하고 있는 셈이죠. 실제로 데이터 과학자의 76%는 이 정제 작업을 가장 고된 업무로 꼽기도 합니다. 고액 연봉을 받는 전문가들이 하루 종일 엑셀 칸을 맞추고 오타를 수정하며 데이터의 늪에서 허우적거리는 것이 오늘날 비즈니스의 현실입니다.

상황이 이렇다 보니 AI 프로젝트의 성적표는 처참할 수밖에 없습니다. 랜드 연구소에 따르면 AI 관련 프로젝트 10개 중 8개는 실제 서비스로 이어지지 못한 채 중단되며, S&P 글로벌 마켓 인텔리전스의 최신 조사에서도 올해 AI 프로젝트를 포기하겠다는 기업이 작년보다 두 배 이상 늘어난 42%에 달했습니다. 기업들이 프로젝트를 중단하는 이유는 모델의 성능 부족이 아니라, 가트너가 지적했듯 '준비되지 않은 데이터'가 발목을 잡기 때문입니다. 아무리 고가의 생성형 AI를 도입해도 입력되는 데이터(Garbage In)가 오염되어 있다면, 그 결과(Garbage Out) 역시 신뢰할 수 없는 쓰레기가 될 수밖에 없는 거죠.

구조적으로 볼 때, 이러한 문제는 데이터 전략가 채드 샌더슨이 정의한 "업스트림(Upstream)의 변화가 다운스트림(Downstream)을 파괴하는 현상"에서 기인합니다. 데이터가 생성되는 상위 시스템(ERP, CRM 등)에서 사전 협의 없이 필드 정의를 변경하거나 로직을 수정하면, 하위 단계의 AI 파이프라인은 즉각 붕괴됩니다. 예를 들어 마케팅 리포트 작성 시 영업 시스템은 '예약'을, ERP는 '송장 발행'을, 재무 시스템은 '회계 인식'을 각기 수익으로 정의한다면 AI는 비즈니스적으로 일관성 없는 무의미한 결과를 산출하게 됩니다. 각 부서가 사용하는 지표가 파편화되어 있으니, AI 입장에서도 어떤 데이터를 신뢰해야 할지 판단할 수 없는 것이죠.

결국 부서마다 데이터가 따로 놀고 이를 관리할 통일된 기준이 없다면, 실무자는 업무 시간 내내 데이터를 하나하나 수정하고 맞추는 반복 작업에 매몰될 수밖에 없습니다. 이는 기업에 막대한 비용 손실을 입힐 뿐만 아니라, 장기적으로 AI를 활용한 비즈니스 경쟁력 자체를 약화시킵니다. 단순히 사후에 데이터를 깨끗이 정리하려는 노력만으로는 근본적인 문제를 해결할 수 없습니다. 이제는 데이터가 흐르는 파이프라인의 입구부터 다시 설계하는 근본적인 처방이 필요한 때입니다.

수동 정제 시간 60% 단축, 사후 수습보다 10배 저렴한 ‘사전 합의’의 힘

데이터 과학자의 76%가 가장 하기 싫은 업무로 '데이터 정리'를 꼽는 이유는, 데이터를 만드는 팀과 쓰는 팀 사이의 약속이 없기 때문입니다. 이를 해결하기 위해 글로벌 전문가들이 제시한 근본적인 처방이 바로 '데이터 계약(Data Contracts)'입니다. 이는 데이터를 제공하는 쪽과 사용하는 쪽이 서로 약속한 규격(Schema)에 맞는 데이터만 주고받기로 정하는 인터페이스입니다.

개발팀이 DB 구조를 변경할 때 분석팀에 미칠 영향을 미리 체크하고, 마케팅팀이 정의한 '매출'의 기준을 데이터 생성 단계에서부터 고정하는 것이 핵심입니다. 데이터 오류는 이미 발생한 뒤에 수정하려면 처음부터 예방할 때보다 최소 10배 이상의 비용이 듭니다. 지금까지의 데이터 관리가 이미 잘못 쌓인 데이터를 사후에 고치느라 막대한 리소스를 쏟아붓는 방식이었다면, 데이터 계약은 데이터가 발생하는 시점부터 규격을 강제해 불필요한 사후 비용을 원천 차단하는 방식으로의 패러다임 전환을 의미합니다.

이러한 '사전 합의' 체계는 실무 리소스 또한 획기적으로 줄여줍니다. 실제 조사에 따르면 데이터 준비 시간의 상당 부분은 부서마다 다른 지표 정의를 맞추거나 깨진 파이프라인을 복구하는 데 쓰입니다. 하지만 데이터 계약을 통해 데이터의 정합성을 미리 확보해두면, 전문가들이 수동 정제 작업에 쓰는 시간을 기존 대비 60% 이상 줄일 수 있습니다. 결과적으로 고연봉의 전문가들이 단순 데이터 관리자가 아닌, 비즈니스 인사이트를 도출하는 본연의 역할에 집중할 수 있는 환경이 만들어지는 것입니다.

가트너는 생성형 AI 프로젝트의 절반이 실패하는 원인으로 '준비되지 않은 데이터'를 꼽았다고 앞서 언급했었는데요. 데이터 계약은 이 준비 과정을 자동화하고 표준화합니다. 에어캐나다 사례처럼 시스템 간 데이터가 꼬여 발생하는 법적·재무적 리스크를 사전에 방지하는 안전장치가 되기도 하죠. 결국 데이터 계약은 단순한 기술 도구를 넘어, 부서 간 장벽을 허물고 'Garbage In'의 경로를 원천 차단하는 새로운 비즈니스 질서입니다. 이는 AI 프로젝트의 성공률을 높이기 위해 가장 먼저 선행되어야 할 리소스 최적화 전략이기도 합니다.

설계부터 무결하게, 데이터가 쌓이는 즉시 자산이 되는 자동화 파이프라인

앞서 언급한 '데이터 계약'이 일종의 약속이라면, 텀타는 그 약속이 시스템상에서 자동으로 지켜지게 만드는 기술적 안전장치를 제공합니다. 에어캐나다가 챗봇의 잘못된 안내로 손실을 입었던 근본적인 이유는 시스템 간의 '기준'이 서로 달랐기 때문입니다. 텀타는 이 기준을 하나로 통합하는 자동화된 텍소노미와 이벤트 설계를 통해 기업이 더 이상 불필요한 데이터를 정리하는 데 에너지를 낭비하지 않고 오직 의사결정에만 집중할 수 있는 환경을 만듭니다.

이 파이프라인이 구축되면 기업의 의사결정 프로세스는 근본적으로 변화합니다. 우선 사전에 합의된 데이터 규격이 시스템에 적용되므로, '구매 완료'와 같은 핵심 지표를 두고 부서마다 서로 다른 해석을 내놓으며 소모적인 논쟁을 벌일 필요가 없습니다. 또한 복잡한 속성 정보들이 자동으로 매핑되어 적재되기 때문에, 별도의 리포트 가공 단계 없이도 즉각적인 인사이트 도출이 가능해집니다. 이를 통해 데이터는 많지만 정작 분석은 어려운 '분석 마비' 상태를 효과적으로 해소할 수 있습니다.

무결한 파이프라인이 AI 프로젝트의 성공을 보장하는 방법

데이터 전문가들이 시간의 80%를 정제 작업에 뺏기는 사이, 시장의 기회는 빠르게 지나갑니다. AI 프로젝트의 높은 실패율은 대개 기술력의 부족이 아니라, 활용할 데이터의 신뢰도가 낮기 때문에 발생합니다. 텀타는 데이터가 흐르는 통로 자체를 처음부터 무결하게 설계하여, 데이터가 쌓이는 즉시 비즈니스에 활용 가능한 '디지털 자산'이 되도록 지원합니다.

텀타 파이프라인의 핵심은 고객의 행동을 정의하는 '이벤트'와 그 상세 조건을 나타내는 '파라미터'를 효율적으로 연결하는 데 있습니다.

• 이벤트(Event): "무슨 행동이 일어났는가" (예: 회원가입 시도)

• 파라미터(Parameter): "그 행동이 어떤 조건에서 발생했는가" (예: 기기 종류, 유입 경로, 클릭 위치 등)

이 두 가지 정보가 솔루션 내에서 자동으로 매칭되면 데이터 구조가 단순해질 뿐만 아니라 분석의 깊이도 더해집니다. 과거 수동으로 엑셀 데이터를 대조하던 방식으로는 불가능했던 '실시간 데이터 정합성'이 확보되는 것입니다.

이렇게 설계된 데이터는 향후 어떤 고도화된 AI 모델을 도입하더라도 즉시 학습에 활용할 수 있는 가장 고품질의 재료가 됩니다. 텀타는 단순히 데이터를 수집하는 도구를 넘어, 기업의 데이터 가치를 보존하고 체계적으로 관리하는 거버넌스의 기준을 제시합니다. 텀타와 함께라면 "데이터는 많은데 판단이 어렵다"는 실무적인 고민을 해결하고, 데이터가 가리키는 방향에 따라 즉각 실행에 옮기는 새로운 기준을 세울 수 있습니다.

전략가는 '정리'가 아닌 '해석'에 시간을 씁니다

에어캐나다의 사례부터 데이터 전문가들이 겪는 '80%의 법칙'까지 살펴보았듯이, 비즈니스의 성패는 얼마나 많은 데이터를 보유했느냐가 아니라 그 데이터를 얼마나 신뢰할 수 있느냐에 달려 있습니다. 데이터 거버넌스는 단순히 규제를 준수하기 위한 장치가 아닙니다. 오히려 실무자를 반복적인 가공 업무에서 해방시키고, 조직이 불확실한 숫자 대신 확신에 찬 인사이트를 바탕으로 움직이게 만드는 '성장의 기초 공사'입니다.

AI와 데이터 기술이 고도화될수록 본질은 더욱 명확해집니다. 기초가 부실한 데이터 위에서는 어떤 혁신적인 기술도 가치를 창출할 수 없습니다. 데이터 관리 체계를 바로 세우는 일은 AI 프로젝트의 실패 리스크를 줄이는 가장 확실한 투자이며, 동시에 기업의 데이터를 일회성 정보가 아닌 지속 가능한 자산으로 변환하는 과정입니다.

조직 내 데이터 전문가들이 업무 시간의 대부분을 분석이 아닌 데이터 정리에 쓰고 있다면, 이는 인력의 낭비를 넘어 기업 성장 동력의 손실로 이어집니다. 무결한 파이프라인을 통해 정제 업무를 자동화하고 데이터의 신뢰도를 높이는 것은 실무자들이 비즈니스 전략에 집중할 수 있는 환경을 만들기 위한 필수 조건입니다.

단순히 숫자를 맞추는 일은 시스템에 맡기고, 사람은 그 결과를 바탕으로 다음 행보를 결정하는 것. 이것이 텀타와 함께 만들어갈 데이터 중심 기업의 미래이자, 진정한 전략가로 거듭나는 길입니다.