AI 사고는 이사회까지 갔는데⋯거버넌스 바꾼 기업은 40%

[아이뉴스24 최효경 기자] 인고지능(AI) 관련 사고가 이사회나 최고경영진(C레벨)까지 보고되는 사례가 늘고 있지만, 사고 후 AI 거버넌스 정책·관리 체계를 바꾼 기업은 40%에 그쳤다는 조사 결과가 나왔다. AI 에이전트 도입이 확산하면서 AI 통제와 책임 문제가 정보기술(IT) 부서의 과제를 넘어 경영 의제로 부상하고 있다는 분석이다.

IBM은 유럽·중동 8개국의 종업원 1000명 이상 기업 경영진 3221명을 대상으로 조사한 결과, 응답자의 80%가 지난 1년 사이 AI 관련 사고가 이사회 또는 C레벨까지 보고됐다고 답했다고 밝혔다.

조사에서 말하는 AI 관련 사고에는 AI 에이전트의 오작동, 데이터 노출, AI 기반 의사결정 오류, AI 보안 침해 등이 포함됐다. 다만 사고를 경험한 기업 가운데 AI 거버넌스 정책 또는 관리 체계를 바꿨다는 응답은 40%에 그쳤다.

AI 에이전트 늘지만⋯통제 체계는 제자리

AI 에이전트를 실제 업무에 적용하는 기업은 이미 적지 않았다. 응답 기업의 35%는 현재 에이전틱 AI를 운영 환경에 도입했다고 답했고, 75%는 2027년까지 AI 에이전트가 일정 수준의 의사결정 자율성을 갖게 될 것으로 예상했다.

반면 현재의 거버넌스 체계가 에이전틱 AI 확산에 맞춰 확장되도록 설계됐다고 답한 비율은 37%에 불과했다. AI 도입 속도가 거버넌스·컴플라이언스 체계 정비보다 빠를 경우에도 응답자의 56%는 정해진 위험 한도 안에서 도입을 계속한다고 답했다. 거버넌스 체계가 준비될 때까지 도입을 미룬다는 응답은 33%였다.

AI 활용 범위가 문서 작성·검색 보조를 넘어 업무를 수행하고 판단하는 에이전트로 넓어지는 만큼, 도입 여부뿐 아니라 사람이 언제 개입하고 누가 중단 권한을 갖는지까지 사전에 정해야 한다는 의미다.

"책임자 지정"과 "책임 체계 구축"은 달랐다

AI 위험 관리 책임을 이사회 차원에서 공식 배정했다고 답한 비율은 98%였고, 26%는 이사회 산하에 AI 전담 위원회를 두고 있었다. 하지만 AI 에이전트가 부정적 결과를 냈을 때 책임을 질 주체에 대해서는 뚜렷한 합의가 없었다.

가장 많이 지목된 책임자는 최고정보책임자(CIO) 또는 최고기술책임자(CTO)였지만 비중은 17%에 그쳤다. AI 시스템이 중대한 피해를 냈을 경우 책임은 도입 기업과 공급 기업이 비례해 나눠야 한다는 응답은 20%, 아직 마련되지 않은 규제 체계가 필요하다는 응답은 19%였다.

응답자들은 에이전트 AI 확산에 대비하기 위해 AI 공급사의 책임을 정한 법적·계약상 기준(33%), 사람의 개입 기준(32%), 에이전트의 판단·행동을 실시간으로 확인할 수 있는 감시·감사 기록(30%), 기업 전체에서 에이전트 작동을 즉시 멈출 수 있는 권한(29%) 등이 필요하다고 꼽았다.

이번 조사는 IBM 의뢰로 지난 9월 14~24일 영국·프랑스·독일·이탈리아·스페인·네덜란드·사우디아라비아·아랍에미리트(UAE)에서 실시됐다. AI업계 관계자는 "조사 대상은 해당 지역 대기업에 한정됐지만, AI 에이전트 도입 경쟁이 본격화할수록 'AI 책임자'를 두는 수준을 넘어 실제 사고 발생 시 작동할 통제·책임 체계를 갖추는 일이 관건이 될 것임을 시사한다"고 말했다.