2023년은 인공지능(AI)의 한 해였다. 놀라운 생성형 AI 서비스들이 전세계 이용자들을 매료시켰고, 이용자 증가는 전무후무한 속도였다. 수십년 간 지속된 인공지능 발전 및 성능에 대한 회의적 시선은 자취를 감추었고, 그 자리는 인공지능에 대한 기대와 장밋빛 청사진이 채우고 있다. 많은 기업과 기관이 앞 다퉈 인공지능을 통한 서비스 고도화와 운영 효율성 개선을 도모하고 있다. 인공지능에 의해 대체되거나 위축될 수 있는 산업과 서비스 기업 및 종사자들은 대응책 마련에 분주하다.

2024년은 인공지능이 한 순간의 관심과 호기심의 대상으로 끝날지, 사회의 핵심적인 기술과 자원으로 지속적으로 활용될 수 있을지에 대한 다양한 평가와 검증이 이루어질 것이다. 그 핵심적인 지표 중 하나는 신뢰성이다. 아무리 최첨단의 우수한 기술이라고 하더라도 그 안전, 기능과 성능을 충분히 신뢰할 수 없다면 활용범위는 제한적이다. 이용자의 신체와 재산에 중대한 피해를 야기할 수 있는 분야의 기술과 서비스는 이미 다양한 절차를 통해 그 신뢰성이 관리되고 있다. 전파법, 의료기기법, 어린이제품법, 전기생활용품안전법 등에 따른 인증, 검사 등이 대표적이다. 인공지능 역시 예외가 될 수 없다.

하지만 다양한 분야와 용도의 인공지능 기술에 대해 일률적인 신뢰성 기준을 적용하기는 어렵다. 인공지능이 적용되는 영역과 방식에 따라 그 기준도 다양할 수 밖에 없기 때문이다. 오락을 위한 인공지능과, 공권력 행사를 위한 인공지능에 동일한 신뢰성을 요구할 수는 없다. 이에 따라 현재 가장 유력한 접근은 이용자의 생명, 신체의 안전이나 기본권에 중대한 영향을 미칠 수 있는 영역에 더 엄격한 기준을 적용하는 위험기반 접근법(Risk Based Approach)이다. 현재 인공지능 법안들은 인프라(에너지, 수도, 원자력, 교통 등), 공권력(체포, 수사, 출입국 등), 채용심사, 의료 등의 영역의 인공지능을 이른바 ‘고위험영역 인공지능’으로 분류해 보다 엄격한 신뢰성 기준을 적용하고 있다.

인공지능의 신뢰성을 높이기 위한 또 하나의 핵심적인 요소는 충분한 설명가능성의 확보다. 인공지능의 설명가능성이란, 인공지능이 어떠한 결정을 내린 근거나 작동방식을 이용자에게 충분히 설명할 수 있음을 의미한다. 작동원리에 대한 설명가능성이 신뢰성 확보에 핵심적인 요소가 되는 이유는 크게 두가지다.

첫번째는 서비스 제공자의 입장에서다. 인공지능의 설명가능성을 확보하는 과정에서 그 인공지능의 작동원리를 보다 명확하게 파악하고 그 오류나 결함을 추적해 시정할 수 있고, 잠재적 위험을 사전에 대비할 수 있다. 무엇에 대해서 쉽게 설명할 수 없다면, 이를 제대로 이해하지 못한 것이라는 오랜 격언은 인공지능에도 적용된다.

서비스 이용자 입장에서도, 작동원리나 방식에 대한 설명을 통해 그 내용을 충분히 이해하고 파악할 수록, 해당 서비스를 신뢰할 가능성이 높다. 서비스와 상품의 신뢰성은 그 이용자의 경험과 지식에 따라 상대적인 경우도 많으므로 일률적이고 통일적인 기준에 비해 합리적인 접근일 수 있다.

이런 필요성에도 불구하고 인공지능의 설명가능성은 어려운 문제다. 인공지능 작동원리의 불투명성과 불확실성 때문이다. 인공지능의 기술이나 모델의 설계단계에서부터 그 설명가능성을 충분히 고려한다면 이상적이겠지만, 인공지능 기능 및 성능을 저해하는 문제 등으로 현실적으로 적용이 어렵다.

이에 따라 인공지능 모델 개발 및 동작에 영향을 미치지 않으면서도 충분하고 합리적인 수준의 설명가능성을 확보하기 위한 기술, 즉 설명가능한 인공지능(eXplainable AI: XAI) 기술이 대두되고 있다. ▷인공지능 모델을 간단한 규칙의 목록으로 정리하여 설명하는 규칙 기반 설명(Rule-based Explanation), ▷모델 자체를 제시하는 것이 아니라 간접적인 정보를 예시해 그 기능과 원리를 설명하는 예시 기반 설명(Example-based Explanation), ▷인공지능에 의한 결정에 중요한 영향을 미친 요인 및 그 기여도를 설명하는 특성기여도 분석법(Feature Attribution Method) 등이 대표적이고, 관련된 다양한 서비스와 기술들이 등장하고 있다.

XAI기술은 인공지능의 신뢰성을 확보해 다양한 분야와 영역에서 인공지능이 활용될 수 있도록 하기 위한 핵심적인 역할을 담당할 것이다. 인공지능 기술만큼 그 설명가능성에 대한 XAI기술이 뜨거운 관심을 받는 이유다.

노태영 김앤장 법률사무소 변호사