데이터 유출과 개인정보 보호, 법률, 컴플라이언스 및 사이버 보안의 개념이 근본적으로 재구성되어야 할 상황이다. 최근 수십 년 동안 가장 큰 IT 파괴 요인이라고 할 수 있는 생성형 AI(genAI) 때문이다.
과거의 데이터 유출이 간단했다. 직원/계약자의 부주의(잠기지 않은 차에 노트북을 두고 내리거나, 비행기 좌석에 매우 민감한 인쇄물을 두고 내리거나, 내부 재무 수치를 잘못된 이메일 수신자에게 보내는 등)나 공격자가 데이터를 훔치는 경우였다.
이제 이러한 걱정은 과거의 것이다. 오늘날 엔터프라이즈 환경은 그야말로 뒤죽박죽이며, 데이터 유출은 기업 클라우드 사이트, SaaS 파트너 또는 파트너의 LLM(대규모 언어 모델 ) 환경에서도 얼마든지 발생할 수 있다.
그럼에도 불구하고 고객과 잠재 고객으로부터 수집하는 모든 데이터에 대한 책임은 기업에 있다. 새로운 애플리케이션이 기존 데이터를 새로운 방식으로 사용하면 어떻게 될까? 당사자 고객이 이를 반대하면 어떻게 될까? 규제 당국이나 증언대에 선 변호사가 반대하면 어떻게 될까?
장벽의 형태가 모호할 때 기업의 IT는 얼마나 정확하게 제어할 수 있을까?
무서운 이야기 하나를 살펴본다. 일단의 하버드 대학교 학생들이 실시간 데이터 접근성을 확인하기 위해 디지털 글래스를 쓰고 실험을 시작했다. 이 실험에서 분명한 점 하나는 디지털 글래스가 도둑(사실 사기꾼)에게 매우 효과적인 도구가 될 수 있다는 것이다. 착용한 누군가가 낯선 사람에게 접근하면 그 사람에 대해 꽤 많은 것을 즉시 알 수 있었다. 누군가를 납치하거나 돈을 훔치는 데 요긴할 수밖에 없지 않은가?
도둑이 이 도구를 사용하여 사무실의 매우 민감한 부분에 침입한다고 상상해 보라. 피싱 공격이 얼마나 설득력을 가질 수 있을지 생각해 보라.
기업 IT 측면에서는 더한 악몽이 있다. 기업 데이터베이스에서 비롯된 특정 고객의 데이터가 오용되고, 파트너 조직의 LLM을 통해 피해자가 이를 나중에 알게 되는 경우다.
AI 글래스로 인한 악몽은 잠시 제쳐두고 생각해본다. 다른 보험 회사가 해당 데이터를 사용하여 대출을 거부하거나 인사 부서에서 데이터를 사용하여 누군가의 채용을 거부하면 어떻게 될까? AI 파트너의 소프트웨어가 실수를 저지른 상황에서 그 실수가 파괴적인 결정으로 이어지면 어떻게 될까?
근간의 데이터는 기업의 기밀 데이터베이스에 저장돼 있었다. 귀사의 팀은 이를 생성형 AI 파트너인 1234와 공유했다. 귀사의 팀은 1234와 계약을 맺고 기꺼이 데이터를 제공했다. 그들의 소프트웨어가 데이터를 망가뜨렸다. 이 시나리오에서 IT 부서의 잘못은 얼마나 될까?
그러나 법적 분쟁에서는 규모가 큰 기업에게 더 많은 과실 비율을 부여하는 끔찍한 경향이 실재한다. (안녕하세요, 기업 IT 부서 여러분, 귀사가 분쟁에서 불리한 비율을 할당 받을 가능성이 큽니다.)
이러한 시나리오에 대처하는 방법에는 다음과 같은 것들이 있다. 애석하게도 이들 모두 현실적으로 뾰족한 해법은 아니다.
1 계약 – 문서화하기. AI 파트너가 데이터에 대해 행하는 모든 행위나 그 결과에 대해 책임을 지는 엄격한 법적 조항을 마련한다. 법정에 서는 일을 막아주지는 않겠지만, 적어도 동행자가 있을 것이다.
2 데이터를 공유하지 않기. 이것은 아마도 가장 선택될 가능성이 낮은 옵션이다. LLM 파트너와 데이터를 공유하는 사업부에 엄격한 제한을 설정하고 공유가 허용되는 데이터의 수준을 검토하고 승인한다.
현업 부서장이 불만을 제기할 경우(거의 당연히 일어난다) 해당 상사에게 이 모든 것이 해당 그룹의 지적 재산을 보호하기 위한 것이며, 결과적으로 현업 부서장의 보너스도 보호할 수 있다고 말한다. 이렇게 하면 보너스가 보존된다는 점을 언급하고 이의 제기가 사라지는 것을 지켜본다.
3 섀도우 AI 위반에 대해 엄격한 처벌을 설정. 이론적으로는 주요 생성형 AI 파트너가 기업 데이터에 접근하는 접점과 행동을 제어할 수 있다. 직원들이 챗GPT, 퍼플렉시티 또는 코파일럿의 자신 계정에 데이터를 제공하기 시작하면 발각될 수 있으며 두 번의 위반 시 해고될 수 있음을 명확히 하는 것이다.
이 방법을 선택했다면, 먼저 이 처벌 정책을 서면으로 설정하고 알려야 한다. 한 최우수 영업 사원이 두 번 위반하고도 해고되지 않는다면 신뢰성에 금이 가기 때문이다. 그러면 사람들이 새 규정을 진지하게 받아들일 가능성이 사라진다. 해고할 수 있다는 확신이 없다면 해고하겠다고 협박하지 말아야 한다.
향후 2회의 보너스/커미션 지급을 취소하는 정책도 똑같이 효과적인 방법일 수 있다. 무엇이든 직원들의 이목을 끌 수 있는 방법을 찾는다.
4 계약과 약관으로는 불충분. 변호사들은 아무도 읽지 않는 200페이지짜리 서비스 약관을 만드는 것을 좋아한다. 그러한 약관을 법정 배심원단이 무시할 것이라는 점을 환기하고 싶다. 약관만으로 법적 노출을 쉽게 막을 수 있다고 생각하면 곤란하다.
고객이 미국 이외의 국가에 있는 경우에는 세 배로 주의해야 한다. 캐나다, 유럽, 호주, 일본 등에서는 의미 있고 명확한 동의를 중시한다. 제품/서비스를 사용하기로 선택했다는 이유로 약관을 수락하도록 강제할 수 없는 경우도 있다.
5 컴플라이언스. 모든 데이터를 LLM 파트너와 공유할 수 있는 법적 권한이 있는가? 미국 외 지역의 규제 기관 다수는 데이터의 소유권이 고객에게 있다고 바라본다. 하버드 학생들의 실험에서 나타난 데이터 오용은 문제의 일각일 뿐이다. 생성형 AI 파트너가 실수하거나 착각하여 결함이 있는 데이터를 세상에 내보낸다면, 단순히 다량의 정보를 공유하는 것 이상의 고통에 노출될 수 있다.
그렇다고 데이터 결함을 감시하기 위해 휴먼 인 더 루프 프로세스를 너무 많이 배치할 수도 없다. 이는 생성형 AI의 효율성 향상 효과를 극도로 희석할 뿐이다. 장담한다. 앞으로 몇 년 동안은 생성형 AI가 창출할 ROI보다 이로 인한 악몽을 막기 위한 부산함이 더 요란할 것이다.
dl-ciokorea@foundryco.com