이 글은「LLM은 카오스를 제거할 수 없다」의 후속 글이다. 앞선 글이 AI 중심의 과최적화가 복잡계의 충격 앞에서 왜 취약해질 수 있는지를 물었다면, 이 글은 그 과최적화가 혁신의 조건까지 바꿀 수 있는지를 살펴본다.

매끄러운 답의 시대

AI는 우리에게 매끄러운 답을 준다. 문장은 더 빨리 정리되고, 회의록은 더 짧아지며, 선택지는 더 그럴듯한 순서로 놓인다. 우리는 오랫동안 이런 능력을 원해 왔다. 불필요한 반복을 줄이고, 실수를 미리 발견하고, 막막한 빈 화면 앞에서 첫 문장을 건네는 도구.

그런데 모든 것이 조금 더 매끄러워질수록 조심스럽게 물어야 할 질문이 있다.매끄러움은 언제 창조성의 반대말이 되는가.

파괴적 혁신은 대개 가장 합리적인 길에서 태어나지 않는다. 처음에는 어설퍼 보이고, 성공 가능성도 낮으며, 당장의 평가표로는 설명되지 않는 시도에서 나온다. 그것은 분포의 중심이 아니라, 드물지만 멀리 뻗는 오른쪽 꼬리에 가깝다.

우리가 실패를 줄이기 위해 모든 분산을 없애려 할 때, 사라지는 것은 실패만이 아니다. 아직 이름 붙지 않은 가능성도 함께 사라질 수 있다.

실패를 줄이는 일과 가능성을 줄이는 일

어떤 조직이 AI로 업무를 최적화한다고 해 보자. 가장 성공 확률이 높은 기획을 고르고, 가장 설득력 있는 문장을 다듬고, 가장 검증된 사례를 추천받는다. 각각의 결정은 합리적이다. 평균 성과는 실제로 좋아질 수 있다.

하지만 모두가 같은 모델, 같은 검색 결과, 같은 평가 기준을 사용한다면 서로 다른 사람들이 만든 선택도 비슷한 곳으로 모인다. 많은 사람이 생각하고 있지만, 실질적으로는 같은 확률분포에서 표본을 뽑는 것에 가까워질 수 있다.

이때 시스템은 실패라는 부정적 꼬리를 줄인다. 동시에 대발견이라는 긍정적 꼬리도 줄일 수 있다. 위험을 제거한다는 말이 때로는 미래의 폭을 좁힌다는 뜻이 되는 이유다.

데릭 톰슨은 데이터 분석이 스포츠와 문화에 가져온 변화를 이야기하며, 모든 참여자가 같은 최적해를 발견할 때 개별 행위자는 더 합리적으로 행동하지만 전체는 더 획일화될 수 있다고 지적했다. (The Atlantic) 문제는 분석이 아니라, 분석이 발견한 하나의 길을 모두가 유일한 길로 받아들이는 순간이다.

AI는 그 순간을 훨씬 빠르게 만들 수 있다.

좋은 개인, 비슷한 집단

생성형 AI가 개인의 창의성을 도울 수 있다는 사실과, 집단의 다양성을 줄일 수 있다는 사실은 모순이 아니다. 오히려 둘은 함께 일어날 수 있다.

2024년 연구에서 AI의 도움을 받은 참가자들은 평균적으로 더 창의적이고 더 재미있는 이야기를 만들었다. 특히 처음 창의성 평가가 낮았던 사람들에게 도움이 컸다. 그러나 AI를 사용한 이야기들은 서로 더 비슷해졌다. (Science)

개인에게는 사다리가 놓인다. 하지만 모두가 같은 사다리를 오른다면, 풍경은 넓어지기보다 한 방향으로 정렬될 수 있다.

이것은 AI가 나쁘다는 말이 아니다. 오히려 AI가 너무 잘 작동하기 때문에 생기는 문제다. 좋은 답을 빠르게 제안하는 도구는, 우리가 아직 서툴고 불편한 답을 오래 붙잡을 이유를 약하게 만든다. 무엇이 더 나은지 결정하는 일에는 강하지만, 무엇을 물어야 하는지 처음부터 다시 흔드는 일에서는 우리를 성급하게 만들 수 있다.

목적 없는 접촉의 가치

효율은 필요한 사람을 필요한 정보와 연결한다. 반면 혁신은 때때로 필요해 보이지 않는 것들 사이에서 시작된다.

복도에서 우연히 들은 말, 전혀 다른 분야의 책에서 만난 문장, 목적 없이 이어진 대화는 보통 생산성 지표에 잡히지 않는다. 그러나 새로운 연결은 바로 그런 틈에서 생긴다. 원격 소통이 아이디어의 선택과 정리에는 불리하지 않으면서도, 처음 아이디어를 만들어 내는 단계에서는 대면 소통보다 제약을 보일 수 있다는 연구도 이 차이를 보여준다. (Nature)

AI를 사용할 때도 같은 일이 일어난다. 답을 받기 전에 충분히 헤매는 시간, 한 모델의 제안 대신 서로 충돌하는 관점을 만나는 일, 검증되지 않은 가설을 잠시 보류하는 일은 비효율처럼 보인다. 하지만 그 비효율은 단순한 낭비가 아니라 탐색 공간을 넓히는 비용일 수 있다.

카오스는 답이 아니다

그렇다고 카오스에 몸을 맡기기만 하면 혁신이 찾아오는 것은 아니다. 순수한 무작위성은 대개 잡음과 실패를 낳는다. 낯선 아이디어가 많다고 해서 그 자체로 발견이 되는 것도 아니다.

혁신에는 적어도 네 가지가 필요하다.

카오스와 우연은 변이와 재조합을 제공한다. 그러나 현실의 저항, 검증, 선택, 축적이 없다면 그것은 혁신이 아니라 혼란으로 끝난다.

그러므로 필요한 것은 무질서가 아니라경계가 있는 무질서다. 안전한 범위 안에서 실패할 수 있고, 서로 다른 가설이 만나며, 결과가 다시 현실에 의해 걸러지는 공간. 앞선 글에서 말한 안티프래질성도 바로 이런 의미에서 중요하다. 충격을 완전히 없애는 시스템이 아니라, 충격을 통해 배우고 더 나아질 수 있는 시스템 말이다.

AI를 탐색의 도구로 쓰기

AI는 이미 존재하는 질서를 더 효율적으로 반복하는 장치가 될 수도 있다. 반대로, 인간이 미처 연결하지 못한 지식과 가설의 사이를 탐색하는 도구가 될 수도 있다.

차이는 모델의 성능만으로 결정되지 않는다. 어떤 질문을 던지는지, 몇 개의 관점을 병렬로 놓는지, 언제 인간의 독립적인 판단을 개입시키는지, 결과를 현실에서 어떻게 검증하는지가 더 중요하다.

같은 모델에게 정답을 한 번 묻는 일은 수렴을 만든다. 서로 다른 관점에서 가설을 여러 개 만들고, 인간이 먼저 자신의 생각을 적은 뒤 AI와 비교하며, 시뮬레이션이나 실험으로 결과를 검증하는 일은 탐색을 넓힌다. AI가 과학의 새로운 연결을 돕는 가능성과, 모든 사람이 같은 문헌과 같은 결론을 읽게 만드는 위험은 이 선택 구조 안에 함께 있다.

AI는 카오스를 제거하는 기계라기보다, 우리가 무엇을 남기고 무엇을 지울지 결정하게 만드는 장치에 가깝다.

남겨 두어야 할 불확실성

우리는 더 정확한 예측을 원한다. 그러나 예측이 좋아질수록, 예측에서 벗어나는 것을 쉽게 오류로 취급하게 된다. 아직 검증되지 않은 생각, 설명하기 어려운 직감, 손해처럼 보이는 우회로는 가장 먼저 제거될 대상이 된다.

하지만 세계는 언제나 우리가 만든 평가표보다 넓다. 어떤 가능성은 처음에는 쓸모없어 보이고, 어떤 연결은 목적이 없어서 더 오래 살아남는다. 혁신은 그 모든 불확실성의 찬양이 아니라, 불확실성을 너무 이르게 제거하지 않는 태도에서 시작될 수 있다.

AI 시대에 필요한 것은 더 많은 혼란이 아니다. 서로 다른 생각이 사라지기 전에 잠시 머물 수 있는 공간, 그리고 그 생각을 현실과 만나게 할 수 있는 인내다. 문제는 AI가 아니다. AI로 모든 변동성을 지워 버리려는 우리의 선택일 수 있다.