정보의 본질을 정의한 자들

1948년 여름, 미국 벨 연구소의 한 엔지니어가 수학 논문 한 편을 발표했다. 제목은 「통신의 수학적 이론」. 그 논문은 ‘정보’라는 모호한 개념을 처음으로 측정 가능한 수로 만들었다. 같은 해, 수학자 노버트 위너는 기계와 동물이 정보를 주고받는 방식이 동일한 원리로 설명된다는 ‘사이버네틱스’를 세상에 내놓았다. 그리고 6년 뒤, 언어학자 노엄 촘스키는 인간의 언어가 단순한 습관이 아니라 수학적 구조를 갖는 생성 문법임을 증명했다. 세 사람은 서로 다른 출발점에서 같은 질문을 향해 걸어가고 있었다 — 정보란 무엇인가?

20세기 중반은 정보의 세기가 시작되는 순간이었다. 전쟁은 암호를 만들었고, 암호는 수학을 요구했다. 레이더는 신호 처리를 필요로 했고, 신호 처리는 노이즈 이론을 낳았다. 컴퓨터가 등장했고, 컴퓨터는 언어를 요구했다. 클로드 섀넌, 노버트 위너, 노엄 촘스키 — 세 사람은 이 격변의 시대에 각자의 방식으로 정보의 본질을 정의했다. 그 정의들은 오늘날 우리가 인터넷으로 대화하고, AI와 이야기를 나누는 방식의 뿌리에 놓여 있다.

클로드 섀넌: ‘정보’를 단위로 만든 사람

클로드 섀넌의 1948년 논문이 혁명적인 이유는 단 하나의 질문에 있다: “정보를 어떻게 측정할 것인가?” 우편물 한 통과 신문 한 장 중 어느 것이 더 많은 ‘정보’를 담고 있는가? 직관적으로는 신문이 더 많을 것 같지만, 그것을 수로 표현하는 방법은 1948년 이전까지 존재하지 않았다.

섀넌의 답은 놀랍도록 우아했다. 정보의 양은 놀라움의 양이다.예측 가능한 사건은 정보를 거의 담지 않는다. “태양이 오늘도 떴다”는 정보가 없다. 반면 “체스 챔피언이 첫 수에 지뢰를 밟았다”는 말은 정보가 넘친다. 이 직관을 수식으로 표현한 것이 섀넌 엔트로피(H)다: H = −Σ p(x) log₂ p(x). 정보의 최소 단위는 0과 1 두 가지 상태 중 하나를 고르는 선택이며, 섀넌은 이것을 ‘비트(bit)’라고 불렀다.

“정보의 근본적인 문제는 한 지점에서 선택된 메시지를 다른 지점에서 정확하게, 또는 근사적으로 재현하는 것이다.”
— 클로드 섀넌, 「통신의 수학적 이론」(1948)

섀넌은 또한 ‘채널 용량(channel capacity)’의 개념을 도입했다. 어떤 통신 채널이든 노이즈가 있다. 그 노이즈를 극복하고 오류 없이 정보를 전송하는 속도의 이론적 한계가 채널 용량이다 — 이를 ‘섀넌 한계’라 부른다. 오늘날 모든 무선 통신 규격, 데이터 압축 알고리즘, 오류 수정 코드는 이 한계에 얼마나 가까이 다가가느냐를 기준으로 설계된다. 섀넌은 실용적인 통신 엔지니어이기 전에 수학적 구조 속에서 진리를 찾는 사람이었다.

섀넌에 얽힌 일화 중 가장 유명한 것은 그가 벨 연구소의 복도를 외발 자전거를 타거나 저글링을 하며 돌아다녔다는 것이다. 그는 저글링을 수학으로 분석한 논문도 썼다. 오락과 수학 사이에 어떤 경계도 두지 않았던 그는, 쥐가 미로를 학습하는 전자 기계 ‘테세우스’를 만들기도 했다 — 인공지능 역사에서 최초의 학습 기계 중 하나로 꼽힌다.

노버트 위너: 기계와 생명을 잇는 ‘피드백’의 철학자

노버트 위너는 섀넌보다 먼저 ‘정보’를 생각했다. 그는 2차 세계대전 중 대공포의 조준 시스템을 연구하다가 깨달음을 얻었다. 포가 움직이는 비행기를 맞추려면 과거 경로를 바탕으로 미래 위치를 예측하고, 그 예측을 바탕으로 조준 방향을 수정해야 한다. 이 ‘예측과 수정의 순환’을 위너는 ‘피드백(feedback)’이라고 불렀고, 거기서 모든 것이 시작되었다.

위너가 1948년에 출간한 『사이버네틱스』는 선언문이었다. 제목은 그리스어 ‘키잡이(kubernetes)’에서 왔다. 그의 주장은 급진적이었다:동물의 신경계와 기계의 제어 시스템, 그리고 사회적 통신 구조는 모두 같은 원리 — 정보의 피드백에 의한 제어 — 로 설명할 수 있다.뇌와 컴퓨터, 팔과 서보 모터, 경제와 자동온도조절기는 같은 수학을 공유한다는 것이었다.

“정보는 정보다. 물질도 에너지도 아니다. 정보와 동일시하지 않는 유물론은 오늘날 살아남을 수 없다.”
— 노버트 위너, 『사이버네틱스』(1948)

위너는 신동이었다. 열여덟 살에 하버드에서 수학 박사학위를 받았고, 이십 대에 이미 수학계의 거인이었다. 그러나 그의 진짜 위대함은 하나의 학문에 머물지 않았다는 점에 있다. 그는 수학자였지만 생물학자, 신경과학자, 공학자, 철학자들과 대화하며 경계를 허물었다. ‘학제 간 연구(interdisciplinary research)’라는 개념 자체가 위너의 실천에서 출발했다고 해도 과언이 아니다.

말년의 위너는 기술의 윤리적 함의에 깊이 천착했다. 자동화가 노동자를 대체할 것이라는 경고를 1950년대에 이미 내놓았다. 그는 사이버네틱스가 단순히 기계를 더 잘 만드는 이론이 아니라 권력과 통제의 문제이기도 하다는 것을 일찍이 알고 있었다. AI 시대의 고민이라 여겨지는 것들을 위너는 70년 전에 이미 하고 있었다.

노엄 촘스키: 언어 속에 숨겨진 수학적 구조

1959년, 노엄 촘스키는 심리학자 B.F. 스키너의 두꺼운 책 한 권을 박살냈다. 스키너의 『언어 행동』은 언어를 자극-반응의 연쇄로 설명했다 — 아이는 어른의 말을 모방하고 강화(reinforcement)를 통해 언어를 습득한다는 것이었다. 촘스키의 반박은 간결했다: 아이들이 듣지도 않은 문장을 처음부터 만들어낸다는 사실을 행동주의는 설명하지 못한다. 언어 습득은 ‘경험에서 귀납하는 것’이 아니라 ‘내면의 문법을 발현시키는 것’이다.

촘스키가 1957년에 내놓은 ‘생성 문법(generative grammar)’ 이론은 언어학을 수학으로 바꾸어 놓았다. 인간의 언어는 유한한 규칙으로 무한한 문장을 생성할 수 있는 시스템이라는 것이 핵심이었다. 그는 이 규칙 체계를 형식 언어(formal language)의 위계로 분류했는데, 이것이 ‘촘스키 위계(Chomsky Hierarchy)’다. 정규 언어, 문맥 자유 언어, 문맥 의존 언어, 재귀적 열거 가능 언어 — 이 분류는 오늘날 컴파일러 이론과 프로그래밍 언어 설계의 기반이다.

“무색의 녹색 아이디어들이 격렬하게 잠을 잔다.”
— 노엄 촘스키 (문법적으로 맞지만 의미 없는 문장의 예시, 1957)

이 기묘한 문장은 촘스키의 핵심 논점을 담고 있다. 문법과 의미는 독립적으로 작동한다. 언어는 표층적인 단어 배열(표면 구조)과 그 뒤에 숨은 논리적 관계 (심층 구조)로 나뉜다. 이 구분은 훗날 ‘변환 생성 문법’으로 발전했고, 인간이 언어를 처리하는 방식에 대한 인지과학적 이해를 근본적으로 바꿨다.

흥미로운 것은 촘스키가 언어학과 컴퓨터 과학을 동시에 바꾸어 놓았다는 사실이다. 1956년에 발표한 ‘유한 오토마톤’ 논문은 현대 정규 표현식과 파서(parser) 이론의 출발점이다. 오늘날 우리가 사용하는 모든 프로그래밍 언어는 촘스키 위계의 어딘가에 위치한다. 소프트웨어 개발자들은 촘스키를 모르면서도 매일 그가 만든 수학 위에서 일하고 있다.