사유의 규칙을 발명한 자들

올바르게 생각한다는 것은 무엇인가? 이 물음은 철학만큼 오래되었지만, 그 물음에 체계적인 답을 처음 시도한 것은 아리스토텔레스였다. 두 번째 도전자는 2천 년 뒤 라이프니츠였다 — 그는 생각 자체를 계산으로 바꾸려 했다. 세 번째는 괴델이었다. 그는 논리가 자기 자신의 한계를 증명할 수 있음을 보였다. 세 사람은 각각 논리학의 탄생, 꿈, 그리고 심연(深淵)을 대표한다.

세 사람 사이에는 놀라운 시간 간격이 있다. 아리스토텔레스(기원전 384–322)와 라이프니츠(1646–1716)는 약 2천 년이 떨어져 있고, 라이프니츠와 괴델(1906–1978)은 다시 3백 년의 거리가 있다. 그러나 이 세 사람을 논리학의 같은 계보에 놓는 것은 억지가 아니다. 라이프니츠는 아리스토텔레스의 삼단논법을 흠모했고, 괴델은 라이프니츠의 보편 기호학 초고를 정독했다. 사상은 때로 수백 년을 건너 제자를 만든다.

아리스토텔레스: 생각의 문법을 쓰다

아리스토텔레스는 플라톤의 제자였지만, 스승이 가장 중시했던 것을 뒤집었다. 플라톤이 이데아라는 이상적 세계를 향해 눈을 들었다면, 아리스토텔레스는 눈을 내려 현실의 사물과 추론의 구조를 들여다보았다. 그 결과가『오르가논(Organon)』— ‘도구’라는 뜻의 이 여섯 권짜리 논문 모음은 서구 논리학의 출발점이 되었다.

그의 핵심 발명은 삼단논법(Syllogism)이다. 형식은 단순하다. “모든 인간은 죽는다. 소크라테스는 인간이다. 고로 소크라테스는 죽는다.” 이 구조가 왜 혁명적인가? 결론의 진리가 내용이 아니라 형식에서 보장되기 때문이다. 두 전제가 참이고 형식이 올바르면, 결론은 필연적으로 참이다. 소크라테스를 ‘사자’로 바꾸어도, ‘강물’로 바꾸어도 구조는 같다. 아리스토텔레스는 특정 내용에서 추론의 뼈대를 처음으로 분리해냈다.

“전제들이 특정한 방식으로 놓일 때, 그 전제들과는 다른 무언가가 필연적으로 따라온다. 이것이 추론이다.”— 아리스토텔레스, 『전분석론(Prior Analytics)』 I.1

아리스토텔레스는 또한 사유의 세 가지 기본 법칙을 정립했다. 동일률(A는 A다), 모순율(A는 동시에 비A일 수 없다), 배중률(A이거나 비A이거나 둘 중 하나다). 이 세 법칙은 오늘날까지 고전 논리학의 공리로 남아 있다. 중세 대학에서 논리학은 ‘오르가논’의 이름으로 천 년 넘게 가르쳐졌다. 칸트는 “논리학은 아리스토텔레스 이후 한 발짝도 나아가지 않았다”고 썼는데, 이 말은 비판이 아니라 경이의 표현이었다.

라이프니츠: 생각을 계산으로

고트프리트 빌헬름 라이프니츠(1646–1716)는 역사상 가장 마지막 ‘보편 학자(polymath)’ 중 한 명이다. 수학자로서 미적분을 독자적으로 발명했고, 물리학자로서 에너지 보존을 예견했으며, 철학자로서 형이상학의 가장 정교한 체계 중 하나인 모나드론(Monadology)을 구축했다. 그러나 라이프니츠의 가장 선구적인 꿈은 역설적으로 가장 덜 알려져 있다.

그것은 ‘보편 기호학(Characteristica Universalis)’이었다. 라이프니츠의 구상은 이렇다 — 인간의 모든 개념을 기본 요소들의 조합으로 분해하고, 그것을 수처럼 다룰 수 있는 기호 체계로 번역한다면, 모든 논증과 논쟁은 “계산(ratiocinator)”으로 해결할 수 있다. 의견이 충돌할 때 상대방에게 “우리 계산해봅시다(Calculemus!)”라고 말할 수 있는 세계. 이것이 라이프니츠의 비전이었다.

그는 이 꿈을 완전히 실현하지 못했지만, 그 도중에 놀라운 부산물을 남겼다.이진법(binary system)의 발명이다. 0과 1만으로 모든 수를 표현하는 이 체계를 라이프니츠는 1679년에 정식화했다. 그는 이것을 오묘한 신학적 상징으로도 해석했다 — 0은 무(無), 1은 신(神), 그리고 모든 것은 무와 신의 조합으로 이루어진다는 식으로. 이 이진법은 200년 뒤 부울(Boole)의 대수학으로, 다시 50년 뒤 클로드 섀넌(Shannon)의 정보 이론으로, 마침내 현대 컴퓨터의 언어가 되었다.

“지성을 가진 두 사람이 의견이 맞지 않을 때 더 이상 논쟁할 필요가 없다. 계산하면 되기 때문이다. 마치 두 회계사처럼.”— 고트프리트 라이프니츠, 『보편 기호학』 단편 (ca. 1679)

라이프니츠가 수십 년에 걸쳐 쌓은 원고의 분량은 추정만으로도 수십만 장에 달한다. 하노버 국립도서관에는 지금도 그가 남긴 수천 점의 필사본이 정리를 기다리고 있다. 이 거대한 지적 유산을 한 사람이 생산했다는 사실이, 라이프니츠라는 인물의 스케일을 가늠하게 한다.

괴델: 체계가 자신을 의심할 때

1900년 파리에서 열린 세계 수학자 대회에서 다비트 힐베르트는 20세기 수학이 풀어야 할 23개의 문제를 제시했다. 그중 하나는 수학의 완전한 공리화였다. 모든 수학적 참을 하나의 완전하고 무모순인 공리 체계에서 도출할 수 있는가? 힐베르트는 그것이 가능하다고 믿었고, 1930년 쾨니히스베르크 강연을 이 말로 마쳤다. “우리는 알아야 한다. 우리는 알 것이다(Wir müssen wissen. Wir werden wissen).”

바로 같은 날, 같은 도시에서 열린 학술 모임에서 스물다섯 살의 쿠르트 괴델(Kurt Gödel)은 조용히 자신의 논문을 발표했다. 내용은 힐베르트의 꿈에 정면으로 충돌했다.괴델의 불완전성 정리(Incompleteness Theorems): 산술을 표현할 수 있을 만큼 충분히 강한 어떤 무모순 공리 체계에서도, 그 체계 안에서 참이지만 그 체계 안에서 증명할 수 없는 명제가 반드시 존재한다. 그리고 그 체계의 무모순성은 그 체계 안에서 증명될 수 없다.

괴델의 증명 방법은 수학 역사상 가장 창의적인 도구 중 하나로 꼽힌다. ‘괴델 번호매기기(Gödel numbering)’ — 그는 수학의 명제와 증명 자체에 번호를 붙여 산술 속에서 다루는 방법을 고안했다. 이렇게 되면 “이 명제는 이 체계 안에서 증명될 수 없다”는 문장이 산술 명제로 표현된다. 에피메니데스의 ‘나는 거짓말쟁이다’라는 역설이 수학의 심장부로 걸어들어온 것이다. 그 결과는 충격적이었다 — 충분히 강한 형식 체계는 자기 자신에 대해 모든 것을 말할 수 없다.

“내가 발견한 것은 수학에서 이성이 자기 자신의 한계를 볼 수 있다는 것이다.”— 쿠르트 괴델, 왕하오(Hao Wang)와의 대화에서 재인용

불완전성 정리는 수학의 위기가 아니라 수학의 성숙이었다. 인간의 수학적 직관은 어떤 하나의 형식 체계도 완전히 담아낼 수 없다. 이것은 수학이 무너졌다는 뜻이 아니라, 수학이 그 어떤 형식적 틀보다 더 풍부하다는 뜻이기도 하다. 컴퓨터 과학자 앨런 튜링은 괴델의 정리에서 영감을 받아 ‘정지 문제(Halting Problem)’의 불가능성을 증명했다. 일부 수학자들은 인간의 지성이 기계를 초월하는 근거로 괴델 정리를 해석하기도 한다.