신경 세포 하나는
기억을 구성하지 못하지만,
수많은 신경 세포가 모이면 가능하다.
벽돌도 마찬가지다.
벽돌 하나에 대한 과학과
많은 벽돌로 이루어진
건물에 대한 건축학은 다른 문제다.
크 -
우연히 알라딘 매장에서 이 글귀를 발견했다.
어찌 이 책을 두고 나 혼자 올 수 있다는 말인가!
물리학자의 고민과 회고가 담긴 책이다. 어쩌면 문과?의 향이 더 진하게 베어있는 듯한 이 책의 특징 또한-(101p)
결과를 얻기 위해 필요했던 복잡한 작업과 고군분투는 깨끗이? 생략하고-
자신이 경험했던 결과만을 보여주기 때문이 아닐까 하는 생각이 들었다.
오랫만에 한구절 한구절이 설레는 책이다.
아직 초반인데 여기저기 한창을 끄적이다가 이러다 잊혀지겠다 싶은 몇구절을 포스팅으로 남겨본다.
실제 세상은 무질서하고, 초반에 언급한 것처럼, 현실에서 일어나는 많은 현상들은 서로 상호 작용하는 수많은 구성 요소를 통해 설명할 수 있다. 구성 요소 사이의 상호 작용은 간단한 규칙의 형태로 표시할 수 있지만, 상호 작용을 통해 만들어지는 전체가 보여 주는 집단 행동의 결과는 정말이지 예측하기가 어렵다.
기본적 행위자는 스핀이나 원자, 분자, 신경 세포(ocuon), 그 리고 일반 세포이지만, 웹사이트나 주식 중개인, 주식과 채권, 사람, 동물, 생태계 구성 요소 등도 포함된다.
모든 기본적 행위자 간의 상호 작용에서 무질서계가 만들어지는 것은 아니다. 무질서는 어떤 기본적 행위자가 다른 행위자들과 다른 방식으로 행동한다는 사실에서 온다. 역방향으로 정렬하려는 스핀도 있고, 대다수의 원자와 다르게 움직이는 원자도 있으며, 다른 사람이 사는 주식을 파는 금융 투자자도 있고, 저녁 식사에 초대받았지만 누군가 다른 손님에게 반감을 품고 멀리 떨어져 앉고 싶어하는 사람이 있을 수도 있다. 103p
인터넷 응용 프로그램에서 가장 흔하게 쓰이는 인공 지능의 대부분이 스핀 유리 이론과 인공 신경망 이론을 바탕으로 한다. 77p
AI가 신경망을 모티브로 한다면, 신경망은 스핀 유리 이론의 한 장면이 아닐까?
상전이는 너무 익숙해서 우리가 알아채지 못하는 '일상의 물리' 현상이다. 그러나 물리학자에게는 파헤쳐 보고 싶은 아주 흥미로운 현상이기도 하다. 요즘은 섭씨 100도의 온도에서 물이 끓기 시작하면 액체상에서 기체상으로 바뀌고 섭씨 0도 이하로 내려가면 액체상에서 고체상으로, 즉 얼음으로 바뀐다는 사실을 모르는 이가 없다. 그런데 이런 변화는 왜 일어날까?
물의 온도처럼 우리가 거시적으로 측정하는 물리량은 미시적인 행위자의 행동에 좌우된다. 분자의 속도 같은 것을 예로 들 수 있지만, 우리가 직접 분자의 운동을 볼 수는 없다.
미시적 차원의 상전이를 연구하려면 원자나 분자, 혹은 미세한 크기의 자석 같은 수많은 '물체들'의 행동을 파악해야 한다. 상호 작용을 하고 정보 교환을 하면서 수신된 정보에 따라 행동을 수정하는 이 '기본 요소들'은 (전통적인 물리학보다 더 일반적인 맥락에서) 행위자'라 부를 수 있다. 물리학에서는 '정보 교환'이 '힘을 주고받는 것'과 같은데, 일반적으로 물체들은 다른 물체와 멀리 있느냐 더 가까이 있느냐 에 따라 다르게 행동한다. 90p
무질서계(disordered system)와 스핀 유리와 관련된 문제를 다룬 그 논문은 당시 내 연구 분야와는 거리도 아주 먼 데다가 한 번도 다뤄 본 적이 없는 주제였다. ... 나는 모형을 연구하면서 모든 계산을 다시 했다. 계산은 맞았지만, 결과가 맞지 않았다. 80p
입자 물리학의 문제를 해결한 복제 기법 replica method
계의 상전이는 일반적으로 '질서 맺음 변수'의 변화로 특징지어진다. 예를 들어 액체와 기체 사이의 상전이를 연구하기 위한 '질서 맺음 변수'는 밀도다. 자기 상전이의 경우, 연구해야 할 '질서 맺음 변수'는 자기화량(magnetization)이 된다. 밀도나 자기화량 같이 물리적 의미를 아주 이해하기 쉽게 다양한 수치로 보여 주는 이러한 질서 맺음 변수들은 상전이가 일어날 때 그 값이 변하게 된다.
놀랍게도 내가 스핀 유리 계산에서 얻은 결과에서는, 질서 맺음 변수가 더는 상전이 중에 값이 변하는 단순한 숫자가 아니었다. 상전이 중 변경되는 것은 '함수'였다. 상전이를 설명하는데 단 하나의 점으로는 부족했고, 하나의 숫자가 아닌 무한한 수로 구성된 함수를 사용해야 했다. 92p
반도체가 조건에 따라 1 또는 0으로 전환될 수 있다는 성질이 이징모형의 '스핀' 그리고 '스칼라'과 유사해보인다. 그리고 단지 값이 바뀌는 것이 아니라 함수가 바뀐다는 측면에서, 무질서계 또는 저마다의 불규칙한 방향성을 가지게 되는 '스핀유리모형'에서의 '반/강자성' 또는 '양자' 형태 또는 '다차원 행렬'과 유사한 성질로 보인다. (물론 다르겠지.. 특정 부분만 추상화 또는 일정 영역의 현상만 단순화해서by갈릴레오 갈리레이)
그렇다면 이 함수는 물리적으로 무엇을 나타낼까? 상전이에 대한 '질서 맺음 변수'로 숫자 대신 함수를 사용하는 것은 '복제 기법'을 채택하기 위한 분수령과 같은 것이었다.
질서 맺음 변수가 단일한 숫자일 때 복제 기법을 적용하면 터무니없는 결과를 나타냈다. 반면 질서 맺음 변수가 함수면, 즉 무한한 숫자의 집합이면(선을 무한한 점의 모임으로 볼 수 있는 것과 마찬가지다.) '복제 기법'에서 일관된 결과를 나타냈다. 계의 상전이를 설명하려면 무한한 질서 맺음 변수(함수)가 있어야 할 필요성과 관련된, 물리적으로 심오한 의미가 분명히 존재해야 했다. 92p
물의 삼중점(triple point)이 괜히 유명한 게 아니다. 일반적으로 계는 하나의 상에 놓인다. 반면 낮은 온도의 무질서계는 동시에 매우 다양한 상에 놓일 수 있다. 이것이 바로 '질서 맺음 변수'가 '함수'가 된다는, 즉 무한한 값의 집합이 된다는 뜻이다. 이를 파악한 것은 물리학에서 진정한 일보 전진이었다. 합성 모형의 구축과 그 해 덕분에 우리는 존재하는지 조차 몰랐던 현상을 알아낼 수 있었다. 우리는 무질서계의 세계로 향하는 문을 활짝 열었다. 100p
결과값에 대한 참 또는 거짓을 나타낸 활성화 함수(Activation Function)가 사용되고 함수 그래프를 통해 어디에 더 가까워지고 있는지 구분할 수 있게된는 합성곱 신경망 (CNN, Convolutional Neural Network)과 순차적으로 과거와 현재의 학습을 연결하고 시간에 흐름(직렬)에 맞게 학습하는 순환 신경망(RNN, Recurrent Neural Network), 그리고 병렬처리가 가능해진 트랜스포머 (Transformer) 이 이련의 과정과 비추어 '질서 맺음 변수'와 '함수'와 무한한 숫자의 집합 그리고 복제 기법'과 같은 키워드를 통해 무질서 계에 대한 (지극히 개인적인..)유사성?을 볼 수 있었다.
상전이는 분명한 공간적 위치가 주어진 많은 구성 요소 사이의 상호 작용을 통해 일어난다. 이전에 논의된 간략화한 모형에서는 고려되지 않은 내용이다. 간략화된 모형은 공간적 구조만 빠트린 것이 아니라 시간에 따른 변화도 고려하지 않았다. '통계 역학 기술'은 계가 '평형 상태'일때, 즉 시간이 흘러도 안정적인 상태가 변함없이 유지될 때 사용하기에 '용이'하다. 유리나 왁스와 같은 무질서계의 경우, 평형 상태에 도달하기까지 소요되는 시간이 대체로 아주 길다. 수년, 혹은 수세기가 걸릴 수도 있다. 평형 상태에 도달하는 시간이 아주 긴 것은 강도를 높이기 위해 산업 기술이 사용된 우리집 창문 유리도 마찬가지다.
물리적 과정이 평형 상태가 아닐 때는 이전과 이후를 항상 구분할 수 있기 때문에 시간 감각이 존재하지만, 평형 상태의 계에서는 그렇지 않다. 쉽게 설명하자면, 공이 안정적인 평형 상태, 즉 계곡 바닥에 정지한 상태일 때에는 이 장면을 사진으로 찍어도 그 어떤 변화의 징후도 포착할 수 없기 때문에 촬영한 순서대로 사진을 배치할 수 없을 것이다. 그러나 공이 아래로 구르는 사진을 찍으면 상황이 달라진다. 평형이 아닌 상태에서는 시간 순서가 명확하기 때문이다.
따라서 시간에 따른 변화를 허락하는 비평형 상태를 설명할 수 있도록 이론을 확장해야 한다. 또한 인접한 구성 요소 사이에만 상호 작용이 존재하도록 공간적 구조를 고려하며 이론을 확장할 필요도 있다. 이것은 유리의 상전이를 완전히 이해하려면 아직 할 일이 상당히 많다는 사실을 의미한다.
신경 세포 하나는 기억을 구성하지 못하지만, 수많은 신경 세포가 모이면 가능하다.
벽돌도 마찬가지다. 벽돌 하나에 대한 과학과 많은 벽돌로 이루어진 건물에 대한 건축학은 다른 문제다.
사람과 사람들간의 관계 또한 매 한가지 이겠지만.. 그와 더불어 어쩌면 최근 화두가 되고 있는 MoE와 단일 LLM 모델 과의 관계 또한 유사한 관계가 아닌가 하는 생각이 든다. 단일로 아무리 완벽하더라도 결국 변화가 무한한 무질서계를 고려하지 않은 일종의 추상화된 통계 역학 기술이 아닌가. 그런 측면에서 MoE, 하나의 LLM과 LLM 집합은 그 구조와 성질이 전혀 다르게 디자인해야할 필요성이 있어보인다.
질서와 무질서 사이에서, 조르조 라이시 - 사이언스북스
무질서와 질서 사이에서
이탈리아인 역사상 스무 번째 노벨상 수상자이자 이탈리아 물리학자로는 여섯 번째 노벨 물리학상 수상자인 조르조 파리시의 첫 번째 대중 과학서이자 그의 첫 한국어판 단행본이다. 동시에 202
www.aladin.co.kr
