게임이론(Game Theory)은 상호 의존적이며 이성적인 의사결정을 다루는 수학적 이론이다. 개인이나 기업이 어떤 행동을 할 때, 그 결과는 단순히 자신의 선택만 아니라 다른 참가자들의 선택에도 영향을 받는 상황에서, 각자가 자신의 이익을 극대화하기 위해 어떤 전략을 취할지를 분석한다. 게임(Game)이란 각 행위자가 효용을 극대화하기 위해 일정한 전략을 바탕으로 최고의 보상을 얻고자 경쟁하거나 협력하는 행위를 의미한다. 게임이론은 사회과학, 특히 경제학에서 많이 활용되는 응용 수학의 한 분야이며, 생물학, 정치학, 컴퓨터 과학, 철학 등 다양한 분야에서도 널리 사용된다. 이 이론은 참가자 간의 상호작용이 어떻게 전개되는지 이해하는 데 도움을 주며, 그 과정에서 어떤 선택이 더 큰 이득을 가져올지 수학적으로 분석할 수 있게 해준다. 게임이론은 상호작용 속에서의 전략적 의사결정을 수학적으로 분석하는 이론이다. 그 기초적인 아이디어는 1921년 보렐의 연구에서 찾아볼 수 있지만, 이론의 수학적 기반은 존 폰 노이만에 의해 마련되었다. 노이만은 1928년 논문에서 초기 게임이론을 제시했으나, 당시에는 내용이 매우 추상적이고 적용 분야도 명확하지 않았다. 이후 오스카 모르겐슈테른이 게임이론의 실용적 가치를 인식하고 노이만과 협력하면서, 1944년 '게임이론과 경제행동'을 공동 발표하였다. 이 연구에서 이론적 구조는 노이만이, 경제분석은 모르겐슈테른이 주도했으며, 이를 통해 게임이론은 수학과 경제학의 교차점에서 하나의 체계적인 분야로 자리 잡게 되었다. 특히 이 책에서 '미니맥스 정리'가 증명되면서 게임이론은 응용 수학의 한 영역으로 확고히 자리 잡았다. 게임이론이 처음 실제로 적용된 사례는 제2차 세계대전 중 전략 폭격 계획으로, 이는 노이만의 제자인 존 튜키가 확률론을 도입해 군사 전략에 활용하면서 가능해졌다. 1950년대 이후, 게임이론은 수많은 학자에 의해 확장되었고, 1970년대에는 자연선택과 동물행동 연구에도 응용되었다. 오늘날 게임이론은 경제학만 아니라 생물학, 정치학, 철학, 컴퓨터 과학 등 다양한 분야에서 필수적인 분석 도구로 사용된다. 이 이론은 처음에는 '제로섬 게임'과 같은 경쟁 상황을 분석하기 위해 개발되었으나, 현재는 협력, 불완전 정보, 반복 상호작용 등 다양한 형태의 게임에 적용되고 있다. 게임이론은 이제 인간만 아니라 컴퓨터, 동식물 등 다양한 행위자 간의 상호작용까지 설명하는 포괄적인 틀로 확장되었다. 게임이론의 주요 목표 중 하나는 각 참여자가 자신의 전략을 바꾸지 않는 상태, 즉 '균형점'을 찾는 것이다. 이 중 가장 널리 알려진 것이 '내시 균형'이다. 이 외에도 다양한 균형 개념들이 제안되었으며, 각각의 개념은 적용되는 분야에 따라 발전해 왔다. 다만, 이러한 모델들이 실제 상황을 얼마나 정확하게 반영하는가에 대해서는 여전히 논쟁이 존재하며, 균형 개념과 수학 모델의 적절성에 대한 학문적 논의는 계속되고 있다.
게임이론에서 다루는 게임들은 명확히 정의된 수학적 객체들이다. 하나의 게임은 몇 명의 참가자(행위자, actor), 참가자들이 선택할 수 있는 행동들(전력, strategy), 그리고 이 전략들의 조합에 따라 결정되는 참가자들의 보상으로 구성된다. 대부분의 협력적 게임은 '특정함수형'으로 표현되며, 반면 '전개형'과 '일반형'은 비협력적 게임을 정의할 때 사용된다. 전개형 게임은 게임의 진행 순서가 중요한 경우에 사용된다. 이러한 게임들은 보통 거꾸로 된 나무 구조로 표현된다. 이 구조에서 각 점(노드)은 어떤 참여자가 선택해야 하는 지점을 나타낸다. 각 참여자는 해당 점 위에 표시된 숫자로 구분되며, 그 점에서 나오는 가지들은 해당 참여자가 선택할 수 있는 행동들을 의미한다. 참가자들이 받는 보상은 나무의 맨 아래쪽 말단에 표시된다. 예를 들어, 이 게임에서는 두 명의 참여자가 있다. 참여자 1이 먼저 움직이며, F 또는 U 중 하나를 선택할 수 있다. 이후 참여자 2는 참여자 1의 선택을 보고 나서 A 또는 R 중 하나를 선택한다. 만약 참여자 1이 U, 참여자 2가 A를 선택하게 되면, 그 결과로 참여자 1은 8점 참여자 2는 2점을 얻게 된다. 이러한 전개형 표현은 불완전한 정보를 가진 게임이나 동시적으로 행동하는 게임에도 확장하여 사용할 수 있다. 이 경우에는 점선으로 서로 다른 노드들을 연결하거나, 폐곡선으로 묶어 표시함으로써, 참여자들이 정확히 어느 지점에 있는지를 알 수 없는 상황(같은 정보 집합)임을 나타낸다. 일반형 게임은 전략형 게임이라고도 하며, 주로 참가자들의 전략과 보상을 행렬(matrix) 형태로 표현한다. 이 행렬은 각 전략 조합에 따라 참가자들이 얻는 보상을 대응시켜 보여준다. 즉, 모든 참가자가 상대방의 선택을 모른 채 동시에 행동하는 상황을 모형화한다. 반면, 만약 어느 한 참가자가 상대방의 전략을 어느 정도 알 수 있는 구조라면, 이런 게임은 '전개형'으로 표현하는 것이 더 적합하다. 과거의 이전 가능한 효용이 존재하는 협조적 게임에서는, 각 개인에게 개별적인 보상이 주어지는 것이 아니라, '특성함수'가 각 연합의 전체 보상을 결정한다. 이때의 기본적인 가정은, '빈 연합'은 항상 0의 보상을 받는다는 것이다. 이 게임 형태의 기원은 폰 노이만과 모르겐슈테른이 협력적 일반형 게임을 연구하던 중 등장했다. 두 연합 간의 상호작용은 2인 게임과 유사하게 간주하며, 이때 연합의 보상은 일정한 특성을 가진다고 하여 '특성함수'라는 개념이 도입되었다. 오늘날에는 대부분의 특성함수형 게임들이 '일반형 게임'으로부터 유도될 수 있다. 한편, 특성함수형 게임에서는 연합 형성에 있어 외부적 영향이 무시된다. 즉, 어떤 연합의 보상은 그 내부 구성원만으로 결정된다고 가정한다. 그러나 분할함수형에서는 이와 달리, 연합의 보상이 해당 연합의 구성뿐만 아니라 나머지 참가자들이 어떻게 다른 연합들로 분할되는지에도 영향을 받는다. 즉, 한 연합이 받는 보상은 전체적인 연합 구조에 따라 달라질 수 있다. 이는 보다 복잡한 상호작용과 외부 효과를 반영하는 모델이다.