PgMaru

현재 진행중인 내용을 확인해 볼 수 있다.

RunningTest

GitHub

다음과 같은 테스트를 진행하였다.

1. weight 초기화시 양의 실수만 사용
2. weight 초기화시 실수를 사용하고, Node마다 ReLU 적용
3. weight 초기화시 실수를 사용하고, Node마다 ReLU 적용. workaround(상하좌우 중 1순위 결과가 막히면 2순위, 2순위도 막히면 3순위, 3순위 막히면 4순위) 적용

2,3번에 대한 현재까지의 테스트 결과가, 다음 저장소에 올라와 있다.

테스트 결과

지금까지의 결과를 보면서, 다음과 같은 문제점이 발견된다.

1. 입력값이 커지면, 결과값도 커짐
   • 점수가 높아지고 입력값이 커짐에 따라, 이전의 학습결과가 무용지물이 될 수 있음
   • 결과값이 일정 범위 내에서 유지되게끔 하는 게 좋을 것 같음
2. 진화를 하는 게 의미가 없어 보임
   • 세대를 거듭할 수록 최대점수나 평균 점수가 올라가길 바라지만, 실제 결과는 그렇지가 않음
   • 변이만 사용하는 진화 방법에 문제가 있을 수 있음
   • 변이의 방법(기존값 무시하고 신규 random값을 부여)에 문제가 있을 수 있음

그래서, 다음과 같은 해결책을 적용해서 다시 테스트해 보려 한다.

1. 결과값 범위 유지
   • 모든 Node에서, 활성화 함수로 ReLU를 적용한 결과에 다시 log를 적용
   • 모든 Node의 결과값이 0, 1로만 나오도록 활성화 함수 수정
   • 전처리를 통해 입력값이 모두 0~1사이의 값을 갖도록 표준화
2. 진화 방법 조정
   • 교차와 변이의 결합
   • 변이의 방법 조절(기존값에 적절히 작은 값을 증감)

한편, 이쯤에서 다른 사람들이 구현한 인공지능 사이트도 참고해 보는 것이 좋을 것 같다.

https://codemyroad.wordpress.com/2014/05/14/2048-ai-the-intelligent-bot/

올림픽의 꽃이 마라톤이라면,

프로그래밍의 꽃은 게임이라고 생각한 적이 있다.

게임은 프로그래밍의 여러 요소들 뿐 아니라

음악, 디자인과 같은 예술적인 요소까지도 포함하기 때문이다.

이제 게임은 AI와도 뗄래야 뗄 수 없는 관련을 가지고 있다.

아니, 이전부터 그래왔다.

이 책은, 두 가지 흥미로운 분야인 게임과 AI가

어떻게 서로서로 밀접한 연관이 있는지 알게 해주는 책이다.

게임은 AI를 연구하고 이해하는데 도움이 되고,

AI는 게임을 보다 재밌게 만드는데 도움이 된다.

이 책에는 이에 대한 흥미로운 사례들이 많이 나온다.

AI에 대해서는, 대략 다음과 같이 나눌 수 있다고 한다.

• 내로 AI(Narrow AI) : 특정 과제에 특화된 AI
• 제너럴 AI(General AI) : 인간 수준의 인지 및 학습능력, 이해력을 가지고 다양한 과제를 통합적으로 수행할 수 있는 AI
• 슈퍼 AI(Super AI) : 모든 분야에서 인간보다 뛰어난 AI

이 분류에 따르자면, 현재까지 개발된 AI는 모두 특정 과제에 특화된 AI, 즉 내로 AI라고 할 수 있다.

그리고 이 분류에 따르면, 게임에 들어가는 MiniMax, A*, MCTS(몬테카를로 트리 탐색) 및 여타 알고리즘도

내로 AI의 범주에 들어간다고 할 수 있다.

따라서, 게임에는 AI가 이전부터 사용되고 있었던 셈이다.

게임과 AI와의 관계는 다음과 같이 나누어서 생각해 볼 수 있다.

• 게임에 있어서의 AI
• AI에 있어서의 게임

게임에 있어서의 AI는, 게임내 NPC의 움직임 등의 차원을 넘어서서

게임을 설계하고 레벨을 진화시키는 것까지도 바라볼 수 있게 한다.

AI에 있어서의 게임은, AI가 게임에 도전하면서

어느 정도까지 진보되었는지 확인하고 벤치마크하는 도구로 게임을 활용할 수 있다.

예를 들어, 자율운행과 관련된 AI를 개발한다고 할 때,

매번 알고리즘을 개선할 때마다 차량을 만들어서 테스트하기에는

시간과 비용이 너무 많이 들어간다.

하지만 차량을 시물레이션하는 게임을 통한다면,

훨씬 빠르고 적은 비용으로 테스트를 할 수 있다.

이 부분에 대해서는, 저자가 직접 경험담을 소개하기도 한다.

그리고, 위 두가지를 결합함으로써 인간의 지능을 보다 깊이 이해할 수 있고,

그런 이해를 바탕으로 보다 발전된 AI를 만들 수 있다.

이 책이 그 길을 안내해 준다.

2048 게임을 즐기던 중에 문득,

딥러닝을 통해 컴퓨터가 2048 게임을 학습해서 실행해 보면 재밌겠다는 생각을 해 보았다.

딥러닝으로 바둑도 하고, ATARI의 벽돌깨기 게임도 하는 판에,

2048 게임을 못할 것도 없다는 생각에, 한번 시도해 볼까 하다가

혹시나 해서 인터넷을 검색해 보니,

역시나 벌써 누군가가 하고 있는 것을 발견했다.

YouTube

StackOverflow의 질문과 답변

GitHub에 올라온 소스

참고로, 다음 사이트에서는 

웹상에서 2048 게임을 할 수 있다.

Play 2048!

그리고 다음 블로그에는, 딥러닝은 아니지만 

AI를 통해 2048을 Play하는 내용의 글이 연재되어 있다.

An AI for 2048