PgMaru

현재 진행중인 내용을 확인해 볼 수 있다.

RunningTest

GitHub

다음과 같은 테스트를 진행하였다.

1. weight 초기화시 양의 실수만 사용
2. weight 초기화시 실수를 사용하고, Node마다 ReLU 적용
3. weight 초기화시 실수를 사용하고, Node마다 ReLU 적용. workaround(상하좌우 중 1순위 결과가 막히면 2순위, 2순위도 막히면 3순위, 3순위 막히면 4순위) 적용

2,3번에 대한 현재까지의 테스트 결과가, 다음 저장소에 올라와 있다.

테스트 결과

지금까지의 결과를 보면서, 다음과 같은 문제점이 발견된다.

1. 입력값이 커지면, 결과값도 커짐
   • 점수가 높아지고 입력값이 커짐에 따라, 이전의 학습결과가 무용지물이 될 수 있음
   • 결과값이 일정 범위 내에서 유지되게끔 하는 게 좋을 것 같음
2. 진화를 하는 게 의미가 없어 보임
   • 세대를 거듭할 수록 최대점수나 평균 점수가 올라가길 바라지만, 실제 결과는 그렇지가 않음
   • 변이만 사용하는 진화 방법에 문제가 있을 수 있음
   • 변이의 방법(기존값 무시하고 신규 random값을 부여)에 문제가 있을 수 있음

그래서, 다음과 같은 해결책을 적용해서 다시 테스트해 보려 한다.

1. 결과값 범위 유지
   • 모든 Node에서, 활성화 함수로 ReLU를 적용한 결과에 다시 log를 적용
   • 모든 Node의 결과값이 0, 1로만 나오도록 활성화 함수 수정
   • 전처리를 통해 입력값이 모두 0~1사이의 값을 갖도록 표준화
2. 진화 방법 조정
   • 교차와 변이의 결합
   • 변이의 방법 조절(기존값에 적절히 작은 값을 증감)

한편, 이쯤에서 다른 사람들이 구현한 인공지능 사이트도 참고해 보는 것이 좋을 것 같다.

https://codemyroad.wordpress.com/2014/05/14/2048-ai-the-intelligent-bot/