마르코프 결정 프로세스(Markov Decision Process)

• 마르코프 프로세스: 미리 정의된 어떤 확률 분포를 따라서 상태와 상태 사이를 이동해 다니는 여정
  -> 상태의 집합, 전이 확률 행렬

• 전이 확률 행렬

• 마르코프 성질: 미래는 오로지 현재에 의해 결정된다.
  P[S_t+1|S_t]=P[S_t+1|S₁,S₂,...S_t]

• 마르코프 리워드 프로세스(Markov Reward Process)
  -> 상태의 집합, 전이 확률 행렬, 보상 함수, 감쇠 인자

• 보상 함수 R: 어떤 상태 s에 도착했을 때 받게 되는 보상
  R=E[R_t|S_t=s] 특정 상태에 도달했을 때 받는 보상이 매번 조금씩 다를 수 있기 때문에 기댓값으로 계산

• 감쇠 인자 γ: 0에서 1사이의 숫자로, 강화학습에서 미래 얻을 보상에 비해 당장 얻는 보상을 얼마나 더 중요하게 여길 것인지 나타내는 파라미터

• 에피소드: s₀,R₀,s₁,R₁,s₂,R₂,...s_T,R_T

• 리턴: G_t=R_t+1+γR_t+2+γ²R_t+3+...
  리턴은 과거의 보상을 고려하지 않고 미래의 보상을 통해서 정의됨
  에이전트의 목적은 미래에 받을 보상의 합을 최대화하는 것!

• Monte-Carlo 접근법: 샘플링을 통해서 어떤 값을 유추하는 방법론

• 상태가치함수(State Value Function)
  v(s)=E[G_t|S_t=s]
  시점 t에서 상태 s부터 시작하여 에피소드가 끝날 때까지의 리턴 계산
  기댓값을 구하려면 에피소드별로 해당 에피소드가 발생할 확률과 그때의 리턴 값을 곱해서 더해주어야 한다.

• 마르코프 결정 프로세스(Markov Decision Process)
  -> 상태의 집합, 전이 확률 행렬, 보상 함수, 감쇠 인자, 액션

• 액션: 에이전트는 각 상황마다 액션을 취함
  MDP에서 전이 확률 행렬은 현재 상태가 s이고 에이전트가 액션 a를 선택했을 때 다음 상태 s'이 될 확률을 의미
  P_ss'^a=P[S_t+1=s'|S_t=s,A_t=a]
  R_s^a=E[R_t+1|S_t=s,A_t=a]

• 정책 함수(π): 각 상태에서 어떤 액션을 선택할지 정해주는 함수
  π(a|s)=P[A_t=a|S_t=s]

• MDP 에서의 상태 가치 함수
  v_π(s)=E_π[G_t|S_t=s]
  s부터 끝까지π 를 따라서 움직일 때 얻는 리턴의 기댓값
  ->가치 함수는 정책 함수에 의존적임!

• 액션 가치 함수(q(s,a)) : 상태와 액션의 페어, 즉(s,a)를 평가하는 함수
  q_π(s,a)=E_π[G_t|S_t=s,A_t=a]
  s에서 a를 선택하고 그 이후에는 π 를 따라서 움직일 때 얻는 리턴의 기댓값

• Prediction과 Control
  Prediction: π가 주어졌을 때, 각 상태의 밸류를 평가하는 문제
  Control: 최적정책 π^*를 찾는 문제

  일반적인 MDP에서π^*을 찾는 것은 간단하지 않다!-> 강화학습을 사용해준다!

  • 최적 가치 함수 v^*: π^*을 따를 때의 가치 함수

문제를 MDP 형태로 만들고, MDP의 최적 정책과 최적 가치 함수를 찾아내는 것이 MDP를 푸는 것!