목록Deep Learning/Reinforcement Learning (4)

Let's Run Jinyeah

Integrating Learning and Planning

알파고에 쓰인 시뮬레이션 기반 Model-Based RL 방법에 대해 알아보겠다. Outline 1. Introduction What is Model? Model-Free RL vs Model-Based RL Advantages of Model-Based RL 2. Model-Based RL Model Learning Planning with a Model 3. Integrated Architectures Dyna 4. Simulation-Based Search Simple Monte-Carlo Search Monte-Carlo Tree Search(MCTS) Temporal-Difference Search Introduction What is Model? MDP including Transition p..
Deep Learning/Reinforcement Learning 2021. 8. 31. 18:48
Policy Gradient

이전 포스트에서 각 상태, 액션에 실제 가치에 근사값을 구하는 방법에 대해 알아보았습니다. Control(Policy Iteration) with Value approximation에서는 가치함수를 기반으로 정책을 그리디하게 정하기 때문에 결정론적인 정책을 가집니다. 이번 포스트에서는 정책함수를 기반으로 액션을 선택하여 stochastic 정책을 생성하는 Contorl with policy gradient 방법에 대해 알아보겠습니다. Outline 1. Introduction to Policy-Based Reinforcement Learning Value-Based vs Policy-Based vs Actor-Critic Advantages of Policy-Based RL Policy Search 2...
Deep Learning/Reinforcement Learning 2021. 8. 31. 01:56
Value Function Approximation

이전 포스트(Model-Free Control)에서 가치함수에 근거하여 액션을 선택하는 Sarsa와 Q러닝 기법에 대해 알아보았습니다. 하지만 상태 공간과 액션 공간이 매우 커서 밸류를 일일이 lookup table에 담지 못하는 상황에서 모든 상태, 액션에 대한 밸류를 어떻게 계산해야할까요? 이번 포스트에서는 뉴럴넷과 강화학습을 접목하여 이에 대한 해결책을 찾아보겠습니다. Outline 1. Incremental Methods Stochastic Gradient Descent Control with Value Function Approximation Incremental Contorl Algorithm 2. Batch Methods Stochastic Gradient Descent with Experi..
Deep Learning/Reinforcement Learning 2021. 8. 30. 23:06
Model-Free Control

MDP를 모르는 상황에서 최적의 정책을 찾는 Model-Free Control 기법에 대한 리뷰입니다. David Silver의 "Introduction to reinforcement learning" 강의 Lecture 5를 참고하였습니다. Outline On-policy Monte-Carlo(MC) control On-policy Temporal-Difference(TD) learning Sarsa: TD방법으로 액션-가치 함수(Q)를 학습 n-Step Sarsa: MC와 TD의 절충안 Sarsa(λ) Off-policy Temporal-Difference(TD) learning Q러닝 Model-Free Control 문제 MDP model을 모르고, 경험은 샘플링할 수 있는 문제 MDP model..
Deep Learning/Reinforcement Learning 2021. 8. 21. 01:03
Prev 1 Next