[논문리뷰] 트랜스포머 응용 - GPT (Improving Language Understanding by Generative Pre-Training, 2018)

시작하기 전에엄청난 상업적 성공(흑자는 아니지만)을 이룬 chatGPT의 기반 기술이 되는 GPT의 첫 논문이다. 참고로 GPT는 1, 2, 3이 논문으로 공개되어 있지만 개인적으로는 따로 적진 않거나 아마 묶어서 이야기 하지 않을까 싶기도 하다. 트랜스포머 리뷰를 하고 나서 어느정도 로드맵을 생각했는데 우선 트랜스포머를 각기 다른 방식으로 응용한 GPT와 BERT를 리뷰해보고, 그 다음에는 스케일과 도메인을 확장한 ViT(그리고 GPT2도 살짝..), 마지막으로는 새로운 방향인 Gemini Diffusion과 Mamba를 다룰 예정이다. 아마 Gemini Diffusion을 이야기 할 때 background로 diffusion을 다루게 될 듯? 만약 트랜스포머나, 인공지능 모델에 대한 구조적인 이해..