[논문리뷰] 트랜스포머 응용 - GPT (Improving Language Understanding by Generative Pre-Training, 2018)

시작하기 전에엄청난 상업적 성공(흑자는 아니지만)을 이룬 chatGPT의 기반 기술이 되는 GPT의 첫 논문이다. 참고로 GPT는 1, 2, 3이 논문으로 공개되어 있지만 개인적으로는 따로 적진 않거나 아마 묶어서 이야기 하지 않을까 싶기도 하다. 트랜스포머 리뷰를 하고 나서 어느정도 로드맵을 생각했는데 우선 트랜스포머를 각기 다른 방식으로 응용한 GPT와 BERT를 리뷰해보고, 그 다음에는 스케일과 도메인을 확장한 ViT(그리고 GPT2도 살짝..), 마지막으로는 새로운 방향인 Gemini Diffusion과 Mamba를 다룰 예정이다. 아마 Gemini Diffusion을 이야기 할 때 background로 diffusion을 다루게 될 듯? 만약 트랜스포머나, 인공지능 모델에 대한 구조적인 이해..

• format_list_bulleted Review Papers/AI Overview
• · 2025. 7. 19.
• textsms

[논문리뷰] Attention Is All You Need (2017) + 트랜스포머 논문을 읽고 싶은 비전공자를 위한 설명

시작하기 전에거의 1년만에 작성하는 논문 리뷰다. 그 동안 논문을 보지 않은건 아니지만, 요즘 LLM을 사용하면서 글 쓰고 읽는 법을 잃어버린 사람이 되어버렸다. 앞으로는 스스로 작문하는 능력도 다시 키우고, 비교적 현대의 주요 논문들을 다시 한번 돌아보려 한다. 그래서 이제부터는 내 방식대로 논문을 리뷰하려고 한다. 배달 앱에 남기는 후기보다는 길고, 다른 리뷰 블로그들보다는 가벼울 것이다. 대신, 작문 과정에서 AI는 최대한 배제하고 내 생각을 담아보려고 한다. 인공지능을 전공하고, 연구 인턴도 했지만 내 본업은 인공지능 연구나 개발과는 거리가 있기 때문에 글은 자주 올라오진 않을 것 같다. (주말 내내 틈틈히 이 글을 적느라 너무 힘들었다) 아무튼 새로운 마음가짐을 한 기념으로 현대 최고의 논문 ..

• format_list_bulleted Review Papers/AI Overview
• · 2025. 6. 29.
• textsms

[제안서 리뷰] A proposal for the DARTMOUTH summer research project on Artificial Intelligence

세 번째 글은 논문은 아니고, 최초로 Artificial Intelligence 라는 용어를 공식적으로 사용한 제안서를 리뷰하려고 한다. 다트머스 대학교에서 여러 기관과 협동해서 여름에 인공지능 연구를 진행할건데 록펠러 재단에 연구비를 지원해 줄 수 있냐는 제안을 하는 내용이다. 제안서 이름 : A proposal for the Dartmouth summer research project on Artificial Intelligence 발행 년도 : 1955저자 : J. McCarthy, M. L. Minsky, N. Rochester, C.E. Shannon 제안 배경과 목적1956년 여름 계절학기 동안, 다트머스 대학교에서 Artificial Intelligence의 가능성을 탐구하기 위한 연구를 ..

• format_list_bulleted Review Papers/AI Overview
• · 2024. 9. 29.
• textsms

[논문 리뷰] THE PERCEPTRON: A PROBABILISTIC MODEL FOR INFORMATION STORAGE AND ORGANIZATION IN THE BRAIN(1958)

두 번째 논문 리뷰는 어떤 논문이 좋을까, 고민하던 차에 조금 더 근본적인 논문을 다뤄보기로 했다. The perceptron. 이름부터가 얼마나 근본이 넘치는지... 인공지능의 근간이 되는 퍼셉트론을 처음 고안한 것으로 잘 알려진 이 논문은 Psychological Review라는 심리학 저널에 1958년 게재되었다. (참고로 ACM은 1947년 설립되었고, 저널은 1958년 창간되었다.) 논문 이름 : THE PERCEPTRON: A PROBABILISTIC MODEL FOR INFORMATION STORAGE AND ORGANIZATION IN THE BRAIN발행 년도 : 1958저자 : F. ROSENBLATT  연구 배경과 목적이 논문은 뇌에서 정보 저장과 구성을 하는 방식에서 착안하여 확률론..

• format_list_bulleted Review Papers/AI Overview
• · 2024. 9. 28.
• textsms

[논문 리뷰] Learning representations by back-propagating errors (1986)

블로그를 개설하고 처음으로 리뷰할 논문은 Learning representations by back-propagating errors 으로 결정했다. 개인적으로 수업 시간에 역전파가 잘 이해되지 않았기도 하고, 딥러닝이 한번 더 도약하게 되는 논문이라 생각하기 때문이다.논문 이름 : Learning representations by back-propagating errors 발행 년도 : 1986저자 : David E. Rumelhart*, Geoffrey E. Hintont & Ronald J. Williams*  연구 배경과 목적역전파 알고리즘이 제안되기 이전에는 다층 신경망을 효율적으로 학습시켜 활용할 수 있는 방법이 제한적이었다. 당시에는 Gradient Descent 등 단층 신경망에서 가중치를..

• format_list_bulleted Review Papers/AI Overview
• · 2024. 9. 15.
• textsms