[논문리뷰] 트랜스포머 응용 - GPT (Improving Language Understanding by Generative Pre-Training, 2018)

시작하기 전에엄청난 상업적 성공(흑자는 아니지만)을 이룬 chatGPT의 기반 기술이 되는 GPT의 첫 논문이다. 참고로 GPT는 1, 2, 3이 논문으로 공개되어 있지만 개인적으로는 따로 적진 않거나 아마 묶어서 이야기 하지 않을까 싶기도 하다. 트랜스포머 리뷰를 하고 나서 어느정도 로드맵을 생각했는데 우선 트랜스포머를 각기 다른 방식으로 응용한 GPT와 BERT를 리뷰해보고, 그 다음에는 스케일과 도메인을 확장한 ViT(그리고 GPT2도 살짝..), 마지막으로는 새로운 방향인 Gemini Diffusion과 Mamba를 다룰 예정이다. 아마 Gemini Diffusion을 이야기 할 때 background로 diffusion을 다루게 될 듯? 만약 트랜스포머나, 인공지능 모델에 대한 구조적인 이해..

• format_list_bulleted Review Papers/AI Overview
• · 2025. 7. 19.
• textsms

[#02] 2년만의 사이드 프로젝트, AI-Driven은 다르다. (아닐수도 있음)

지난 글을 작성하고 몇 일 지나지 않아서 두 번째 글을 쓰게 되었다. 진행 상태에 맞춰서 회고록 형식으로 작성하려고 했는데, 생각보다 진행 상황이 너무 빠르다. 분명 지금까지 해왔던 사이드프로젝트의 진행 속도와는 확연하게 다름을 체감하고 있다. 특히, 미처 생각하지 못한 부분에 대한 보완이 너무 빠르게 진행된다. 보통 내 스스로 작업을 하면 빠르게 70을 작업하고, 나머지 30을 작업하는데 더 많은 시간을 사용한다. 대부분의 큰 틀이나, 정석적인 내용들은 빠르게 반영하고 내 상황에 맞춰서 커스텀하고 엣지 케이스들을 다루는 것들이 더 많이 들어가기 때문이다. 물론 AI가 제안한 것들을 모든 것을 산출물에 반영하지는 않는다. 일단 AI의 제안은 내 의도를 정확히 담지 못할 뿐더러, 확률에 기반한 '대충..

• format_list_bulleted Etc/side project
• · 2025. 7. 13.
• textsms

[#01] 사이드 프로젝트 시작 + 애드센스 신청 후기

이번에 커서를 결제한 기념으로, 수 년간 미뤄왔던 사이드 프로젝트를 시작하려고 한다. 프론트 개발을 해본적이 없어서 미루고 미뤄왔던 1인 사이드 프로젝트... 올해 안에 릴리즈를 목표로 천천히 진행해보려고 한다. 확정된 테크스택은 아래와 같다. 앞으로 타입스크립트와 친해지기 위해 선정했다. - typescript- Nest.js, Next.js- MariaDB, Redis- Railway, Vercel 최근 구글 애드센스를 신청했다가 반려되었다. 사유는 '가치가 없는 콘텐츠' 라고 하는데, 처음엔 이게 콘텐츠 부족인줄 알았다. 글 4개 쓰고 신청했으니 그러려니 하고 있었는데, 검색해보니 게시글 수가 부족하면 '콘텐츠 부족' 사유로 정책 위반이 뜬다고 한다. 그럼 순수하게 내 리뷰들의 가치가 별로 없다는..

• format_list_bulleted Etc/side project
• · 2025. 7. 12.
• textsms

[논문리뷰] Attention Is All You Need (2017) + 트랜스포머 논문을 읽고 싶은 비전공자를 위한 설명

시작하기 전에거의 1년만에 작성하는 논문 리뷰다. 그 동안 논문을 보지 않은건 아니지만, 요즘 LLM을 사용하면서 글 쓰고 읽는 법을 잃어버린 사람이 되어버렸다. 앞으로는 스스로 작문하는 능력도 다시 키우고, 비교적 현대의 주요 논문들을 다시 한번 돌아보려 한다. 그래서 이제부터는 내 방식대로 논문을 리뷰하려고 한다. 배달 앱에 남기는 후기보다는 길고, 다른 리뷰 블로그들보다는 가벼울 것이다. 대신, 작문 과정에서 AI는 최대한 배제하고 내 생각을 담아보려고 한다. 인공지능을 전공하고, 연구 인턴도 했지만 내 본업은 인공지능 연구나 개발과는 거리가 있기 때문에 글은 자주 올라오진 않을 것 같다. (주말 내내 틈틈히 이 글을 적느라 너무 힘들었다) 아무튼 새로운 마음가짐을 한 기념으로 현대 최고의 논문 ..

• format_list_bulleted Review Papers/AI Overview
• · 2025. 6. 29.
• textsms

[제안서 리뷰] A proposal for the DARTMOUTH summer research project on Artificial Intelligence

세 번째 글은 논문은 아니고, 최초로 Artificial Intelligence 라는 용어를 공식적으로 사용한 제안서를 리뷰하려고 한다. 다트머스 대학교에서 여러 기관과 협동해서 여름에 인공지능 연구를 진행할건데 록펠러 재단에 연구비를 지원해 줄 수 있냐는 제안을 하는 내용이다. 제안서 이름 : A proposal for the Dartmouth summer research project on Artificial Intelligence 발행 년도 : 1955저자 : J. McCarthy, M. L. Minsky, N. Rochester, C.E. Shannon 제안 배경과 목적1956년 여름 계절학기 동안, 다트머스 대학교에서 Artificial Intelligence의 가능성을 탐구하기 위한 연구를 ..

• format_list_bulleted Review Papers/AI Overview
• · 2024. 9. 29.
• textsms

[논문 리뷰] THE PERCEPTRON: A PROBABILISTIC MODEL FOR INFORMATION STORAGE AND ORGANIZATION IN THE BRAIN(1958)

두 번째 논문 리뷰는 어떤 논문이 좋을까, 고민하던 차에 조금 더 근본적인 논문을 다뤄보기로 했다. The perceptron. 이름부터가 얼마나 근본이 넘치는지... 인공지능의 근간이 되는 퍼셉트론을 처음 고안한 것으로 잘 알려진 이 논문은 Psychological Review라는 심리학 저널에 1958년 게재되었다. (참고로 ACM은 1947년 설립되었고, 저널은 1958년 창간되었다.) 논문 이름 : THE PERCEPTRON: A PROBABILISTIC MODEL FOR INFORMATION STORAGE AND ORGANIZATION IN THE BRAIN발행 년도 : 1958저자 : F. ROSENBLATT  연구 배경과 목적이 논문은 뇌에서 정보 저장과 구성을 하는 방식에서 착안하여 확률론..

• format_list_bulleted Review Papers/AI Overview
• · 2024. 9. 28.
• textsms