논문 리뷰

nlp 논문 리뷰 예정 리스트Fig. Language Model의 발전 과정   * RNN 계열의 Model들 : 고정된 크기의 context vector 사용 / 단어의 순서를 학습 1. RNN : Recurrent neural network based language model (2010) (처음 등장은 1986)2. LSTM : Long Short Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling (2014) (처음 등장은 1997)3. GRU :  Learning Phrase Representation using RNN Encoder-Decoder for Stistical Machine Trans..

NC소프트에 근무하며, 거진 모든 기간을 할애한 프로젝트 방법론에 대한 논문 포스팅이다. 논문 링크: https://arxiv.org/abs/2201.11903 Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsWe explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the ability of large language models to perform complex reasoning. In particular, we show how such reasoning abilities emerg..

**SKT, AIfellowship 사전과제 준비용**최근 GPT-4와 PaLM, Claude, LLaMA 등과 같은 대형 생성 모델(LLM)은 범용적인 목적에 맞게, 매우 큰 모델 사이즈와 매우 방대한 양의 데이터로 사전 학습을 진행합니다. 이를 통해서 매우 다양한 도메인의 지식을 넓고 깊게 습득할 수 있게 되죠. 하지만, 사전 학습에서 사용하는 데이터에는 욕설이나 편향적 발언, 부정확한 정보를 담은 문서 등 부적절한 데이터도 다수 포함되어 있습니다. 물론 정제 및 필터링 과정을 통해 상당수의 부적절한 데이터를 학습 데이터에서 제거하지만, 사람이 봤을 때 적절하지 않은 데이터를 전부를 없애기는 어렵습니다. 그래서, 사전학습 모델은 문맥에 따라 욕설이 포함되거나 선정적인 문장, 자연스럽지 않고 이상한 문..