본문 바로가기

전체 글71

[ML/Data] Data Recipes for Reasoning Models TitleData Recipes for Reasoning ModelsLinkshttps://arxiv.org/abs/2506.04178Summary이 논문은 추론 능력을 갖춘 모델을 위한 SFT(Supervised Fine-Tuning) 데이터셋 구성 과정을 체계적으로 분석하고, 데이터 품질에 대한 기존의 통념을 재검토하고자 한다. 최근 수학, 코딩, 과학 등 고차원 추론을 요하는 분야에서 강력한 성능을 보이는 모델들은 보통 강력한 베이스 모델 위에, SFT나 RL(Reinforcement Learning) 등 후처리 학습(post-training) 단계를 거쳐 추론 능력을 부여받는다. 이 과정을 통해 모델은 “생각의 흐름(thinking tokens)“을 생성하며 답을 유도할 수 있게 된다.논문은 특히.. 2025. 6. 25.
[ML/LLM] Gemini Embedding: Generalizable Embeddings from Gemini TitleGemini Embedding: Generalizeable Embeddings from GeminiLinkshttps://arxiv.org/abs/2503.07891SummaryLLM을 활용한 임베딩 생성 방법론을 다룸 (representation learning)작은 encoder 모델을 Gemini의 transformer layer로 초기화하여 추가 학습을 진행.추가 학습은 pre-finetuning과 finetuning 의 두 단계로 진행.최종 모델은 generalizeability를 위해 여러 checkpoint를 합쳐서 (e.g., mean pooling) 생성 (a.k.a., model soup) 2025. 6. 25.
[ML/LLM] Learning Dynamics of LLM Finetuning TitleLearning Dynamics of LLM Finetuning (ICLR 2025 outstanding paper)Linkshttps://arxiv.org/abs/2407.10490https://www.youtube.com/watch?v=OMTGbPPCaQgSummary이 페이퍼는 LLM (Large Language Model) 파인튜닝의 동작 메커니즘을 모델의 예측 변화 (decomposition) 을 통해 분석하려는 시도를 다룹니다."After an GD update on x_i, how does the model's prediction on x_i change?"LLM 파인튜닝의 이해를 위한 접근문제 제기특정 샘플 x_i에 대해 GD(Gradient Descent) 업데이트를 수행한 후,.. 2025. 6. 25.
[ML] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts (MMoE) TitleModeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-ExpertsLinkshttps://dl.acm.org/doi/10.1145/3219819.3220007Summary한눈에 보는 멀티태스크 학습과 MMoE (Multi-gate Mixture-of-Experts)최근 인공지능 시스템은 하나의 모델로 여러 작업(태스크)을 동시에 처리하는 멀티태스크 학습 방법에 많은 관심이 쏠리고 있습니다. 예를 들어, 영화 추천 시스템에서는 사용자가 영화를 구매할지, 시청할지, 또는 좋아요를 누를지 같은 여러 목표를 한 모델로 예측할 수 있습니다. 그런데 이렇게 여러 작업을 함께 학습할 때 서로 다른 작업 간에 충돌이 일어나거.. 2025. 2. 22.
[LLM/NLP] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs viaReinforcement Learning TitleDeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningLinkshttps://arxiv.org/abs/2501.12948https://huggingface.co/deepseek-ai/DeepSeek-R1https://github.com/deepseek-ai/DeepSeek-R1Summary1. DeepSeek-R1 개요DeepSeek-R1은 범용 대규모 언어 모델을 오픈소스로 구현하고, 이를 효과적으로 학습·배포할 수 있는 새로운 접근 방식을 제안하는 연구입니다. 전 세계 다양한 데이터셋을 ‘글로벌 디스패칭(Global Dispatching)’이라는 독특한 전략으로 수집·전처리하여, 고품질 언어 표현 능.. 2025. 2. 9.
[AD] Deep Learning Recommendation Model for Personalization and Recommendation Systems TitleDeep Learning Recommendation Model for Personalization and Recommendation SystemsLinkshttps://arxiv.org/abs/1906.00091Summary1. 왜 딥러닝 추천 모델(DLRM)이 중요한가?개인화된 광고의 성장과 대규모 데이터인터넷 사용 시간이 증가함에 따라, 대규모 유저 데이터를 바탕으로 한 개인화 광고의 가치가 커지고 있습니다.유저가 남긴 수많은 클릭 로그, 관심사 태그, 시간대, 디바이스 정보 등은 방대한 피처(Feature) 공간을 형성하게 됩니다.추천 시스템은 이러한 이질적인 피처들을 동시에 학습하여, 정확도 높은 광고 추천을 실현해야 합니다.기존 추천 모델의 한계전통적인 콜라보레이티브 필터링(Collab.. 2025. 2. 9.
오픈AI ChatGPT 버전 비교: o1, o3-mini, o3-mini-high 특징과 활용 1. ChatGPT o1, o3-mini, o3-mini-high 간단 소개OpenAI가 선보인 ChatGPT 시리즈는 꾸준한 업데이트와 개선을 통해 자연어 처리(NLP)와 논리적 추론(Reasoning) 역량을 점차 확장해 왔습니다. 최근 공개된 o3-mini와 o3-mini-high는 코딩, 수학, 논리 문제 해결과 같은 기술적인 작업에 특화된 모델로 주목받고 있습니다.왜 이 모델들이 중요한가?o1: 전반적인 지식과 추론 능력이 뛰어나며, 비즈니스, 법률, 프로젝트 관리 등 폭넓은 응용 분야를 커버.o3-mini: 코딩, 수학, 과학 분야에서 탁월한 속도 및 정확도를 제공하며, 무료 사용자도 사용 가능.o3-mini-high: 고급 코딩과 복잡한 수학 문제 해결에 더욱 최적화된 모델로, 유료(Plus.. 2025. 2. 9.
[LLM/NLP] Banishing LLM Hallucinations Requires RethinkingGeneralization TitleBanishing LLM Hallucinations Requires Rethinking GeneralizationLinksarxivhttps://www.lamini.ai/Summary이 연구는 LLM의 일반적인 hallucination problem (사실과 다른 내용을 그럴듯해 보이게 생성해내는 문제) 에 관하여 어떻게 해결할 수 있을지에 대한 방법 및 새로운 모델 구조를 제안한다. 좀 더 구체적으로 답을 구하는 문제들은,What causes hallucinations?Are there other architectures with low generalization error and low hallucinations?Are they computationally feasible?일반적으로 LLM은.. 2024. 7. 8.
[LLM/NLP] A Thorough Examination of Decoding Methods in the Era of LLMs TitleA Thorough Examination of Decoding Methods in the Era of LLMsLinksarxiv A Thorough Examination of Decoding Methods in the Era of LLMsDecoding methods play an indispensable role in converting language models from next-token predictors into practical task solvers. Prior research on decoding methods, primarily focusing on task-specific models, may not extend to the current era of general-parxi.. 2024. 7. 7.

티스토리툴바