본문 바로가기

Research Review

 (7)
[LLM] HyperCLOVA X Technical Report 📌 Abstracttrained on a balanced mix of Korean, English, and code data, followed by instruction-tuning with high-quality human-annotated datasets종합적인 추론, 지식, 상식, 사실성, 코딩, 수학, 채팅, 지도 따라하기, 무해성 등 다양한 벤치마크를 통해 한국어와 영어 모두에서 평가됨  📌 Detailsconsists of two sizes: a larger model, HCX-L, and a smaller model, HCX-S Evaluationopen-ended question-answering approach 모델에게 자유 형식의 답변을 생성하도록 요청하고 예측된 답변이 실측 답변과..
[LLM] A Comprehensive Analysis of the Effectiveness of Large Language Models as Automatic Dialogue Evaluators 📌 Abstract자동 대화 평가를 위한 LLM 적용에 대한 종합적인 연구를 수행12개의 메타 평가 데이터셋을 사용하여 턴 및 대화 수준에서 최근 등장한 30개의 LLM의 다차원 평가 기능 분석모델 수준 및 차원 수준 앙상블이 평가 성능에 어떤 영향을 미치는지 탐구  📌 Ensemble AnalysisDimension-Wise EnsembleTulu13B, Chimera-inst-chat-13B, Baize-v2-13B, WizardLM13B-V1.2, Palm-2 Bison, and ChatGPT앙상블 접근법은 일반적으로 인간의 전반적인 판단과 강한 상관관계를 산출대화 수준에서 Chimera-inst-chat-13B 및 Baize-v2-13B, 앙상블 접근 방식은 직접 프롬프트보다 10% 이상의 이..
[LLM] LLMEval: A Preliminary Study on How to Evaluate Large Language Models 📌 Design정확성답변의 정확성을 판단하고, 제공된 정보의 정확성과 신뢰성을 검증하는 것을 목표로 함유창성정답이 자연어 규칙을 따르는지 여부를 조사하는 것을 포함고품질 응답은 해석을 방해할 수 있는 복잡하거나 모호한 문장에서 벗어나 쉽게 이해할 수 있어야함정보성답변은 충분하고 의미 있는 정보를 제공 양질의 답변은 질문자에게 유용하고 관련된 정보를 제공할 수 있어야 함논리적 일관성대답은 논리적으로 엄격하고 정확하며, 제시된 관점과 주장의 합리성을 결정수준 높은 대답은 논리적 원리를 준수해야 하며, 명확한 추론과 일관성을 입증해야 함무해성답변은 윤리적 기준을 준수하도록 보장하면서 비윤리적인 정보를 포함하는 것을 자제고품질의 답변은 유해하거나 비윤리적인 정보의 유포를 방지하면서 윤리적 원칙을 준수해야 함s..
[MultiModal] DDPM: Denoising Diffusion Probabilistic Models Diffusion modelnoise를 더해가거나 noise로부터 복원해가는 과정을 통해 data를 generate하는 모델 Diffusion기존 데이터인 이미지에서 가우시안 노이즈를 점진적으로 가하는 절차가우시안 노이즈가 점차 확산되면서 전체 이미지의 분포는 가우시안 분포와 가까워짐 Denoising노이즈 이미지를 기존 이미지로 복원이 Denoising 절차에서 기존 생성 모델들의 목적과 같이 Likelihood를 최대로 하는 것   💡DDPM = Diffusion Process (Forward) + Denoising Process (Reverse)Diffusion → 사전 정의하는 것, Denoising → 학습해야 하는 것  📌 Markov Chain Markov Chain: Markov 성질을..
[MultiModal] Transformer 기존 sequence transduction model → 복잡한 recurrent나 cnn 기반가장 성능이 좋은 모델 → attention mechanism으로 인코더와 디코더를 연결한 구조 Recurrent model → parallelization이 불가능해 longer sequence length에서 치명적임최근 factorization trick과 conditional computation을 통해 계산 효율성 개선특히 conditional computation은 모델 성능도 동시에 개선그러나 여전히 근본적인 sequential computation의 문제는 남아있음Attention mechanism → 다양한 분야의 sequence modeling과 transduction model에서 주요At..
[MultiModal] VAE: Auto-Encoding Variational Bayes 💡 GAN과의 다른 점 : input이 noise vector가 아닌, 이미지   📌 AutoEncoder저차원의 representation z를 원본 x로부터 구하여 스스로 네트워크를 학습하는 방법Unsupervised Learning 방법으로 레이블이 필요 없이 원본 데이터를 레이블로 활용입력 x와 출력 y가 최대한 동일한 값을 가지도록 하는 것이 AE의 목적Encoder: 입력 정보를 압축, Latent Variable 자체를 만드는 역할Decoder: 압축 정보를 복원, Latent Variable로 부터 데이터를 생성하는 데 사용저차원 표현 z는 원본 데이터의 함축적인 의미를 가지도록 학습됨 → 다른 머신 러닝 모델에서 feature라 불리는 것과 같은 의미이며 학습 과정에서 겉으로 드러나지..
[MultiModal] StyleGAN 📍 본 논문에서는 기존의 GAN들과는 다르게 generator architecture에 초점을 맞춘 새로운 네트워크를 제시한다.특히 style-transfer에서 주로 사용되던 AdaIN을 최초로 generator architecture에 도입했다. ProGAN의 아이디어를 가져와 progressive growing training을 함으로써 다른 스케일들에서 이미지의 스타일을 컨트롤할 수 있다.기존 GAN 구조는 필연적으로 entanglement할 수밖에 없음을 다시 확인해주며 disentanglement를 재정의하고, 좋은 latent space란 무엇이고, 이를 어떻게 이해하면 될 지에 대한 답을 제시한다.   StyleGAN → Style-based generator를 사용한 GAN구조gener..

티스토리툴바