Machine Learning
-
Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-TuningMachine Learning/Model 2024. 1. 20. 19:42
* [ACL 2021] "INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGE MODEL FINE-TUNING" 논문을 한국어로 번역&정리한 포스트입니다. Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning (2021) Armen Aghajanyan, Luke Zettlemoyer, Sonal Gupta [ 논문 ] Intro LoRA : Low-Rank Adaptation of LargeLanguageModels Pre-trained laguage models & Fine tuning PLM provide the defacto initializati..
-
CrossEntropyLoss vs BCELossMachine Learning/ETC 2022. 11. 1. 23:00
1. Difference in PurposeCrossEntropyLoss는 일반적으로 multi-class classification을 위해 사용되며, binary classifacation도 가능함.BCE(Binary Cross Entropy)는 binary classification에 사용됨.그렇다면 모든 경우에 CrossEntrophyLoss 를 사용하면 안되는걸까? 답은 No (3. 참조) 2. Diffrence in detailed implementationCrossEntropyLoss 가 binary classification으로 사용될때, 2개의 output features을 필요로 한다.Logits=[-2.34, 3.45], Argmax(logits) -> class 1BCELoss가 bi..
-
[KataGo 논문 Review] Accelerating Self-Play in GoMachine Learning/Reinforcement Learning 2022. 4. 28. 00:46
"Accelerating Self-Play in Go" 논문을 한국어로 정리한 포스트입니다. Accelerating Self-Play Learning in Go (2020) a.k.a. KataGo David J. Wu, Jane Street Group. [ 논문 ] [ code ] Abstract AlphaZero의 학습과정과 구조에 몇 가지 향상된 기법을 적용함으로써, Self-play learning을 통한 바둑 AI의 학습 속도를 향상 시켰다. 비교할만한 다른 방법들에 비해 50x 절감된 계산량을 달성하였다. AlphaZero와 그 복제 알고리즘인 ELF OpenGo와 Leela Zero처럼, KataGo는 오직 뉴럴 네트워크에 기반한 몬테 카를로 트리 탐색을 통한 자체 대결(neural-net-..
-
[Review] A ConvNet for the 2020sMachine Learning/Computer Vision 2022. 1. 31. 18:30
* [ArXiv 2022] "A Convnet for the 2020s" 논문을 한국어로 번역&정리한 포스트입니다. A ConvNet for the 2020s (2022) Zhuang Liu, Hanzi Mao Chao-Yuan Wu, Chrsistoph Feichtenhofer, Trevor Darrell, Saining Xie [ 논문 ] [ Code ] Abstract visual recognition의 2020년은 ViT와 함께 시작되어 빠르게 기존의 state-of-the-art였던 ConvNet 기반 모델들을 뛰어넘었습니다. 하지만 ViT는 일반적인 컴퓨터 비전 태스크에 적용하기 힘들다는 어려움에 직면하였는데, 계층 트랜스포머 ( Swin Transformers) 는 ConvNet의 prior..