경량화1 경량화: Pruning(가지치기) 기법 Pruning 이란? 모델의 크기를 줄이고 계산량을 감소시키기 위해 불필요한 가중치 혹은 레이어를 제거하는 기법 Why pruning? Traning operations 감소: Pruning을 통해 일부 가중치 또는 연결이 제거되면 연산량이 감소하게 됩니다. 이로 인해 forward 및 backward 연산이 더 빠르게 수행될 수 있습니다. Training memory 감소: 제거된 가중치에 대한 메모리를 절약할 수 있습니다. 이는 GPU 메모리 사용량을 줄이고, 더 큰 배치 크기를 사용하거나 다른 복잡한 모델을 실험할 수 있게 해줍니다. Sparsity로 인한 Inference Acceleration: Pruning에 의해 희소한 모델이 만들어지면, 추론 시에 0에 해당하는 가중치들이 곱셈 연산에서 제.. 2024. 1. 27. 이전 1 다음
