微调一个模型需要多少GPU显存？

补充几点：

1. 视频中提到的activation等部分也会占据显存，但由于涉及到太细节的技术名词，所以视频中暂时忽略。 
2. 对于Optimizer States，这里的变量也很多比如Adam, AdamW，SGD，以及不同的精度等。
3. 1GB等于10的9次方Byte, 一个Byte等于8bit, 这是计算机基本的表示方法。
4. 整体来说，视频中的预估是比较粗略的估计，只是给大家一个借鉴，如果想更详细预估，就需要了解背后的一定原理。

视频里提到的参考资料：

1. 视频末尾推荐的用于估算GPU的文章： LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs
2. QLoRA：Efficient Finetuning of Quantized LLMs
3. LoRA: Low-Rank Adaptation of Large Language Models