Ginawang praktikal ng LoRA ang fine-tuning ng malalaking model sa ordinaryong hardware sa pamamagitan ng pag-train ng maliit na pagwawasto sa halip na ng buong model.
Paano ito gumagana
Napansin nina Hu at mga kasama na ang pagbabagong ginagawa ng fine-tuning sa isang weight matrix ay kadalasang may mababang rank. Kaya pinananatiling frozen ng LoRA ang orihinal na matrix na W₀ at natututunan ang pagbabago bilang product ng dalawang manipis na matrix:
W = W₀ + BA, kung saan d × r ang B, r × k ang A, at mas maliit nang husto ang r kaysa sa d o k.
Nagsisimula sa zero ang B, kaya nagsisimula ang training mula sa hindi binagong model. Kadalasang in-apply ng paper ang LoRA sa attention query at value projection.
Madaling kuwentahin ang natitipid na parameter. Para sa isang 4,096 × 4,096 na matrix:
| Parameter | |
|---|---|
| Full update | 4,096 × 4,096 = 16,777,216 |
| LoRA, r = 8 | 8 × (4,096 + 4,096) = 65,536 |
Mga 0.4% iyon ng buong bilang. Sa GPT-3 175B, iniuulat ng paper ang 10,000 beses na mas kaunting trainable parameter, 3× na bawas sa GPU memory, at pagliit ng checkpoint mula mga 350 GB hanggang mga 35 MB.
Bakit ito mahalaga
- Mas murang training. Mas kaunting trainable weight, mas kaunting memory para sa optimiser state. Kapag isinabay sa quantization ng frozen na base, nagkakasya ang mas malalaking model sa mas maliliit na GPU.
- Walang dagdag na latency. Binabanggit ng PEFT guide ng Hugging Face na puwedeng i-merge ang mga adapter gamit ang
merge_and_unload(), kaya kapareho ng base model ang gastos sa pag-serve. - Maraming task, iisang base. Dahil nananatiling frozen ang base, puwede kang mag-ingat ng iisang kopya ng isang open-weight model at magpalit ng maliliit na adapter kada customer o task.
- Mga limitasyon. Mahusay ang LoRA sa pagbabago ng kilos at istilo. Fine-tuning pa rin ito, kaya kailangan nito ng magandang data at isang eval.
Sa BroadNet Inference
Hindi idinodokumento ng API reference ng BroadNet ang LoRA, pag-upload ng adapter o pagpili ng adapter kada request. Tumatawag ka sa mga fixed na model ID gaya ng broadnet/qwen3.8-27b. Available kapag hiniling ang mga private endpoint at ang mga Arabic fine-tune ng BroadNet, pero hindi sinasabi ng docs kung paano tine-train ang mga ito. Kung balak mong mag-train ng sariling adapter, ikumpara iyon sa presyo ng API gamit ang post tungkol sa self-hosting vs API, at kung pareho mong pinapatakbo, kayang magpadala ng traffic sa alinman ang isang router gaya ng LiteLLM.