LoRA 学习笔记

整理 LoRA 的低秩适配原理、训练与推理流程、常见插入位置、核心超参数,以及 QLoRA、AdaLoRA、DoRA 等变体。

June 18, 2026 · 3 min · 浏览 --

今天写了一个skill

记录 page-annotator 的想法、标注交互设计和模型测试过程。

January 31, 2026 · 1 min · 浏览 --

GGUF与量化

从 GGUF 文件结构、内存映射、张量卸载和量化格式入手,整理本地大模型文件与推理优化的基础概念。

January 30, 2026 · 3 min · 浏览 --

Transformer 学习记录

基于 llama2.c 的 run.c 源码注释,梳理 Decoder-only Transformer 的推理流程、RoPE、Attention、FFN、采样和 BPE。

January 28, 2026 · 15 min · 浏览 --