LoRA 学习笔记
整理 LoRA 的低秩适配原理、训练与推理流程、常见插入位置、核心超参数,以及 QLoRA、AdaLoRA、DoRA 等变体。
整理 LoRA 的低秩适配原理、训练与推理流程、常见插入位置、核心超参数,以及 QLoRA、AdaLoRA、DoRA 等变体。
阅读一次真实 Codex Desktop 会话 JSONL,按模型上下文线和 Runtime 事件线理解 Agent Loop 的运行细节。
从 AI Agent 的基本组成、ReAct 和 Codex Agent Loop 入手,整理我对 Agent 运行机制的阶段性理解。
记录 page-annotator 的想法、标注交互设计和模型测试过程。
从 GGUF 文件结构、内存映射、张量卸载和量化格式入手,整理本地大模型文件与推理优化的基础概念。
记录一次拔智齿和校医院报销体验。
基于 llama2.c 的 run.c 源码注释,梳理 Decoder-only Transformer 的推理流程、RoPE、Attention、FFN、采样和 BPE。
很久之前就想弄博客,现在把这里重新整理起来,继续记录技术和生活。
没有找到匹配的文章。