🧠 Mini-LLM-Core: 大语言模型底层训练框架重构

本项目是一个完全从零构建（From Scratch）的微型大语言模型训练基座。摒弃了直接调用 HuggingFace 等高级封装库的捷径，纯手工实现了从 Byte-level BPE 分词、Transformer 核心算子到底层训练循环的全链路闭环。

项目专注于算法底层原理重现与受限算力下的工程优化，在消费级单卡（RTX 3050）极限显存环境下，成功跑通了涵盖预处理、训练、调参及推理的 End-to-End 完整流水线。

🌟 核心特性与架构 (Core Features)

• NLP 数据前处理与分词引擎
  • 纯手写实现 Byte-level BPE (Byte-Pair Encoding) 训练与推理流。
  • 完整处理特殊字符 (Special Tokens) 映射，支持高并发大语料流式二进制转换 (txt -> bin)，稳定处理 GB 级训练数据。
• 现代大模型主干重构 (Model Architecture)
  • 纯净实现经典 TransformerBlock，支持 Causal Mask 与 Scaled Dot-product Attention。
  • 融入现代 LLM 标配组件：RoPE (旋转位置编码)、SwiGLU 门控激活函数、RMSNorm 归一化层。
• 高鲁棒性训练系统 (Training System)
  • 深度集成 AdamW 优化器配合 Cosine 学习率退火与 Warmup 策略。
  • 包含梯度裁剪机制，打通 Checkpoint 实时落盘与断点续训能力。
  • 接入 Weights & Biases (Wandb) 离线追踪体系，实现训练指标的可视化与云端同步。
• 工程化与显存优化 (Engineering)
  • 针对 RTX 3050 显存瓶颈进行深度适配，完成数据类型兼容修复 (uint16 -> torch tensor)。
  • 编写自动化 Sweep 扫参脚本，支持自动批量调优与极速验证 (Smoke Test)。

📈 实验结果 (Results)

• 收敛验证： 在 5000 step 的正式训练中，Train/Val Loss 均呈现显著且稳定的下降趋势。
• 端到端推理： 成功加载 Checkpoint 进行交互式推理生成，模型已具备输出结构完整、语法通顺的连贯文本能力。

🛠️ 快速启动 (Quick Start)

# 1. 克隆代码与安装依赖
git clone [https://github.com/你的用户名/Mini-LLM-Core.git](https://github.com/你的用户名/Mini-LLM-Core.git)
pip install -r requirements.txt

# 2. 准备二进制语料
python scripts/prepare_data.py

# 3. 启动训练 (自动拉起 Wandb 记录)
python train.py

# 4. 交互式推理测试
python generate.py --checkpoint out/ckpt.pt