预训练演示台
PRETRAIN LAB
CLOUDFLARE PAGES · 单文件静态站

从 loss 曲线到 Chinchilla 配比,
再一键拿到能跑的预训练代码

把"该用多大模型、喂多少 token、loss 会掉成什么样、数据从哪下、代码怎么写"这五件事放在一个页面里。所有数字随滑块实时联动,代码可直接复制到 HuggingFace / Colab / Kaggle / AI Studio 跑。

模型参数(非嵌入)
402.7M
24 层 · d_model 1024 · 16 头
每步 token
32.8k
8×8×512×1GPU
训练 token 总量
4.00 B
D/N = 9.9 · 偏欠训练
总算力
1.05e19
6 · N · D(FLOPs)
00

硬件与超参:先定卡,再定模型

显卡型号、卡数、并行方式、卡间互联都在这里定。下面的 tokens/step、总步数、loss 曲线、显存与生成的训练脚本全部由这块推导,改一个数字全页联动。

模型与训练超参
d_model(head_dim 固定 64)1024
参数量(含 embed)
435.4M
每卡权重+优化器
6.1 GB
tokens / step
32.8k
总步数
122,070
D / N
9.9
总算力
1.05e19
预计训练时长
—
卡间带宽
—
01

损失曲线:loss 随 step 的下降规律

横轴是训练步数,纵轴是交叉熵(nats/token)。纵轴裁到地板线附近,初始化瞬态(起点 loss≈10.4)在画面外。曲线由 Chinchilla 拟合式推算,step 与 token 的换算用的是你在 00 节调出来的卡数 / batch / seq 配置,所以拖动滑块曲线形状会跟着变。

N 402.7M tokens/step 32.8k 总步数 122,070
公式推算曲线 不可约损失 E + A/N0.34 20×N token 位置 你载入的 loss.csv
把训练跑出来的 loss.csv 拖进来(列名 step / loss),或点击选择文件 → 叠加真实曲线
  • 陡降 → 幂律 → 封顶。前 1% 步是初始化瞬态(起点约 ln(V)≈10.4),之后按 D^-0.28 衰减,最后贴近该规模的数据地板线。
  • 地板线 = E + A/N0.34。再训也降不下去;想更低只能换更大模型或更干净的数据。
  • 掉得慢通常不是 lr 问题,而是 token 没到 20×N。看 02 节的 D/N 判定,再决定加步数还是缩模型。
  • 改 batch 只改横轴刻度:每步吃更多 token,曲线整体左移、步数变少,最终 loss 不变(lr 跟得上时)。
02

Chinchilla:参数量、token 与算力的配比规律

经验拟合式:给定参数量 N 与训练 token 数 D,损失可直接算出来。Chinchilla 的核心结论是"参数量翻倍,token 数也该翻倍",即 D ≈ 20N;很多模型其实是被训练数据饿着的。

L(N, D) = E + A / N0.34 + B / D0.28
E 1.69A 406.4B 410.7 α 0.34β 0.28
Hoffmann et al., 2022(Chinchilla)的拟合参数;C ≈ 6ND,故算力最优解 N* ≈ √(C/120)、D* = 20N*。
L(N, 20N):最优配比下的损失 当前 N
最优 token D* = 20N
8.1B
对应算力 C* ≈ 120N²
1.9e19
预测损失 L*
2.86
每参数 token
20
参考刻度:9.85 ≈ Llama-2 7B,10.85 ≈ Llama-2 70B,11.24 ≈ GPT-3 175B。
固定算力 C 下,改变模型大小的损失 U 型最低点 N*
最优参数量 N*
2.9B
最优 token D*
57.7B
该预算最低损失
2.34
≈ 单卡 A100 天数
77.2
按 A100 实测算力约 150 TFLOP/s 估算,仅供量级参考。
算力预算 CN*D*预测 L*A100 天数
点任意一行套用该预算。注意 20N 是"算力最优",不是"推理最优":推理量大时故意 over-train(LLaMA-7B 用了约 1T token,约 7× 最优)。
03

数据集:Wikipedia / C4 在 ModelScope 与 HuggingFace 的下载地址

两个都给了:国内直连优先 ModelScope,海外/CI 环境用 HuggingFace。命令按"只拉英文子集"写,避免整仓几百 GB 一把梭。

Wikipedia(en)CC BY-SA≈17 GB

20231101 英文快照,约 640 万条目、41 个 parquet 分片。文本干净、重复少,是小模型预训练最省心的起点。

ModelScopeAI-ModelScope/wikipedia
modelscope download --dataset AI-ModelScope/wikipedia \
  --include "20231101.en/*" --local_dir ./data/wiki
HuggingFacewikimedia/wikipedia
export HF_ENDPOINT=https://hf-mirror.com   # 国内加速
hf download wikimedia/wikipedia --repo-type dataset \
  --include "20231101.en/*" --local-dir ./data/wiki
Python:load_dataset("wikimedia/wikipedia","20231101.en",streaming=True)(MS 侧换成 MsDataset.load("AI-ModelScope/wikipedia",subset_name="20231101.en"))

C4(en)ODC-BY≈305 GB

Common Crawl 清洗版,1024 个 json.gz 分片,有 en / en.noblocklist / en.noclean 三个版本。比 wiki 脏但覆盖广,常见做法是 C4 : wiki ≈ 10 : 1 混着用。

ModelScopeallenai/c4
modelscope download --dataset allenai/c4 \
  --include "en/c4-train.*" --local_dir ./data/c4
HuggingFaceallenai/c4
export HF_ENDPOINT=https://hf-mirror.com
hf download allenai/c4 --repo-type dataset \
  --include "en/c4-train.*" --local-dir ./data/c4
!ModelScope 上的 AI-ModelScope/c4 只有 README、没有数据文件,别下错;要下 allenai/c4。
预处理 原始 parquet / json.gz → uint16 .bin + 32k BPE
# 预处理脚本(parquet / json.gz → uint16 .bin + 32k BPE)由浏览器本地加载;
# 若本区域在脚本启用后仍为空,请刷新页面查看。完整命令见上方两个数据集卡片。
训练脚本只吃 .bin(uint16 token 流)和 meta.json(vocab_size),不碰原始 parquet,所以预处理只做一次。想换数据集就换 --src 目录。
04

胶水代码:滑滑块,出可跑的训练脚本

同一份核心脚本(RMSNorm + RoPE + SwiGLU + tied embedding + SDPA,AMP + 梯度累积 + 梯度检查点 + 余弦退火 + 断点续训),只按平台改路径与启动命令。超参在 00 节调,这里的代码与注释实时跟着变。

train.py
# 训练脚本由 00 节的硬件与超参实时生成(RMSNorm + RoPE + SwiGLU + tied embedding + SDPA)。
# 若本区域在脚本启用后仍为空,请刷新页面;四平台版本可通过上方标签切换。
05

部署到 Cloudflare Pages

整站就是一个 index.html,没有构建、没有后端、没有外部 CDN 依赖。免费额度足够,改完重新上传即生效。

01
直接上传(最省事)
Cloudflare 控制台 → Workers & Pages → Create → Pages → Upload assets,把整个文件夹拖进去,项目名随意。
02
用 wrangler 命令行
本机装一次 wrangler,在文件夹里执行下面这条,之后每次改完重跑即可。
03
接 Git 自动部署
把文件推到一个 GitHub 仓库,Pages 里连仓库,Build command 留空、Output directory 填 /。
npx wrangler pages deploy . --project-name pretrain-lab
i页面是纯静态 + Canvas 绘制,不需要 API。曲线与 Chinchilla 数字全部在浏览器本地算,打开离线也能用;只有"数据集下载命令"需要你自己在终端执行。