把"该用多大模型、喂多少 token、loss 会掉成什么样、数据从哪下、代码怎么写"这五件事放在一个页面里。所有数字随滑块实时联动,代码可直接复制到 HuggingFace / Colab / Kaggle / AI Studio 跑。
显卡型号、卡数、并行方式、卡间互联都在这里定。下面的 tokens/step、总步数、loss 曲线、显存与生成的训练脚本全部由这块推导,改一个数字全页联动。
横轴是训练步数,纵轴是交叉熵(nats/token)。纵轴裁到地板线附近,初始化瞬态(起点 loss≈10.4)在画面外。曲线由 Chinchilla 拟合式推算,step 与 token 的换算用的是你在 00 节调出来的卡数 / batch / seq 配置,所以拖动滑块曲线形状会跟着变。
D^-0.28 衰减,最后贴近该规模的数据地板线。经验拟合式:给定参数量 N 与训练 token 数 D,损失可直接算出来。Chinchilla 的核心结论是"参数量翻倍,token 数也该翻倍",即 D ≈ 20N;很多模型其实是被训练数据饿着的。
| 算力预算 C | N* | D* | 预测 L* | A100 天数 |
|---|
两个都给了:国内直连优先 ModelScope,海外/CI 环境用 HuggingFace。命令按"只拉英文子集"写,避免整仓几百 GB 一把梭。
20231101 英文快照,约 640 万条目、41 个 parquet 分片。文本干净、重复少,是小模型预训练最省心的起点。
modelscope download --dataset AI-ModelScope/wikipedia \ --include "20231101.en/*" --local_dir ./data/wiki
export HF_ENDPOINT=https://hf-mirror.com # 国内加速 hf download wikimedia/wikipedia --repo-type dataset \ --include "20231101.en/*" --local-dir ./data/wiki
load_dataset("wikimedia/wikipedia","20231101.en",streaming=True)(MS 侧换成 MsDataset.load("AI-ModelScope/wikipedia",subset_name="20231101.en"))Common Crawl 清洗版,1024 个 json.gz 分片,有 en / en.noblocklist / en.noclean 三个版本。比 wiki 脏但覆盖广,常见做法是 C4 : wiki ≈ 10 : 1 混着用。
modelscope download --dataset allenai/c4 \ --include "en/c4-train.*" --local_dir ./data/c4
export HF_ENDPOINT=https://hf-mirror.com hf download allenai/c4 --repo-type dataset \ --include "en/c4-train.*" --local-dir ./data/c4
# 预处理脚本(parquet / json.gz → uint16 .bin + 32k BPE)由浏览器本地加载; # 若本区域在脚本启用后仍为空,请刷新页面查看。完整命令见上方两个数据集卡片。
同一份核心脚本(RMSNorm + RoPE + SwiGLU + tied embedding + SDPA,AMP + 梯度累积 + 梯度检查点 + 余弦退火 + 断点续训),只按平台改路径与启动命令。超参在 00 节调,这里的代码与注释实时跟着变。
# 训练脚本由 00 节的硬件与超参实时生成(RMSNorm + RoPE + SwiGLU + tied embedding + SDPA)。 # 若本区域在脚本启用后仍为空,请刷新页面;四平台版本可通过上方标签切换。
整站就是一个 index.html,没有构建、没有后端、没有外部 CDN 依赖。免费额度足够,改完重新上传即生效。
/。npx wrangler pages deploy . --project-name pretrain-lab