LLMs-learning

0.1B小模型LLM的搭建，学习LLM的建模、预训练以及微调过程。基于DeepSeek-MoE架构的小模型，用于个人学习，从0开始，解释每一条语句。

一些说明：

• 不包含dataset中的预训练数据和分词器训练数据
• 预训练数据集为mobvoi_seq_monkey_general_open_corpus
• 通过该地址访问数据集：https://github.com/mobvoi/seq-monkey-data/blob/main/docs/pretrain_open_corpus.md