请问这是如何加载那么大的数据呢？

[CaesarGo]

看了您的repo很有帮助，但看代码没提及如何加载上百G的数据，并进行训练，我训练每次加载内存就爆了，，

[AI-Study-Han]

代码里面有个数据读取相关的参数可以控制是一次读取所有数据，还是一次读取部分。不过我的内存有1T，没有遇到这个问题。