程序启动/Megatron-LM/examples/pretrain_gpt_distributed.sh 使用 torchrun 启动多进程 pretrain_gpt.py torchrun预训练pretrain_gpt.py 调用 pretrain 函数进行预训练。 123456if __name__ == "__main__": pretrain(train_...