如何去打断点调试SFT, DPO流程

[ReycoLi]

大佬你好,
我觉得所有LLM入门的人都会有的问题, 就是如何去在vscode里面打断点调试SFT和DPO的流程
我整了一整天也没搞通, 所以特来求助.

首先是llamafactory-cli这个命令, 我看setup.py里面是运行的llamafactory.cli:main, 所以我就直接从这个cli.py文件的main函数开始
但是一直得到相对路径解析错误, 所有使用.进行的导入都会报错.

所以我想知道有没有一个简易的debug教程或者流程, 对新手来说很有帮助.

如果问题过于新手, 还请谅解.

[flyinghu123]

llamafactory-cli对应setup.py中的llamafactory.cli:main

在查看llamafactory.cli:main

可以看到实际上运行是的torchrun，因此调试torchrun就行
例如在vscode中launch.json可以修改如下

和py脚本调试不同的是将program修改为module

[ReycoLi]

@flyinghu123 感谢你这么快的回复! 受教了!

不介意的话, 还想请问下, 那如果是APi(也就是run_api()), 不是train的话, module这块应该怎么去设置呢? torch run写成module: torch.distributed.run这个是怎么来的, 以后具体的module该怎么设置

[flyinghu123]

这个没有用到subprocess，那你就和普通py脚本调试应该就行，你可以新建一个debug.py然后输入下面内容

然后就在launch.json program中填debug.py然后调试debug.py文件就行

[ReycoLi]

@flyinghu123 感谢你的帮助!

[YunweiDai]

想问下用llamafactory-cli启动的话是不是改源码就没用了，我试着改了下src/llamafactory/train/tuner.py，发现没有任何变化，加个print都不行

[hiyouga]

@YunweiDai pip install -e .

[w-zhih]

llamafactory-cli对应setup.py中的llamafactory.cli:main 在查看llamafactory.cli:main 可以看到实际上运行是的torchrun，因此调试torchrun就行 例如在vscode中launch.json可以修改如下 和py脚本调试不同的是将program修改为module

请问当我需要使用deepspeed时，按照这个脚本运行它只会加载模型，不会使用deepspeed，是什么原因呢？我需要怎么做才可以像直接运行命令行那样使用deepspeed？

[flyinghu123]

llamafactory-cli对应setup.py中的llamafactory.cli:main 在查看llamafactory.cli:main 可以看到实际上运行是的torchrun，因此调试torchrun就行 例如在vscode中launch.json可以修改如下 和py脚本调试不同的是将program修改为module

请问当我需要使用deepspeed时，按照这个脚本运行它只会加载模型，不会使用deepspeed，是什么原因呢？我需要怎么做才可以像直接运行命令行那样使用deepspeed？

不理解你什么意思，如果你是指不使用torchrun，而是使用deepspeed启动，你可以尝试将launch.json中的program改成deepspeed程序位置(which deepspeed)

[verigle]

在transformers 中的断点不生效如何解决呢？

[flyinghu123]

在transformers 中的断点不生效如何解决呢？

launch.json中justMyCode: false

[karenzimeng]

想问下用llamafactory-cli启动的话是不是改源码就没用了，我试着改了下src/llamafactory/train/tuner.py，发现没有任何变化，加个print都不行

我好像也遇到这个问题，要怎么解决呢？

[zhicong01]

各位大佬，想请教一下，假如我希望使用pycharm调试以下指令：
llamafactory-cli train "xx.yaml"
该怎么调试呢，非常感谢！！

[JH95-ai]

@zhicong01 你好 ，我也想用pycharm远程调试，请问你解决了么