如题,研二狗一枚,之前一直在用Keras做毕设的简单CNN分类,现在要开始接触Transformer和扩散模型了,感觉Keras越来越难调,想换个主流框架深入学。翻了半天教程,发现PyTorch和TensorFlow都有死忠粉,一个说动态图Debug方便,另一个说TF配合TF Serving部署工业界无敌。我目前主要做图像生成方向,偶尔也要跑跑GPT之类的文本模型,实验室的服务器是A100,但师兄们好像都默认用PyTorch。想问下各位大佬,2024年了还有必要纠结这个吗?还是直接无脑上PyTorch?另外有没有推荐的适合新手的Transformer实践项目?提前谢谢了!
楼主
18天前
深度学习框架选择困难症发作:PyTorch还是TensorFlow,到底该梭哈哪个?
请 登录 后发表回复
全部回复
共 43 条
2楼
2天前
实验室同门都默认PyTorch,你跟着大部队走准没错,图像生成这边生态也全。
PyTorch没跑了,HuggingFace都默认它,做生成模型省心一大截。
3楼
2天前
看到你说师兄们默认PyTorch,这基本就是答案了,科研圈子里生态太重要了,尤其你还要跑扩散模型和Transformer,PyTorch这边HuggingFace和一堆最新论文的官方实现都是现成的,直接clone下来就能改,省下的时间够你多跑好几轮实验了。TensorFlow的Keras虽然上手快,但真到了要动自定义训练循环或者改模型内部结构的时候,那个别扭劲儿谁用谁知道,而且现在TF的新版本也一直在学PyTorch的动态图风格,说明方向已经很明显了。部署那块确实TF Serving很强,但你现在是研究生阶段,又不是去工业界落地项目,先保证能快速产出论文才是正事,真等到需要上线了再学转换也不迟。另外你提到A100,这卡配PyTorch的分布式训练简直不要太顺手,师兄们踩过的坑都帮你填平了,别自己再开一条路去折腾。实践项目的话,建议直接去HuggingFace上找diffusers库的官方教程,里面从DDPM到Stable Diffusion都有一步步的notebook,配合你现有的CNN基础,两周就能跑通一个文生图的小项目,顺便把注意力机制吃透。最后提醒一句,别在框架选择上花太多时间做比较了,这玩意儿跟选对象一样,条件再好不如相处舒服,PyTorch的调试体验和社区氛围会让你后面写代码心情好很多。
4楼
4小时前
PyTorch吧,A100+图像生成这组合,生态和教程都齐了,别在框架上耗时间了。