Sora模型的关键技术论文: Scalable Diffusion Models with Transform，目前引用196次，作者UC伯克利的 William Peebles 与纽约大学的 Saining Xie教授 _ICCV2023，

第一作者：

来自Open AI科学家，也是UC Berkeley的2023年的博士William Peebles，2023年博士毕业时只有2篇第一作者论文见刊：

1. The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement

2. GAN-Supervised Dense Visual Alignment

此外：毕业时还有2篇论文投稿

3. LEARNING TO LEARN WITH GENERATIVE MODELS OF NEURAL NETWORK CHECKPOINTS

4. Scalable Diffusion Models with Transformers （已中稿）

可以反映一定的问题：

- 名校博士毕业的论文的Solid重要性高于纯粹的数量！
- 研究学者的考核机制“论文质量”的重要性”应高于“数量”！

AI这个领域审稿机制日益崩坏是有目共睹的，不再多说。

这里我还是要说一句，真正的好工作尤其是极具前瞻性的工作，往往最出现的时候很难被评估。尤其是涉及到工程放落地的研究，更是很难扯清楚。这里不应该对学界苛责，一篇顶会顶刊，加上编辑也就不过5人左右的审核流程，不要说发掘一个工作的全部价值，能够完全理解并且在一个很全面的维度上评估已经实属不易。

另外就是，AI领域博士毕业水漫金山顶会发表数量本身也是学术体系出现漏洞的一个侧面。正是因为缺乏有效的后验以及相对较低的实验门槛，才导致这个领域的顶会顶刊在计算机整体来看显得非常浮夸。对比计算机网络和通信，曾经2000+高速发展的时候，那会儿的学生也没有到这个份上。如果抛开AI不谈，只说CS PhD其实并不夸张，许多体系结构的优秀学生毕业的时候甚至没有2篇工作，相对好发的3-5篇也足以令人满意了。

问题1: 是否对于名校来讲，2篇1作论文数量过少？

确实，计算机视觉这种超级热门方向而言，申请UC Berkeley的博士，2篇1作也并不一定算突出。本科3篇顶会一作从2018年左右开始，在中国大陆高校就已经层出不穷。

问题2: 是否说明“论文质量”的重要性”远高于“数量”？

因为深度学习方向论文指数级增长，其中包括顶级会议的投稿和接受数量，所以代表作制度也许会成为主流。但是论文质量是很难评价的，引用数量、大佬赏识这些常用指标都有一定偏差。发表论文能否得到认可仍然是个玄学事件。例如Diffusion model在2015年左右被提出的时候默默无闻，2023年开始突然暴红，沉寂了8年之久。据说是8年前计算力的限制导致Diffusion的应用没有那么普遍。更深里说，30年前深度学习就是受到了计算资源限制没能崭露头角。

因此，科研，也许是实力和运气的共同作用。首先你要有实力写出（上帝视角下）高质量的论文，其次时代要给你机会展示自己，让论文获得高影响力。

现在双非院校教职的最低要求是3篇一区或者6篇二区

这位老哥只有2篇一区（cvpr和iccv）一篇2区（eccv），最低要求都达不到。

先偏个题，在视觉aigc相关领域，不得不承认欧美高校/企业研研人员走在了世界最前端，特别从2021开始，VQGAN，ddpm，latent diffusion model，controlnet，dreamfusion等研究工作一出手就开创了一个新领域，业界又有dalle，imagen等模型不断出圈。

反观中国内地，香港以及新家坡等内卷重灾区的aigc发展就有些拾人牙慧的感觉，基本是做一些后续改进和应用的工作。我印象比较深刻的是去年gussian splatting刚出来，知乎等中文论坛马上跟进了很多宣传和解读，搞的好像nerf已经out不懂gs就跟不上时代了。以前做high level视觉的年代，感觉并不是现在这个样子的，国内的高校和企业产出了很多引领性的工作。

个人认为这跟视觉aigc的投入产出比极低有很大关系。由于data driven需要大量的计算资源，企业没有魄力贸然投入，大部分高校实验室根本就没这个烧钱能力。即使模型有了但并不容易找到很好的商业模式，挣不了钱。而国内企业，老师，乃至大部分华人研究者都是比较务实的风气，酷爱做产品和应用，这种思维的转变需要一定的时间或冲击。

我在21年幸运地去了国内某大厂的生成算法岗位实习，印象深刻的是当时部门大部分领导 (都是领域大佬) 还觉得搞生成模型没啥用，对企业的意义不大。大家都认为数字人是个不错的方向，能落地很快就能做成产品，这可能也是国内数字人做的比较好的原因。但当23年stable diffusion和chatgpt火出圈了，midjourney让他们看到了应用前景，他们就迅速投身这波浪潮，全面转向aigc领域，跟进速度令人咂舌。

从上面的现象回到问题本身

我认为论文solid很重要，但solid与否却真的并不好评判，不同领域不同方向天差地别。这里仅举个例子，大家经常看到一些“魔改”attention或者transformer的工作，因为做这个方向的人很多，这些工作基本上在arxiv上挂出就会吸引不少引用和浏览，但大部分审稿人确实不是很喜欢这类文章很容易被拒。而一些偏理论性的工作，看起来就很fancy很足容易中稿，但往往实践起来有点差强人意，门槛高也不容易受到关注。所以这还是得辩证地看，solid是好事，文章数量多也不是坏事。

说到底对于科技发展，我认为最重要的不是关注个体文章的solid与否。需要的是整个社会或团体在大方向上走正确，增强发展的全局意识，降低考核门槛，提升考核的灵活性。务实是好事，做产品也是好事。但是不能所有人总是盯着眼前的事情，要允许和鼓励一部分人做不一样的事情。如果所有人都热衷于文章数量的追求，那必然不会出现有深度的工作。如果所有人都只追求solid，那相应的应用层面的工作也会缺少很多，科技的迭代速度也会慢下来。

眼下的时代是卷王的乐园，对于想做不一样事情的人，可能需要他们自己寻找一片土壤。

深度学习本来就是一个玄学，Open AI的科学家当初自己都不知道 加大数据训练量能产生chatGPT

Berkeley的学生自主性真的很高。朋友从CS毕业工作很多年了，依然自发坚持学习最新的技术，手做blog分享自己搭建技术栈的心得，并且各种跨界，学虚拟引擎搭建3D模型等，技术大牛拉满。动手能力真的非常强。你给他一个点，他能给你一个世界。

go bears!

Alyosha必定是要求文章质量的。Alyosha作为行业绝对大佬一年下来20来篇paper已经非常克制了。

做fancy的工作，花费的时间和精力以及试错的成本要多很多。有可能包括：采数据，标注，找合理的baseline（这个最耗时间，因为大部分这种工作没有直接可比的baseline，需要在相关工作中找最合理的并自行优化到最佳），找application 把paper sell出去。这还是方向没问题的情况下。如果topic没把握好，花的时间更久。

作为PhD，若是能做成2-3个这样的项目，相信解决问题的能力一定不会弱。

不知道都是怎么得出人家两个负责人论文不行的。。。。。我康康，是谁这么自信，质疑人家俩论文不行？而且俩人都是不到4年毕业了，这要是在学术界好好搞，妥妥的学术新星啊，卷不死你们。

William Peebles 四篇论文，三篇一作分别是ECCV、CVPR、ICCV，这把CV领域的三大会通关了，这叫不行吗？国内CV再卷，有三篇CCF-A大部分也能毕业了吧！（要是非得拿几个变态的组杠，当我没说） 而且，我估计最后一篇也是冲A的。 再看看另一位Brooks Tim， 同样3篇一作论文，分别是ECCV、NIPS、CVPR，同样是3篇CCF-A，同样都是CV领域的，NIPS算是ML领域的Top。

还有人说这俩老哥的水平，连一些双非高校都进不去。。。。。 拜托，人家这水平看得上这种双非吗？（特指那些cs专业不认会议，只看期刊分区的）。别说这俩老哥了，国内CS PhD毕业有这个成果，会去吗？

William Peebles

[1] Peebles, William, et al. "The hessian penalty: A weak prior for unsupervised disentanglement."Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part VI 16. Springer International Publishing, 2020.

[2] Peebles, William, et al. "Gan-supervised dense visual alignment."Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

[3] Peebles, William, and Saining Xie. "Scalable diffusion models with transformers."Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023.

[4] Peebles, William, et al. "Learning to learn with generative models of neural network checkpoints."arXiv preprint arXiv:2209.12892(2022).

Brooks Tim：

[1] Brooks, Tim, and Alexei A. Efros. "Hallucinating pose-compatible scenes."European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022.

[2] Brooks, Tim, et al. "Generating long videos of dynamic scenes."Advances in Neural Information Processing Systems35 (2022): 31769-31781.

[3] Brooks, Tim, Aleksander Holynski, and Alexei A. Efros. "Instructpix2pix: Learning to follow image editing instructions."Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.

再看看俩人的google scholar，看看这个引用量，国内博士生有几个可以的？

为什么都在纠结他的文章数量？没有人发现这兄弟直博不到四年毕业吗？！

啊，这有什么值得感慨的？这不是十分正常吗？

我原来实验室很大一部分博士同学，都只在毕业的时候只发了一篇比较大的期刊论文。原因很简单：发一篇像样的就能毕业+通常竭尽全力也就能发一篇大的。

我运气比较好，蹭了我师兄一篇大的共一，然后和另一个实验室的合作项目的分析方法发了一篇还行的，然后还有一篇小的。

就这水平，国内普通一本的教职都拿不到

openai如果把sora当作text2video的终极大招的话，就取名叫video gpt了，应该还是留了一手

其实学术成就和贡献的评价很大程度上依赖于研究的质量、影响力以及研究者对所在领域的贡献程度。有时，一篇开创性的论文所带来的影响可能远超过多篇小范围研究的总和。此外，研究领域的差异也会导致发表论文数量的差异，有些领域的研究周期更长，或者发表高质量研究的门槛更高。所以我们常说如果要搞科研的话，选个好文章的方向才能卷的动。。。

单纯从数量来看无疑是陷入了“数量大于质量”的逻辑之中，我们大概看看他这两篇论文，PS：我不是做这个方向的，秉着不随便对他人领域做评价的原则，所谈甚少，说错之处恳请指正：

我们首先注意到他这两篇论文，截止24.2.19，20年发表的被引118次，22年发表的是49次。我觉得这个被引量已经很足够了，特别是一个博士生一作的文章，而且非综述。

The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement是在ECCV 2020上发表的，标记为Spotlight。ECCV（European Conference on Computer Vision）是计算机视觉领域的顶级会议之一。

而另一篇文章GAN-Supervised Dense Visual Alignment根据搜索结果，这篇论文是在CVPR 2022上发表的，被标记为口头报告，并且是最佳论文的候选​​。CVPR（计算机视觉和模式识别会议）也是计算机视觉领域最重要和最有影响力的会议之一。

这两篇论文所在的研究领域（无监督学习、GANs、计算机视觉）是人工智能和机器学习中极其活跃的领域，且具有高度的技术挑战性。特别是GAN-Supervised Dense Visual Alignment在CVPR这样顶级会议上的表现，强烈表明了该研究的重要性和创新性，以及作者的研究质量。

因此，虽然论文数量不多，但这些论文的质量、发表的会议级别和学术界的认可度显然是评价这位研究者及其工作的关键因素。

这下面的回答真是让人大吃一惊，你说你夸这两位作者就夸呗，为啥非要捧一踩一，反过来喷一喷国内各种垃圾？

论文评价体系是欧美主导的哇，你要喷，不得先喷欧美？

欧洲不不知道不好说，美国这里灌水论文的少？你一抓一大把，比之国内有过之而无不及。

数数是给行外人一个快速了解一个人“大致水平”的方式，而且具有很大的系统误差。

不能作为行内人评判一个人水平的参考。

数数流行，说明一个领域行外人比行内人多，且掌握了舆论场。

美国的CS PhD 三年半defend通过了已经足够牛逼了

因为他导师知道他真的在干活儿