本文的是由Onur Mutlu教授在CMU 2013 秋季的《740：Computer Architecture》课程中的一个小节《Guidelines on Paper Reviews》的主题内容编纂而成，但是又做了大量的内容修改和补充。主题是“论文/演讲评审指南”，虽然只有短短的两页，但讲解了如何进行论文或演讲评审的指导和建议。
相信会对搞学术研究的学者和研究人员、专利审核人员，或者那些需要评估技术文档、甚至是评审代码的工程师，提供了一套清晰的框架，帮助他们更系统地分析和评估，帮他们更深入地理解技术论文的精髓，从而做出更明智的决策。目录：
- 如何做好文章或讨论的评审工作
- 评审建议
- 范文
注：提供一个Onur Mutlu教授关于评审建议在2013年的视频。
本次讲座中，我们将介绍一些有关如何进行论文审阅的指南，其实不只是论文的评审工作，哪怕是论文的阅读，代码评审或者阅读上，都有借鉴意义。
视频里的信息量＞本文的文字内容
《740：Computer Architecture：Guidelines on Paper Reviews》将是一门以论文审阅为导向的课程。课程过程中，将阅读大量论文，并在此过程我们将向你提出问题，讨论许多不同的论文，对于其中一些论文，我们会要求你在在线论文评论网站上提供论文评论。
先介绍一些有关如何执行这些操作的基础知识，我们将做一个总结的大纲。
1.如何做好文章或讨论的评审工作
摘要（Summary）
首先期待你的良好评论前提下，对论文进行简要总结，基本上就是论文试图解决的问题是什么，论文的关键思想是什么，论文中提供的关键见解是什么？ 撰写论文时对文献的主要贡献，以及你从中获得的最重要的内容是什么，这有点像对问题目标想法贡献以及从论文中获得的最重要的内容的简要总结。
- 问题：论文试图解决什么问题？
- 关键思想：论文的主要观点和洞见是什么？
- 机制与实现：关键机制是什么？具体是如何实现的？
- 结果与结论：主要结果和结论是什么？
如果论文是关于提高CPU缓存效率的，摘要可能包括问题（CPU缓存效率低下），关键思想（使用机器学习预测缓存行的访问模式），机制与实现（通过训练数据集来调整缓存替换算法），以及结果与结论（显著提高了缓存命中率）。当然这个过程，就需要搞清楚上面的几个问题。
优点（Strengths）
第二部分是论文的优点，我希望你关注最重要的那些，将优点从大到较小的部分排序并按照条目列出，论文中的优势点列表也许有两三个。
这里要考虑的关键问题是：论文是否很好地解决了问题，例如对于一篇论文来说，它的优势是什么，它是这篇文章非常强大的内在，当然：
- 可能是一个非常困难的问题的一个非常简单的解决方案
- 它可能是解决问题的算法的优雅
- 它可能是结果的有效性
- 解决方案可能效果不佳，但这实际上是解决方案的内部因素导致的
但通常我会希望你重点关注机制本身的优势，而不是实验评估，因为有时评估可能会产生误导，因为评估可能是作者在自己的系统上完成的，而某些评估是在其他系统上完成的。
- 论文是否很好地解决了问题？
- 论文写作是否清晰？
一篇关于无线通信的论文可能因为其创新的信号编码方法（优点）而受到赞扬，这种方法提高了数据传输速率和降低了错误率。明确的优点，可以让人明白解决的主要问题带来的贡献。
缺点（Weaknesses）
第三部分实际上是论文的弱点，希望你首先关注最重要的弱点，然后再列出这个列表。这也是应该非常批判性地思考的地方，优点更容易找到，因为通常作者会试图告诉你优点是什么，但缺点作者可能不想告诉你，缺点有很多不同的原因，部分原因可能是他们可以正在努力，他们希望在你做之前做出下一件大事，所以这是你真正应该批判性思考的地方是每一篇论文，每一个想法都有一个弱点。
很难发表一篇没有任何弱点的论文，没有并不意味着发表的文章一定很糟糕，这意味着还有改进的空间，并且未来的研究还有可以实现这种改进的空间。因此，以建设性和批判性的方式找出论文的弱点，可能使你收到作者的评论，在未来进行更好的研究。所以，这是你可以产生好想法的地方。
- 批判性思考：每篇论文/想法都有缺点，这并不意味着论文不好，而是意味着有改进的空间。
比方说，某一篇无线通信论文可能在实际环境中的鲁棒性不足，这可能是一个缺点，但指出了未来研究、改进的方向。
很多时候，看起来正确的某个方法，也仅仅是空间和时间下的一种已知的较好的选择，是带有平衡色彩的，但是考虑到时间的演进，也有可能会变化，可能是由于内部原因，也有可能是外部环境原因。都是可以改进的空间。
改进的可能性（Can you do better?）
第四部分，讨论的是你能做得更好吗？为什么不在你的审查中向我们展示你的想法，也许你在阅读后想出了更好的解决方案，这也是很可能的，因为每个审查者的背景不同，可能不同的背景和经历，对改进有不同的想法。
- 提出自己的思考和想法，考虑是否有更好的解决方案。
对于CPU缓存效率的论文，可以提出使用更复杂的预测模型或算法来进一步提高效率。
收获（Takeaways）
第五部分，我希望你能了解你在论文中学到的喜欢或不喜欢的内容，这当然是更定性的，以及为什么会这样。
思考这个问题，可能会决定你今后在研究项目中的方向。
- 你从论文中学到了什么？喜欢或不喜欢什么？为什么？
读者可能喜欢论文中关于机器学习在缓存优化中的应用，但不喜欢缺乏对算法在不同工作负载下表现的分析。
其他评论（Other comments）
- 任何其他想要提出的评论。
评审者可能建议作者在未来的工作中考虑不同硬件配置对性能的影响。
篇幅长度
审查应该简短明了，半页或更短，尽可能尝试将其控制在半页或3/4页之内，在进行评论时，请多提供几个建议点，要非常挑剔，以建设性的方式非常挑剔，这是非常好的。
因为你可以找到改进现有设计的方法，总是思考解决问题或相关问题的更好方法，但也要关注论文的积极部分，每篇论文都有积极的部分和消极的部分，我希望你能在这方面要保持平衡，但你需要批判性地找出弱点，进行背景阅读。
实际上很重要，因为如果你不一定理解这篇论文，你可以去参考文献并进行背景阅读并更好地理解它。在这种背景下，你可以对论文有更深入的了解，回顾论文或演讲实际上是了解研究问题或主题的最佳方式。只要你严格执行并考虑形成一个文献调查主题或一个研究主题。当你阅读论文时，若这是一个真正令您兴奋的主题，并且非常有趣，你可能想要更深入地挖掘并尝试。
不同的论文有很多不同的方向，并且可能会成为热点话题，这些话题是重要的话题，有很多潜在的研究项目，如果朝着这个方向思考：
- 我怎样才能做得更好，我可以改进什么
- 我怎样才能解决这个问题
那么你也许可以围绕主题形成你的研究计划，这样你就可以随时质疑论文中解决的问题，如果你不认为问题被很好解决甚至没有被解决，这可能会成为论文的弱点。
2.评审建议
在评审时，也许你可以阐明为什么现在会出现某些情况，但我建议你要小心这一点，因为如果你从一个观点来看问题可能并不重要，但放在一个非常不同的背景下可能会没有考虑到这可能是一个重要的问题，所以通常有一些解决方案非常适合你，那可能只是此时没有考虑到领域中的一些问题，换句话说，你考虑的问题只是一个特例。
- 进行评审时要保持批判性。
- 总是考虑解决问题的更好方法。
- 通过批判性分析推动科学和工程的进步。
举个例子，在评审一篇关于新型电池技术的论文时，评审者可能会建议考虑环境影响和可回收性，而不仅仅是关注能量密度的提高。
3.范文
下面是一篇评审的范文：
这份评审例子体现了几个显著的特点，与之前提到的论文评审建议相呼应：
- 结构清晰：评审从摘要开始，逐步深入到论文的优势、不足、改进建议和学习心得，结构条理清晰，易于理解。
- 批判性思维：评审者不仅指出了论文的优点，更重要的是，他们深入分析了论文的潜在弱点，并提出了具体的质疑点，如预测机制的准确性和内存控制器的复杂性。
- 提出改进建议：评审者没有停留在批评层面，而是提出了可能的改进方向，比如软件层面的分析和编译器优化，这体现了对问题深入思考的能力。
- 鼓励创新：评审鼓励读者探索其他解决方案，这与之前建议中提到的激发创新思维和推动科学进步是一致的。
- 简洁性：尽管评审内容丰富，但整体上保持了简洁性，避免了冗长的论述，使得评审内容更加精炼。
- 开放性问题：评审中提出了一些开放性问题，如数据一致性和混合内存系统的可靠性，这些问题激发了读者的思考，也为未来的研究提供了方向。
- 学习心得：评审者分享了自己的学习心得，包括对论文的总体评价和对未来研究方向的看法，这与之前建议中提到的“收获”部分相契合
总的来说，这份评审例子很好地体现了如何进行有效、深入且建设性的学术评审，既提供了对论文的全面评价，又促进了学术交流和知识的发展。
阅读这份指南后，你可能会发现自己在分析和评估技术论文时，思路更加清晰，判断更加准确。它就像是给你的思维装上了一副望远镜，让你能够看得更远，理解得更深入。无论是在学术研究，还是在实际工作中，这份指南都能成为你宝贵的参考和指导。
参考
- Module 0.3 - Paper Reviews - 740: Computer Architecture 2013 - Carnegie Mellon - Onur Mutlu | Carnegie Mellon Computer Architecture
https://www.youtube.com/watch...
- Review sample
https://safari.ethz.ch/digita... - Guidelines on Paper Reviews
https://safari.ethz.ch/digita...
作者：NeuralTalk
来源：NeuralTalk
推荐阅读
- SIMD 指令集与数据并行程序
- 单处理器实现大规模计算能力的有效性
- FP8量化解读--8bit下最优方案？（一）
- 如何使用“LoRa”的方式加载ONNX模型：StableDiffusion相关模型 的C++推理
欢迎大家点赞留言，更多Arm技术文章动态请关注极术社区嵌入式AI专栏欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
