写CUDA到底难在哪?

Views :
Update time : 2025-06-25 08:25:17

对GPU进行性能优化时,cudagraph是绕不开的话题。

不仅是GPU,大部分的xpu都会提供类似graph mode的优化,相比于每次分别由CPU进行kernel launch的eager mode,graph mode通常都会有较大性能提升,然而也经常容易出现各种各样的奇怪问题。

NVIDIA有一个简单的 博客 介绍,其中只使用了stream capture的形式来构造cudagraph,而且本质上就是多个kernel前后提交,根本无法展示cudagraph的复杂性。

本文尝试从底层原理出发,根据文档 和 …。

写CUDA到底难在哪?
Related News
Read More >>
Blog Post With Youtube Video 我的电脑硬件不支持硬解422 10bit***,但是用达芬奇可以编辑和导出,这是为什么?
2025-06-28 01:20:15
我的电脑硬件不支持硬解422 10bit***,但是用达芬奇可以编辑和导出,这是为什么?...
Blog Post With Youtube Video 在研究生复试中把面试导师逗乐是个什么体验?
2025-06-28 01:55:15
在研究生复试中把面试导师逗乐是个什么体验?...
Blog Post With Youtube Video 什么才是真正的爱情?
2025-06-28 07:45:14
什么才是真正的爱情?...
Blog Post With Youtube Video 你怎么评价日本某个前空姐说:“如果我在经济舱,年薪2000万日元以下的乘客没有资格给我递名片”?
2025-06-28 01:10:19
你怎么评价日本某个前空姐说:“如果我在经济舱,年薪2000万日元以下的乘客没有资格给我递名片”?...

Leave Your Message