1.当我使用多进程并行启动模型的时候（ pytorch 或者 tf 或者 keras ），显存或者内存的占用都是翻倍的，这种并行能够理解.
2.当我在主进程启动模型并使用多线程去同时 fit 或者 predict 时，这时会发生什么呢?
（ 1 ）有一种锁的机制，哪个线程拿到锁就进行推理，之后进行下一个线程的推理，实际上的串行。
（ 2 ）模型内部类似于函数调用，虽然有 GIL 但是每个线程的推理是实际上的并行，推理速度变慢，但都在慢慢进行。
另外当这个模型是使用 GPU 进行运算的时候，上面的情形下的处理逻辑是一样的吗？ 请大佬指点
 |
1
Latin 2019-12-18 11:18:11 +08:00
用 gpu 只会加快算法处理速度，不会加快线程运行
|
 |
2
lonelygo 2019-12-18 11:22:33 +08:00
tf 的 serving 可以看看
https://www.tensorflow.org/tfx/guide/serving |
 |
3
shicheng1993 OP |
 |
4
yangyaofei 2019-12-18 13:04:04 +08:00
GPU 内部已经把处理都拆成无数个线程了,感觉多线程意义不大...
如果是多线程的话,我觉得是计算的时候 python block,然后后端是并行的,所以看起来应该是并行的样子,但是 GPU 资源有限,最终没啥区别.用 tf serving 还是最理想的办法....不用处理 batching,优先级等等的问题 |
 |
5
tedeyang 2019-12-21 23:39:38 +08:00
CPU 主进程加载模型，其他线程调用，这种情况下推理计算是串行的。就是传统的并发问题，你可以用 openvino/opencl 来做并行编程。
GPU 任何时间点基本只做一个模型的 predict，但模型内调用的 cuda 是有上万个 core 并行计算。 |
Select Language