在GPU上使用简单的矩阵向量积对Theano和CNTK进行基准测试

我想在一个非常简单的任务上比较Theano和CNTK的性能:GPU上的矩阵向量积。我使用的是Theano 0.9.0和CNTK 2.0。

我只想测量设备上计算所用的时间,不包括从主机到设备的数据传输所用的时间,反之亦然。

我得到的结果是这样的: figure (timings theano vs cntk) (N是重复次数。D是矩阵的大小,设置为10000。)

问题1:

有没有办法像在Theano案例中那样,在CNTK中分割准备和执行?

问题2:

我特别不确定CNTK代码的for循环中的操作是否真的包含在设备中,因为prod.eval()返回一个numpy.ndarray。我错过什么了吗?

用于测量计时的代码:

import numpy as np
import time

# theano
def test_matVecDot_theano(D, N):
    import theano
    import theano.tensor as T
    A_cpu = np.random.normal(size=[D,D]).astype(np.float32)
    x_cpu = np.random.normal(size=[D]).astype(np.float32)
    A_gpu = theano.shared(A_cpu)
    x_gpu = theano.shared(x_cpu)
    b_gpu = theano.shared(x_cpu)
    b_gpu_new = T.dot(A_gpu,x_gpu)
    fnc = theano.function(inputs=[], outputs=None, updates=[(b_gpu, b_gpu_new)], allow_input_downcast=True)
    tic = time.time()
    for i in range(N):
        fnc()
    toc = time.time()
    print("time_theano:",toc-tic)

# cntk
def test_matVecDot_CNTK(D, N):
    import cntk as C
    A_cpu = np.random.normal(size=[D,D]).astype(np.float32)
    x_cpu = np.random.normal(size=[D,1]).astype(np.float32)
    A_c = C.Parameter(init=A_cpu, dtype=np.float32)
    x_c = C.Parameter(init=x_cpu, dtype=np.float32)
    b_c = C.Parameter(init=x_cpu, dtype=np.float32)
    prod = C.times(A_c, x_c)
    tic = time.time()
    for i in range(N):
        b_c.value = prod.eval() # is this operation enclosed in the device?
    toc = time.time()
    print("time_cntk:",toc-tic)