libtorch 报错与解决

1.error: conversion from ‘at::TensorAccessor<float, 2ul, at::DefaultPtrTraits, long int>’ to non-scalar type ‘at::Tensor’ requested

     torch::Tensor result_data = result_.accessor<float,2>();//        torch::Tensor result_data = result_.cpu().accessor<float,2>();

定位到代码中的语句

 torch::Tensor result_data = result_.accessor<float,2>();

各种试，result是二维的啊，是float的啊！！！
转到了cpu了啊！！
奔溃～～，我看别人也是这么写的啊！！
例子：

torch::Tensor one = torch::randn({9,6});
auto foo_one=one.accessor<float,2>();
for(int i=0,sum=0;i<foo_one.size(0);i++)
 for(int j=0;j<foo_one.size(1);j++)
     sum+=foo_one[i][j];

然后的然后，我把 torch::Tensor result_data = result_.accessor<float,2>();改成

 auto result_data = result_.accessor<float,2>();

编译通过了！！！！ヾ(｡｀Д´｡)！！！！！
这个问题找了我半个小时多！！！！原来已经不是torch::Tensor类型了，需要用auto啊！！

2. pytorch转到libtorch显存偏多问题

一般用测试代码直接加两句话就可以转成功libtorch模型

output = model(image)
traced_script_module = torch.jit.trace(model, image)
traced_script_module.save("/data_2/v3+resnet.pt")

就是这个测试代码流程一般就是定义模型，加载模型，数据处理，模型推理，后处理这些部分组成

model = DeepLab(num_classes=num_classes_,
                backbone=backbone_,
                output_stride=output_stride_,
                sync_bn=sync_bn_,
                freeze_bn=freeze_bn_)
model = model.cuda()

checkpoint = torch.load(model_path)
model.load_state_dict(checkpoint['state_dict'])
del checkpoint

dataload_test = make_data_loader_my_test(path_txt,crop_size,batch_size)
for i, sample in enumerate(dataload_test):
    print(i)
    image = sample[0]
    if cuda:
        image = image.cuda()
    with torch.no_grad():
        model = model.eval() ####重要！！ 测试的时候一定要加上 要不然bn层还会重新计算  是test模式就直接用
        output = model(image)

        traced_script_module = torch.jit.trace(model, image)
        traced_script_module.save("/data_2/v3+resnet.pt")
        break

    pred = output.data.cpu().numpy()
    pred = np.argmax(pred, axis=1)

一般就是上面的这段代码，在pytorch端一点问题都没有，可以在libtorch端显存变2倍啊！pytorch端900M，libtorch端1800M！！

几天后，然后对比了之前没有问题的脚本，实验了一下果真可以！多了的话如下：

model = DeepLab(num_classes=num_classes_,
                backbone=backbone_,
                output_stride=output_stride_,
                sync_bn=sync_bn_,
                freeze_bn=freeze_bn_)

for param in model.parameters():
        param.requires_grad = False

model = model.cuda()

原来转libtorch需要自己加上这句话啊！！！

3

ValueError: Auto nesting doesn't know how to process an input object of type int. Accepted types: Tensors, or lists/tuples of them

在pytorch1.1 cuda10上是可以的，但是在pytorch1.0 cuda8上面就报上面的错误。trace的时候
traced_script_module = torch.jit.trace(self.dla, x)
折腾几个小时已经解决，把class IDAUP的forward
def forward(self, layers, startp, endp):
startp, endp是int形的，转成tensor，再在forward里面解析出int
endp = endp.cpu().numpy()[0]
解决方案如上，在此记录一下！
https://github.com/xi11xi19/CenterNet2TorchScript/issues/5

4 libtorch 运行时间问题

一般情况下，我们用c++或者opencv自带的函数统计函数运行时间

auto t_3 = std::chrono::steady_clock::now();
// 一段代码
auto ttt = std::chrono::duration_cast<std::chrono::milliseconds>
            (std::chrono::steady_clock::now() - t_3).count();
    std::cout << "-step3--(--)consume time="<<ttt<<"ms"<<std::endl;

可是一个很诡异的现象是在一个函数中我调用同一个libtorch函数torch::nonzero(ind_mask.squeeze(0));，刚进来的时候耗时50ms，然后该函数调用torch::nonzero(ind_mask.squeeze(0));5次，只有第一次的时候显示50ms，
然后后面4次0ms，下张图片进来还是这个现象。。。这么说每张都是这样了？？
找了很久很久原因。。。未果。。然后去问同事，同事告诉我需要加cuda同步

#include<cuda.h>
#include<cuda_runtime.h>


cudaDeviceSynchronize();
auto t_3 = std::chrono::steady_clock::now();
// 一段代码
auto ttt = std::chrono::duration_cast<std::chrono::milliseconds>
            (std::chrono::steady_clock::now() - t_3).count();
    std::cout << "-step3--(--)consume time="<<ttt<<"ms"<<std::endl;

如此，就可以了！！
但是后面又遇到问题了，就是我需要看哪个函数耗时，然后把每个函数时间运行前运行后统计，然后发现总时间大于各个函数时间运行之和，而且是大于2倍！！！
同事说我是不是有些函数没有统计到？不是的，我都统计了，然后我再各个函数里面刚开始加上cudaDeviceSynchronize();也不行。。。。
目前还没有即=解决，先在这里记录一下！！！。。
解决了，jiamin让我在
auto out_center = process_centernet(input_tensor);后面加
sleep(1);
一开始是这样的：

 cudaDeviceSynchronize();
    auto t_2 = std::chrono::steady_clock::now();

    auto out_center = process_centernet(input_tensor);///////////////////////////////
//    sleep(1);
    torch::Tensor out_ct_hm = std::get<0>(out_center);
    torch::Tensor out_wh = std::get<1>(out_center);
    torch::Tensor out_cnn_feature = std::get<2>(out_center);

    ttt = std::chrono::duration_cast<std::chrono::milliseconds>
            (std::chrono::steady_clock::now() - t_2).count();
    std::cout << "-step2--centernet consume time="<<ttt<<"ms"<<std::endl;

统计出来的是23ms左右
然后就了sleep(1)就变成了1089ms这样子，！！！！说还有统计时间的先提前出来了。加 cudaDeviceSynchronize();也没有用。
然后用cuda的统计函数，

#include<cuda.h>
#include<cuda_runtime.h>
#include <cuda_runtime_api.h>


 cudaEvent_t e_start, e_stop;
    //创建事件
    cudaEventCreate(&e_start);
    cudaEventCreate(&e_stop);
    //记录事件，开始计算时间
    cudaEventRecord(e_start, 0);

// 运行代码

  //记录结束时事件
    cudaEventRecord(e_stop, 0);// 0 代表CUDA流0
    //等待事件同步后
    cudaEventSynchronize(e_stop);
    //计算对应的时间，评估代码性能
    float elapsedTime;
    cudaEventElapsedTime(&elapsedTime, e_start, e_stop);
    std::cout << " --##cuda center all time = ##-- ="<<elapsedTime<<"s"<<std::endl;

这个统计出来就是89ms！！！原来还是用cuda统计函数好使啊！