zoukankan      html  css  js  c++  java
  • finished with exit code -1073740791 (0xC0000409)解决方案

    1.在用keras框架跑NER的train时,而且只是在用了keras_contrib.layersCRF时出现问题:

    遇到无错跳出finished with exit code -1073740791 (0xC0000409),

    (有其他博主说的减小batchsize的 我试过把batchsize减小为2,但是没有用)

    2.查出是显卡内存不足的问题,解决如下(对个人有效):

    import os
    os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

     (本人pc上并未安装cuda等GPU所需要的包,猜想这句话应该是默认用cpu)

    ----------------------------------------------------------------------------------------------------------------

    3.<原理参考>:

    keras在使用GPU的时候有个特点,就是默认全部占满显存。这样如果有多个模型都需要使用GPU跑的话,那么限制是很大的,而且对于GPU也是一种浪费。因此在使用keras时需要有意识的设置运行时使用那块显卡,需要使用多少容量。

    这方面的设置一般有三种情况:

    1.指定显卡 2.限制GPU用量 3.即指定显卡又限制GPU用量

    一、指定显卡

    import os os.environ["CUDA_VISIBLE_DEVICES"] = "2"

    这里指定了使用编号为2的GPU,大家可以根据需要和实际情况来指定使用的GPU

     

    二、限制GPU用量

    1、设置使用GPU的百分比

    import tensorflow as tf 
    
    import keras.backend.tensorflow_backend as KTF #进行配置,使用30%的GPU 
    
    config = tf.ConfigProto() 
    
    config.gpu_options.per_process_gpu_memory_fraction = 0.3 
    
    session = tf.Session(config=config) # 设置session KTF.set_session(session )

    需要注意的是,虽然代码或配置层面设置了对显存占用百分比阈值,但在实际运行中如果达到了这个阈值,程序有需要的话还是会突破这个阈值。换而言之如果跑在一个大数据集上还是会用到更多的显存。以上的显存限制仅仅为了在跑小数据集时避免对显存的浪费而已。

    2、GPU按需使用

    import tensorflow as tf 
    
    import keras.backend.tensorflow_backend as KTF 
    
    config = tf.ConfigProto() 
    
    config.gpu_options.allow_growth=True #不全部占满显存, 按需分配 
    
    session = tf.Session(config=config) # 设置session KTF.set_session(sess)

     

    三、指定GPU并且限制GPU用量

    这个比较简单,就是讲上面两种情况连上即可。。

    import os 
    
    import tensorflow as tf 
    
    import keras.backend.tensorflow_backend as KTF # 指定第一块GPU可用 os.environ["CUDA_VISIBLE_DEVICES"] = "0" 
    
    config = tf.ConfigProto() 
    
    config.gpu_options.allow_growth=True #不全部占满显存, 按需分配 
    
    sess = tf.Session(config=config) KTF.set_session(sess)

    参考链接:

    https://blog.csdn.net/u010801994/article/details/81121078

    https://blog.csdn.net/Jdk_yxs/article/details/84061824

  • 相关阅读:
    Pythonlistsort()
    [转]Python中文乱码问题深入分析
    使用dom4j时SelectNodes()方法报错
    Xpath语法
    wust2012级软件工程新生经验交流会草稿
    Eclipse中部分快捷键
    Dom4j解析XML学习代码
    html5 cocos2d
    mfc mfc100ud.dll丢失问题
    c# 类操作 窗体
  • 原文地址:https://www.cnblogs.com/yh-blog/p/10547826.html
Copyright © 2011-2022 走看看