机器学习使用tokenizer.fit_on_texts报‘float‘ object has no attribute ‘lower‘错解决办法

机器学习使用tokenizer.fit_on_texts报'float' object has no attribute 'lower'错解决办法

最近在学习机器。在学习过程中使用kaggle中的Womens Clothing E-Commerce Reviews.csv数据集，用Keras分词器Tokenizer，使用tokenizer.fit_on_texts生成词典报'float' object has no attribute 'lower' 错。

from keras.preprocessing.text import Tokenizer 
X_train_lst = df_train["Review Text"] 
y_train = df_train["Rating"].values 
dictionary_size = 20000 
tokenizer = Tokenizer(num_words=dictionary_size) 
tokenizer.fit_on_texts( X_train_lst) 
X_train_tokenized_lst = tokenizer.texts_to_sequences(X_train_lst)

分析原因：是数据集中"Review Text"中存在字段为空的情况，pandas导入的时候自动转成NaN了，所以报没有lower的属性的错误。

解决方法：增加fillna函数转换将NaN转成空字符串。

X_train_lst = df_train["Review Text"].fillna("")