%%场景二 %%节点数据预处理 function [X,Y]=nodedata_pro() %导入班节点数据 [num_2ban1,~,raw_2ban1]=xlsread('sen2ban1.xlsx'); [num_2ban2,~,raw_2ban2]=xlsread('sen2ban2.xlsx'); [num_2ban3,~,raw_2ban3]=xlsread('sen2ban3.xlsx'); [num_2ban4,~,raw_2ban4]=xlsread('sen2ban4.xlsx'); [num_2ban5,~,raw_2ban5]=xlsread('sen2ban5.xlsx'); [num_2ban6,~,raw_2ban6]=xlsread('sen2ban6.xlsx'); [num_2ban7,~,raw_2ban7]=xlsread('sen2ban7.xlsx'); [num_2ban8,~,raw_2ban8]=xlsread('sen2ban8.xlsx'); %导入排节点数据 [num_2pai1,~,raw_2pai1]=xlsread('sen2pai1.xlsx'); [num_2pai2,~,raw_2pai2]=xlsread('sen2pai2.xlsx'); [num_2pai3,~,raw_2pai3]=xlsread('sen2pai3.xlsx'); %将ban1~ban3前三行无效信息删去，使得ban1~ban3节点与其余节点格式保持一致 num_2ban1=num_2ban1(:,4:end); num_2ban2=num_2ban2(:,4:end); num_2ban3=num_2ban3(:,4:end); raw_2ban1=raw_2ban1(:,4:end); raw_2ban2=raw_2ban2(:,4:end); raw_2ban3=raw_2ban3(:,4:end); [m,n]=size(num_2ban1); k=[5,8,11,14,17,20]; %有效信息所在的列数 feature=cell(1,length(k)); %提取有效特征名称 feature_data=zeros(11*m,length(k)+1); %创建存储特征数据的数组feature_data;11为节点总个数 % original_data为（删去了ban1~ban3前三列后的）原始数据； ban_table=3*ones(m,1); %加入节点类别，班级别为3 pai_table=2*ones(m,1); %加入节点类别，排级别为2 original_data=[num_2ban1,ban_table;num_2ban2,ban_table;num_2ban3,ban_table;num_2ban4,ban_table;num_2ban5,ban_table;num_2ban6,ban_table;num_2ban7,ban_table;num_2ban8,ban_table; num_2pai1,pai_table;num_2pai2,pai_table;num_2pai3,pai_table]; for i=1:length(k)+1 if i<length(k)+1 %输入特征 feature{1,i}=raw_2ban1{1,k(i)}; feature_data(:,i)=original_data(:,k(i)); else feature_data(:,i)=original_data(:,end); %输入节点类别 end end % 按行（时间点）遍历 % ①利用Flag判断每个时间点数据是否有效，每个时间点拥有一个Flag，初始Flag=0; % 判断第一个特征是否是NAN 【isnan(feature(:,1))】，是则Flag=Flag+1; % ②除了特征1以外的特征，若为0，Falg=Flag+1；若为NAN，Flag=Flag+1; % ③判断Flag是否大于等于特征数目的一半，若是，则删去该时间点的数据；if Flag>=size(feature_data,2)-1 % ④得到最终数据【保留有有效信息的数据】 %% 遍历所有时间点的特征数据，开始删除0和nan过多的无效数据 [m1,n1]=size(feature_data); Flag=zeros(m1,1); data_pro1=[]; count=1; for j=1:m1 Flag(j)=0; if isnan(feature_data(j,1))==1 Flag(j)=Flag(j)+1; end rest_feature=feature_data(j,2:end-1); %剩余特征为除了第一列外的其他特征 Flag(j)=Flag(j)+sum(isnan(rest_feature))+length(find(rest_feature==0)); %Flag为第一列是否为NAN，sum()为统计剩余特征中nan的个数；length()为统计剩余特征中0的个数 if Flag(j)<(n1-1)/2 %Flag<特征总数的一半,保留该特征 data_pro1(count,:)=feature_data(j,:); count=count+1; end end %% 删除无效特征（按列）（无意义的零值和NAN数据数目超过总样本数一半的） [m2,n2]=size(data_pro1); nan_0_num=zeros(1,n2-1); %统计特征1的nan个数；统计其他特征0+nan的个数 count1=1; count2=1; data_pro2=[]; %存储删除无效特征后的数据 for k=1:n2-1 %n2的最后一行为类别，不计入特征，所以为n2-1 if k==1 nan_0_num(k)=sum(isnan(data_pro1(:,k))); else nan_0_num(k)=sum(isnan(data_pro1(:,k)))+length(find(data_pro1(:,k)==0)); end if nan_0_num(k)<m2/2 % 特征中的无效数据数目小于总样本数的一半，则该特征予以保留 data_pro2(:,count1)=data_pro1(:,k); count1=count1+1; else feature_delete_index(count2)=k; % 特征中的无效数据数目大于等于总样本数的一半，则删除该特征，并返回特征序号，存储子啊feature_delete_index中 count2=count2+1; end end %数据补全：对零值数据和NAN数据进行众数补全 data_pro3=data_pro2; for i=1:size(data_pro2,2) if i==1 index_1_nan=find(isnan(data_pro2(:,1))==1); %返回第一列中为nan数值的样本序号； data_pro3(index_1_nan,1)=mode(data_pro2(:,1)); %用众数补全的方法补全第一列的nan缺省数据 else index_1_nan=find(isnan(data_pro2(:,i))==1); data_pro3(index_1_nan,i)=mode(data_pro2(:,i)); %用众数补全的方法补全第i列的nan缺省数据,也可以替换成拉格朗日补全 index_2_nan=find(data_pro2(:,i)==0); data_pro3(index_2_nan,i)=mode(data_pro2(:,i)); %用众数补全的方法补全第i列的nan缺省数据 end end data_pro3=[data_pro3,data_pro1(:,end)]; %加入各个样本的类别 X=data_pro3(:,1:end-1); %X是补全后的特征数据 Y=data_pro3(:,end); %Y是X对应的类别（3是班节点，2是排节点）