课后作业3：个人项目（词频统计及其效能分析）

1) 博客开头给出自己的基本信息，格式建议如下：

• 学号：2017****7217；
• 姓名：卢冠宇
• 本次作业码云：https://gitee.com/The_Old_Cousin/word_frequency_count/tree/master

2) 程序分析，对程序中的四个函数做简要说明。要求附上每一段代码及对应的说明。

using Microsoft.Win32;
using System;
using System.Collections;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Windows;

namespace WpfApp1
{
    /// <summary>
    /// MainWindow.xaml 的交互逻辑
    /// </summary>
    public partial class MainWindow : Window
    {
        public MainWindow()
        {
            InitializeComponent();
        }

        /// <summary>
        /// 将打开的txt内容读到T2这个TextBlock，或者说读文件到缓冲区
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void Button_Click_1(object sender, RoutedEventArgs e)
        {
            OpenFileDialog openFileDialog = new OpenFileDialog();
            openFileDialog.Title = "选择数据源文件";
            openFileDialog.Filter = "txt文件|*.txt|所有文件|*.*";
            openFileDialog.FileName = string.Empty;
            openFileDialog.FilterIndex = 1;
            openFileDialog.Multiselect = false;
            openFileDialog.RestoreDirectory = true;
            openFileDialog.DefaultExt = "txt";
            if (openFileDialog.ShowDialog() == false)
            {
                return;
            }

            string contents = System.IO.File.ReadAllText(openFileDialog.FileName, Encoding.Default);
            T2.Text = contents;
        }

        /// <summary>
        /// 统计每个单词的频率，存放在字典word_freq
        /// </summary>
        /// <param name="strword"></param>
        /// <returns>返回一个word_freq</returns>
        private Dictionary<string, int> process_Buffer(ArrayList strword) {

            Hashtable ht = new Hashtable(); 
            foreach (string i in strword)//以哈夫曼树记录统计词频，遍历wtrword
                if (!ht.Contains(i))
                    ht.Add(i, 1);
                else
                {
                    ht[i] = (int)ht[i] + 1;
                }

            Dictionary<string, int> word_freq = new Dictionary<string, int>();
            foreach (DictionaryEntry de in ht)//导入字典
            {
                word_freq.Add(de.Key.ToString(), Convert.ToInt32(de.Value));
            }

            word_freq = (from entry in word_freq orderby entry.Value ascending select entry).ToDictionary(pair => pair.Key, pair => pair.Value);
            return word_freq;
        }

        /// <summary>
        /// 疯狂切字符串
        /// </summary>
        /// <param name="strtext_low">一个已经变成小写的文本</param>
        /// <returns>返回一个已经被切好的ArrayList字符串列表</returns>
        private ArrayList separateword(string strtext_low)
        {
            ArrayList sepword = new ArrayList();//定义一个动态数组用于传进已转换小写的数组
            string strtext = strtext_low;
            strtext = strtext.Replace(',', ' ');//用Replace（）方法将‘，’，‘。’转化为空格
            strtext = strtext.Replace('.', ' ');
            string[] word = new string[500];//定义一个500长度的数组接收转换完成的单词
            word = strtext.Split(' ');//使用Split（）方法分割单词
            foreach (string i in word)//遍历循环将其传入动态数组sepword
                sepword.Add(i);
            return sepword;
        }


        /// <summary>
        /// 相当于最后的“if __name__ == "__main__":”的执行
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void Button_Click_2(object sender, RoutedEventArgs e)
        {
            T1.Text = "";
            int i = 0;
            foreach (var item in process_Buffer(separateword(T2.Text.ToLower())).Reverse())
            {
                if (i > 10)
                {
                    break;
                }
                if (item.Key != "")
                {
                    string str = string.Format("[" + i + "]" + "{0,-15} {1,3}", item.Key, item.Value);
                    T1.Text = T1.Text + str + "
";
                }
                i++;
            }
            i = 0;

        }

    }
}

3) 性能分析结果及改进。

• 指出执行次数最多的代码，执行时间最长的代码。
  • 执行次数最多：

                    word_freq.Add(de.Key.ToString(), Convert.ToInt32(de.Value));

  • 执行时间最长：

                string contents = System.IO.File.ReadAllText(openFileDialog.FileName, Encoding.Default);

• 给出改进优化的方法以及你的改进代码
  • 执行次数最多：执行次数最多的代码已经达到准线型饱和，目前为止未发现任何改进优化方法。
  • 执行时间最长：使用预缓存和多线程来进行读取操作，目前为止我们没有学过相关知识以至于达到我们可以进行对其优化。

4) 程序运行命令、运行结果截图以及改进后的程序运行命令及结果截图 。

性能统计概况

5) 给出你对此次任务的总结与反思。

简单实现了对词频统计及其效能分析，很明显，效能是一个程序性能的决定性表现之一。我们还需要学习更多常用高效的算法和编程基础知识，来拓展我们对软件工程的学习。