zoukankan      html  css  js  c++  java
  • [BUAA-SE-2018]结对作业测试报告

    作业连接:结对项目-最长单词链

    本次评测仅包含正确性、鲁棒性和性能测试三个部分。

    2019.4.2修改:更正了几组同学的鲁棒性测试评分和一组同学的测试评分。
    2019.4.3修改:更新了性能测试相关的分数,以及一些细节。

    1. 测试方式

    本次测试采用自动评测+人工复查的方式进行

    其中,正确性和性能测试完全依赖于自动测试,鲁棒性测试则通过人工复查的方式来评分。

    2. 评分规则

    2.1 测试点组成

    • 正确性:34个,每个1分
    • 鲁棒性:6个,每个1分
    • 性能:2个,其中第一个测试10分,第二个较复杂5分

    对于鲁棒性测试,要求必须输出正确的提示信息才能得分。
    正确性测试中也存在没有输出的边界测试点,但对于这些测试点,不要求一定输出相关提示信息。

    2.2 性能测试的分级

    考虑到本次正确性测试的测试点较多,且包含很多边界情况,因此我们放宽性能测试的条件为:无条件,即所有同学均可测试,正确即可得分。
    本次测试中,第一个性能测试分两档,以60s为界,60s以内得10分,60s以上得5分。
    第二个性能测试,由于只有两组同学能正确输出,所以只有一档。

    2.3 重新提交的扣分策略

    本次作业中有部分同学的作业不符合作业要求,导致无法测试。为了确保能够进行测试,我们允许这些同学修改代码重新提交。但为了确保公平,我们决定扣除这些同学的一些分数。

    扣分的策略为:

    1. BIN本来就存在,但是放错位置,不扣分
    2. BIN不存在,或者wordlist.exe命名错误,扣1分
    3. 修改程序,问题不大的情况,第一次修改扣1分,第二次再扣2分
    4. 修改程序问题比较大的情况,第一次扣2分,第二次再扣3分
    5. 程序输出格式错误,扣1分

    3. 评测结果

    由于测试点较多,这里不给出除了性能测试之外的单个测试点的得分情况。

    3.1 罗老师班

    学号 正确性(34) 鲁棒性(6) 性能1 性能1时间(s) 性能2 性能2时间(s) 重新修改的扣分 总分
    15005012 15 1 0 -1 0 338.5391 0 16
    15061114 0 0 0 -1 0 -1 0 0
    16021160 27 5 1 129.4598 0 -1 0 37
    16061008 11 4 0 319.3594 0 -1 0 15
    16061014 20 1 0 0.0937 0 0.0156 1 20
    16061026 11 4 0 319.3594 0 -1 0 15
    16061027 20 1 0 0.0937 0 0.0156 1 20
    16061050 23 5 0 0.4844 0 113.3438 0 28
    16061051 33 6 1 411.4988 0 574.9063 0 44
    16061057 31 6 0 0.1406 0 2 0 37
    16061076 30 5 1 2.3281 0 -1 0 45
    16061082 32 6 1 20.4269 0 421.1138 0 48
    16061093 33 6 1 0.8125 0 -1 3 46
    16061097 32 6 0 286.7032 0 -1 0 38
    16061100 15 1 0 -1 0 150.9222 1 15
    16061101 21 6 1 0.2675 0 -1 0 37
    16061104 32 6 1 20.4269 0 421.1138 0 48
    16061106 21 6 0 0.1602 0 0.0611 3 24
    16061107 21 6 1 0.2675 0 -1 0 37
    16061109 32 6 0 286.7032 0 -1 0 38
    16061110 22 3 1 6.5095 0 -1 4 31
    16061113 12 5 0 57.6061 0 1.7344 0 17
    16061114 12 5 0 57.6061 0 1.7344 0 17
    16061118 29 6 1 2.4025 0 -1 0 45
    16061119 21 6 0 0.1602 0 0.0611 3 24
    16061125 33 5 1 151.5781 0 -1 0 43
    16061135 24 6 1 0.4219 0 -1 0 40
    16061137 32 6 1 0.2154 1 0.1719 1 52
    16061144 32 6 1 0.2154 1 0.1719 1 52
    16061145 33 5 1 151.5781 0 -1 0 43
    16061155 33 6 1 0.8125 0 -1 3 46
    16061156 29 6 1 0.2656 0 -1 0 45
    16061159 33 6 1 405.3438 0 570.5156 0 44
    16061165 23 5 0 0.4844 0 113.3438 0 28
    16061167 25 6 1 0.1747 1 33.875 0 46
    16061168 23 6 0 12.5133 0 -1 1 28
    16061170 25 6 1 0.1747 1 33.875 0 46
    16061173 24 6 1 0.4219 0 -1 0 40
    16061175 29 6 1 0.2656 0 -1 0 45
    16061182 23 6 0 12.5133 0 -1 1 28
    16061197 22 3 1 6.5095 0 -1 4 31
    16061200 30 5 1 2.3281 0 -1 0 45
    16061201 26 0 1 217.9223 0 -1 3 28
    16061202 26 0 1 217.9223 0 -1 3 28
    16091049 31 6 0 0.1406 0 2 0 37
    16101061 29 6 1 2.4025 0 -1 0 45

    3.2 任老师班

    学号 正确性(34) 鲁棒性(6) 性能1 性能1时间(s) 性能2 性能2时间(s) 重新修改的扣分 总分
    15231112 28 3 0 4.8217 0 -1 1 30
    16061007 27 2 1 34.5461 0 -1 0 39
    16061010 32 6 0 -1 0 -1 0 38
    16061011 29 3 1 107.7189 0 280.9996 0 37
    16061022 32 6 0 -1 0 -1 0 38
    16061023 18 5 0 0.2812 0 0.2166 1 22
    16061030 13 6 0 1.4679 0 0.125 0 19
    16061048 18 5 0 0.2812 0 0.2166 1 22
    16061103 31 4 0 1.5156 0 -1 1 34
    16061120 0 3 0 -1 0 243.1577 2 1
    16061152 29 3 1 107.7189 0 280.9996 0 37
    16061153 5 0 0 0.2475 0 0.0531 2 3
    16061161 28 3 0 4.8217 0 -1 1 30
    16061192 31 4 0 1.5554 0 -1 1 34
    16061203 5 0 0 0.2475 0 0.0531 2 3
    16131059 27 2 1 34.5461 0 -1 0 39
    16231030 27 5 1 58.7656 0 -1 0 42
    16231031 27 5 1 58.7656 0 -1 0 42
    16231247 13 6 0 1.4679 0 0.125 0 19

    3.3 表中数据的说明

    正确性和鲁棒性两列,数字代表得分。
    性能1和性能2两列,1代表正确,0代表错误。
    相应的时间列表示运行时间,运行时间为-1表示超时或无法运行。

    4. 测试点下载和说明

    4.1 测试样例下载

    为了方便同学们复查自己的问题,我们公开所有的测试样例。
    下载连接为:BUAA-SE-2018-结对作业测试样例
    提取码:snh4

    4.2 测试点说明

    这里说明一些可能引起误解或者错误人数比较多的测试点:

    • 5:该测试点中,输入的所有单词都在输出的单词链中
    • 34, 35:这两个测试点测试输入文件路径不在指令最后的情况,类似Wordlist.exe -w 34.in -r这样的指令也应该是合法的
    • 36:该测试考察题目要求中”单词链至少2个单词“这个点,所以不能有输出
    • 39:该测试点测试单词特别长的情况
    • 40:该测试点测试单词特别多的情况

    5. 总结

    总体而言,同学们在包含-r参数的测试点中错误较多,这也是本次作业的难点之一。

    性能测试的第二个测试点较难,只有一组同学做对,有两组同学做对,其中一组同学的程序的运行速度很快,运行这个性能测试只需要不到1s的时间。
    在此特别表扬1606113716061144两位同学。

    这里也给出他们两人博客的地址:

    除此之外也要表扬16061082、16061104、16061093、16061155、16061051、16061159、16061125、16061145这四组同学,他们也做得相当不错。

  • 相关阅读:
    javascript前端如何使用google-protobuf
    【Linux】Linux中常用操作命令
    MyEclipse 安装svn 插件步骤详情
    MultipartFile(文件的上传)--CommonsMultipartResolver
    oracle sql 获取本季度所有月份,上季度所有月份
    git与github安装、配置
    Java使用JaxWsDynamicClientFactory和HttpURLConnection两种方式调取webservice的接口
    三级联动
    Excel的两种导出入门方法(JAVA与JS)
    页面设置遮罩层
  • 原文地址:https://www.cnblogs.com/Aria-K-Alethia/p/10639789.html
Copyright © 2011-2022 走看看