fzu2021人机交互技术笔记

填空 2x5 | 名词 5x4 | 简答 10x3 | 论述 20x2

人机交互HCI是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的科学

HCI的发展阶段
命令行 图形用户界面 自然和谐的交互

计算机图形学之父，CAD先驱 Ivan Sutherland & SketchPad 1963 1988 Turing Award
发明鼠标 Douglas Engelbart道格拉斯·恩格尔巴特 1997年，ACM图灵奖

视觉, 听觉, 味觉, 触觉, 嗅觉

图画线索:
单眼线索, 线条透视线索, 空气透视线索, 空气散射光线，导致远处模糊, 纹理梯度线索, 遮挡线索, 阴影线索, 大小线索, 图像模糊, 运动视差
双眼线索: 双眼视差——立体视觉

大小恒常性: 知觉距离, 熟知大小, 地平线

人能感觉到不同的颜色，这是眼睛接受不同波长的光的结果。
颜色模型是指某个颜色空间的一个可见光子集，它包含某个颜色域的所有颜色

RGB颜色模型（加色模型）, CMYK颜色模型（减性原色系统）
RGB与CMYK转换

• K=min((255-R),(255-G),(255-B))
• C=255-R-K
• M=255-G-K
• Y=255-B-K

HSV颜色模型
H参数表示色彩信息，纯度S为一比例值，范围从0到1，V表示色彩的明亮程度，范围从0到1

格式塔心理学，又称为完形心理学

• 一个最早的进行知觉组织研究的学派
• 主张人脑的运作原理是整体的，"整体不同于其部件的总和"

格式塔知觉组织原理

• 完形律：具有最好、最简单和最稳定特征的结构最有可能被知觉为一个目标。最重要，其它原则多数服从于完形律
• 接近律：空间距离接近者容易被知觉为一个整体
• 相似律：相似（颜色、形状、纹理）的图形会被认为是一个整体
• 连续律：倾向于把经历最小变化或最少阻断的直线或者圆滑曲线知觉为一个整体
• 闭合律：把不完全图形补充为一个完全图形的倾向
• 协变律：以某一整体而运动的目标有被知觉为一个整体的倾向

情感因素会影响人的感知和认知能力
计算机系统设计成能够像人类一样识别和表达感情，这被称为“情感计算”

人机交互技术 p68~ 图很多
命令行界面
第一代人机界面，人机交互方式只能是命令和询问方式，用户输入文本命令，系统也以文本的形式表示对命令的响应
缺点：

• 界面和应用没有分开；
• 用户需要记忆很多命令，且输入命令需严格遵守语法规则；
• 界面不友好，难于学习，错误处理能力弱，交互自然性差
  优点：
• 适合熟练专业用户使用，工作效率高。目前大多数OS依然保留了命令行方式。

文本菜单
界面输出只能为静态的文本字符
优点：

• 用户不必记忆功能命令，缩短了用户的培训时间，减少用户的击键次数，错误处理能力也有了显著提高。
   缺点：
• 菜单层次过多，选项过于复杂，用户须逐级选择，不能一步到位，交互过程太慢。

图形用户界面
又称为WIMP界面，可看作是第二代人机界面
由窗口(Windows)、图标(Icons)、菜单(Menus)、指点设备(Pointing Device)四位一体，形成桌面(Desktop)
图形用户界面的共同特点是以窗口管理系统为核心，使用键盘和鼠标器作为输入设备
窗口管理系统除了基于可重叠多窗口管理技术外，广泛采用的另一核心技术是事件驱动(Event-Driven)技术。

图形用户界面的三个重要思想

• 桌面隐喻, 在用户界面中用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力
• 所见即所得在WYSIWYG, 交互界面中显示的用户交互行为与应用程序最终产生的结果是一致的。
• 直接操纵, 用光笔、鼠标、触摸屏或数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程

直接操纵
对象是动作或数据的形象隐喻, 用指点和选择代替键盘输入, 操作结果立即可见, 支持逆向操作

隐喻的分类: 直接隐喻, 工具隐喻, 过程隐喻

对输入过程的处理模式

• 请求模式( Request Mode ), 输入设备的启动是在应用程序中设置的,需要输入数据时，暂停程序的执行
• 采样模式（Sample Mode）, 当应用程序遇到取样命令时，读取当前保存的输入设备数据。：当应用程序的处理时间较长时，可能会失掉某些输入信息
• 事件模式（Event Mode）, 输入设备把数据保存到一个输入队列，也称为事件队列，所有的输入数据都保存起来，不会遗失。

图形交互技术

• 橡皮筋技术: 被拖动对象的形状和位置随着光标位置的不同而变化。不断地进行画图－擦除－画图的过程
• 操作柄技术: 可以用来对图形对象进行缩放、旋转、错切等几何变换。先选择要处理的图形对象，该图形对象的周围会出现操作柄
• 几何约束
• 引力场
• 拖动
• 三维交互技术

多通道用户界面

• 使人机界面能支持时变媒体（time-varing media），实现三维、非精确及隐含的人机交互
• 综合采用视线、语音、手势等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。

多通道用户界面目标
交互的自然性
交互的高效性
与传统的用户界面特别是广泛流行的WIMP/GUI兼容

多通道用户界面的基本特点
 使用多个感觉和效应通道 并行、协作的通道配合关系
 允许非精确的交互 以充分性代替精确性
 三维和直接操纵 看、听和操纵三维的客观对象，并希望及时看到这种控制的结果
 交互的双向性 双向性的特点，如视觉可看、可注视，手可控制、可感触等;
 交互的隐含性 是在自然的交互过程中隐含地说明

虚拟现实系统向用户提供沉浸（immerse）和多感觉通道（multi-sensory）体验
虚拟现实系统具有三个重要特点：
 沉浸感（Immersion）
 交互性（Interaction）
 构想性（Imagination）
目前虚拟现实通常由视觉、听觉和触觉三种刺激构成。

从虚拟环境对人的作用来看，虚拟现实的概念模型可以看作为“显示/检测”模型。
从人对虚拟环境的作用来看，也就是从用户的角度看，上述概念模型可以看作“输入/输出”模型。

多媒体用户界面技术侧重解决计算机信息表现及输出的自然性和多样性问题
多通道技术侧重解决计算机信息输入及理解的自然性和多样性问题

设计图形用户界面的原则
1.一般性原则

• 界面要具有一致性:
• 常用操作要有快捷方式:
• 提供必要的的错误处理能力:
• 重要操作要有信息反馈:
• 允许操作可逆:
• 联机帮助:
• 合理划分并高效地使用显示屏:

2.窗口的设计

• 多文档界面：有子窗口
• 单文档界面：无子窗口
• 选项卡式界面：MDI的版本之一，也称为工作簿

3.颜色的使用

4.图标的设计

• 图标的图形应该和目标的外形相似。
• 可在图标中附加上简要的文本标注。

5.按钮的设计

• 按钮应该具有交互性，应该有3到6种状态效果

6.屏幕布局的设计

• 平衡原则
• 预期原则
• 经济原则
• 顺序原则
• 规则化

7.菜单界面的设计

• 命令项、菜单项和窗口项
• 按功能组织菜单 广而浅的菜单效果好 常选菜单放前面 设置快捷键 充分利用菜单选项的使能与禁止、可见与隐藏属性

8.填表输入界面的设计

用户是使用某种产品的人
1）用户是人类的一部分；
2）用户是产品的使用者

使用者与产品之间的交互质量：有效性（ Effectiveness ） 、效率（ Efficiency ） 和用户主观满意度（Satisfaction）。
用户体验：品牌（Branding）、使用性（Usability）、功能性（Functionality）、内容（Content）
用户的分类：偶然型用户、生疏型、熟练型、专家型
用户界面从两个维度迎合潜在的广泛经验：计算机经验和领域经验

用户的观察和分析
 情境访谈（Contextual Interviews）
 焦点小组（Focus Groups）
 单独访谈（Individual Interviews）

常用的分析方法是对象模型化: 将用户分析的结果按照讨论的对象进行分类整理，并且以各种图示的方法描述其属性、行为和关系
描述用户行为的工具有很多，目前经常提到的是统一建模语言（ Unified Modeling Language，UML）

p158 图书馆管理系统 UML例子
用例图、时序图、协作图(时序图简化?)

使用行为分析
一般使用用例图描述，它从参与者的角度出发来描述一个系统的功能
每个使用行为都是由若干步骤组成的，这些步骤可以使用顺序图进行描述
用户完成任务的步骤又被称为工序。工序约束陈述是工序分析的最直接的方法
一览表的形式描述系统中的所有用户及其可能需要完成的所有任务
任务金字塔描述了不同层次的任务之间的关系

故事讲述和情节分析：通过描述实际的任务场景可以非常直观的进行任务描述
p171 图书馆系统交互故事，就是用例子的形式介绍系统的使用流程

以用户为中心设计的四个重要原则：及早以用户为中心 综合设计 及早并持续性地进行测试 反复式设计

OVID方法的关键：确定交互中涉及的对象，并把这些对象组织到交互视图中。
 其中，对象来自用户的概念模型
 视图是支持特定用户任务的对象的有机组合
 交互就是那些在交互界面中对对象执行的操作

OVID方法的过程
对象建模分析：画UML用例图
视图抽象设计：区分功能模块
概要设计：(纸上)画出抽象视图的界面设计
视图的关联设计：功能间如何跳转，如 登录->查询航班->航班信息列表、登录->失败页面 ...
视图的全面设计：确定各个视图的具体内容和大致布局(原型?)，接着就是实际开发

人机交互界面的表示模型
 行为模型：主要从用户和任务的角度考虑如何来描述人机交互界面
 结构模型：主要从系统的角度来表示人机交互界面络和产生式规则
 表现模型：描述用户界面的表现形式，由层次性的交互对象组成

行为模型

GOMS模型

GOMS是在交互系统中用来分析建立用户行为的模型。它采用“分而治之”的思想，将一个任务进行多层次的细化

• 通过目标(Goal)、操作(Operator)、方法(Method)以及选择规则(Selection) 四个元素来描述用户的行为
• 目标就是用户执行任务最终想要得到的结果
• 操作是任务分析到最低层时的行为，是原子动作
• 方法是描述如何完成目标的过程，本质上来说是内部的算法
• 选择是用户要遵守的判定规则，以确定在特定环境下所要使用的方法

GOMS的局限性
没有清楚的描述错误处理的过程，假设用户完全按一种正确的方式进行人机交互
对于任务之间的关系描述过于简单，只有顺序和选择
把所有的任务都看作是面向操作目标的

LOTOS模型

Language Of Temporal Ordering Specification，时序关系说明语言
国际标准形式描述语言，无二义性，适于描述具有并发、交互、反馈和不确定性等特点的并发（concurrent）系统中的行为

LOTOS算符主要有以下几种：
T1 ||| T2（交替Interleaving)
T1 [] T2（选择Choice)
T1 | [a1, ..., an] | T2（同步Synchronization)
T1 [> T2 （禁止Deactivation)
T1 >> T2（允许Enabling)

LOTOS模型很好的描述了任务之间的时序约束关系
用GOMS模型描述任务的分解过程，而用LOTOS给出子任务之间的约束关系
LOTOS与GOMS结合，可以清楚地了解整个目标层次及各目标之间的约束关系。但与GOMS同样存在无法描述目标异常结束的缺陷

UAN模型

UAN---User Action Notation, 用户行为标注
主要描述用户的行为序列以及在执行任务时所用的界面物理对象
兼有行为模型和结构模型的一些特点，主要用于原子目标的描述
采用一种表格结构来表示任务
预定义一些标志符： 用户动作标志符 条件标志符
UAN模型更接近于实现，表格分三列；用户行为、界面反馈、界面状态、很类似编程语言
UAN模型在精确刻画各成分之间的各种平行和串行的时序关系方面尚显不足

G-U-L模型

将GOMS、UAN、LOTOS模型结合而成
用GOMS原理为基础进行任务分解，建立基本的行为模型，原子操作由UAN模型描述，在此基础上，运用LOTOS算符来表示任务目标之间的时序关系

结构模型

行为模型是从用户任务和完成目标角度描述界面模型
结构模型从系统组成角度，描述如何通过交互序列完成交互任务。着重描述系统的反应和行为。
行为模型强调做什么，结构模型强调怎么做

产生式规则-ProductionRule

又称为上下文无关文法
系统不断用产生式规则来检测用户的输入是否与这些条件相匹配。
若匹配则激活相应的动作，规则定义的顺序并不重要

产生式规则系统可以是：事件引导， 状态引导， 混合引导

事件引导
事件主要有三种类型：用户、内部、系统响应事件
构造一个对话控制器，主要负责事件的产生和规则的匹配
形式：用户事件+内部事件作为产生式规则左部，系统响应为右部

状态引导
在系统内存保存的不再是动态的随时进出的事件，而是一些表示系统的当前状态的属性
对于某一特定的属性，如果前面的状态需要改变，就在产生式右部列出，否则状态不变
形式：用户事件+内部事件作为产生式规则左部，系统响应为右部，但右部不用尖括号，而且没变的状态无需出现

混合引导
可以将事件和状态结合起来，采用下面的
形式：event:condition→ action

产生式规则总结
 无法描述误操作
 界面复杂时，状态、事件复杂，产生式过多，要求产生式匹配算法性能高

状态转换网络-StateTransitionNetwork

基本思想：定义一个具有一定数量状态的转换机，称之为有限状态机FSM
FSM从外部世界中接收到事件，并能使FSM从一个状态转换到另一个状态。

两种最基本的状态转换网络，状态转换网络（StateDiagrams）和扩展状态转换网络(StateCharts)，后者是前者的一个扩展
假设系统由n个状态组成，状态之间的转换最多可能有n*(n-1)个。

 选项条件(conditions)，表示导致状态的改变的条件；
 选项动作(actions)，表示系统在改变状态时将执行什么动作。

传统状态转换网络
优点

• 比相应的文本解决方案更易于设计、理解、修改和文档化
• 它给出了对行为的精确的、甚至是格式化的定义。

局限性

• 最大的缺陷是需要定义出系统的所有状态，在一个较大的系统中，系统会很快崩溃
• 状态的数目是呈指数级增长的，直接导致了状态转换网络过于复杂、无法实际应用。

扩展状态转换网络
采用面向对象方法来为每个类定义单独的状态转换网络，解决状态爆炸的问题

状态转换模型(总的?)
优点

• 具有良好的描述串行和顺序行为的能力
• 比相应的文本解决方案更易于设计、理解、修改和文档化
• 它给出了对行为的精确的、甚至是格式化的定义
  缺点
• 状态的爆发式增长问题
• 并发及其他行为的描述能力差
• 虽然是一个结构模型，但难以实现

模型转换整体框架

• 行为模型使用G-U-L模型
• 结构模型采用层次状态转换网络(扩展的那个)
• 用户包含两种用户，领域专家和设计者

模型转换基本思想

• G-U-L中体现的层次关系转换到状态转换网络中也体现出层次的关系
• G-U-L中的每个目标都对应一个状态转换网络
• 子目标的状态网络应该嵌套在上层目标对应的状态网络中

对转换后的数据，存储的是状态转换网络中表示转换的弧

GUL各种约束关系对应的状态转换网络——看lb整理的pdf

[](*G0, G1) 目标循环的选择
>>(G0, G1) 当G0成功结束后才允许G1执行
|||(G0,G1)，表示两个目标之间一种任意的组合来执行完成
[>(G0,G1)，一旦G1任务被执行，G0便无效（不活动）

思考和作业 p278
1.设计一个“在图书馆借阅图书”任务的GOMS模型。要求：结合任务设计的背景知识，熟练运用GOMS原理，从GOMS的四个方面完成任务模型的创建。
2.请用状态转换图描述一个绘制折线的对话过程。
3.画出[](G0, G1, G2)的状态转换网络。
4.设计一个“用户使用自动取款机”任务的LOTOS模型，并转换为状态转换网络。

超文本（Hypertext）
是一种使用于文本信息的组织形式，是一种非线性的信息组织形式。它使得单一的信息元素之间可以相互交叉引用

Web界面设计基本原则
 1．以用户为中心
 2．一致性
 3．简洁与明确
 4．体现特色
 5．兼顾不同的浏览器
 6．明确的导航设计

Web界面设计技术基础
 1. 超文本标记语言HTML
 2．客户端脚本语言JavaScript
 3．JavaApplet
 4．服务器端脚本语言

衡量Web站点可用性的5个方面：
 易学性
 有效性
 易记性
 错误
 满意程度

新型移动设备的感知设计
 1.多点触控
 2.地理定位
 3.运动方向
 4.手持定向
 5.语音输入
 6.视频/图片
 7.实时通知
 8.设备连接
 9.靠近识别
 10.环境识别
 11.电子标签（Apple专利）
 12.触觉反馈（Apple专利）
 13.生理识别（Apple专利）
 14.陀螺仪（ iPhone4）
 15.双面摄像（ iPhone4）

输入方式
键盘输入 笔输入 多点触控 语音识别

移动界面设计的新问题
资源相对匮乏 移动设备的种类繁多 连接方式复杂 最大问题就是界面的定制

移动界面的设计原则
 简单直观
 个性化设计
 易于检索
 界面风格一致
 避免不必要的文本输入
 根据用户的要求使服务个性化
 最大限度地避免用户出错
 文本信息应当本地化

移动设备用户体验：
多点触控多任务一贯性晌应性
易用性
可用性

可用性：特定的用户在特定的环境下使用产品并达到特定目标的效力、效率和满意的程度

定义基于以下四点
以用户为中心
使用产品的目的是创造价值
用户指为了完成任务而忙碌工作的人易用由用户判断

可用性五个方面：
有效性、效率、吸引力、容错能力、易千学习

增强可用性好处：
提高生产力
增加销售和利润
降低培训和产品支持的成本减少开发时间和开发成本减少维护成本
增加用户满意度

可用性工程：改善系统可用性的迭代过程

生命周期：
了解用户
竞争性分析
设定可用性目标
用户参与的设计
迭代设计
产品发布后的工作

所谓迭代设计就是“设计、测试、再设计”，持续不断的改进设计
支持可用性的设计原则：可学习性、灵活性、鲁棒性

可用性评估：检验软件系统的可用性是否达到了用户要求

可用性评估方法：
用户模型：用数学模型模拟人机交互过程
启发式评估：用相对简单、通用、有启发性的可用性原则进行评估

可用性启发原则：
系统状态可见性
系统与用户现实世界相互匹配用户控制与自由
一致性与标准
错误预防
识别而不是回忆
使用的灵活性与效率
美观而精炼的设计
帮助用户认识、诊断和修正错误
帮助和文档

认知性遍历：
用户测试：
实验室测试：
前期准备工作：
明确测试目的
准备测试环境
准备测试设备
确定测试过程中各种角色分配
测试执行：
制定测试计划
选择测试者
准备测试材料
执行引导测试
执行正式测试
分析最终报告
可用性测试的评价现场测试
用户问卷调查：
放声思考法：（边做边说法）