最优化技术在决策过程中起着至关重要的作用。
决策：指的是在多个不同的备选项中做出选择，我们期望做出最好的选择
备选项的好坏程度可以采用目标函数或者是性能指标进行度量。
最优化的解决就是在给定目标函数下做出最好的选择问题
随机搜索算法：粒子群优化算法、遗传算法
复杂适应系统表现出来的不确定性、不可预测性、非线性等特点
经典科学方法显得过于确定，过于简化。
涌现现象最为本质的特征是由小到大、由简入繁 。沃尔德罗普认为: “复杂的行为并非出自复杂的基本结构, 极为有趣的复杂行为是从极为简单的元素群中涌现出来的。生物体在共同进化过程中既合作又竞争, 从而形成了协调精密的生态系统; 原子通过形成相互间的化学键而寻找最小的能量形式, 从而形成分子这个众所周知的涌现结构; 人类通过相互间的买卖和贸易来满足自己的物质需要, 从而创建了市场这个无处不见的涌现结构。”涌现现象产生的根源是适应性主体在某种或多种毫不相关的简单规则的支配下的相互作用。主体间的相互作用是主体适应规则的表现, 这种相互作用具有耦合性的前后关联, 而且更多地充满了非线性作用, 使得涌现的整体行为比各部分行为的总和更为复杂。在涌现生成过程中, 尽管规律本身不会改变, 然而规律所决定的事物却会变化, 因而会存在大量的不断生成的结构和模式。这些永恒新奇的结构和模式, 不仅具有动态性还具有层次性, 涌现能够在所生成的既有结构的基础上再生成具有更多组织层次的生成结构。也就是说, 一种相对简单的涌现可以生成更高层次的涌现, 涌现是复杂适应系统层级结构间整体宏观的动态现象。
复杂适应系统是由适应性主体相互作用、共同演化并层层涌现出来的系统。霍兰围绕适应性主体这个最核心的概念提出了在复杂适应系统模型中应具备的七个基本特性, 分别是聚集、非线性、流、多样性、标志、内部模型以及积木。其中前四个是复杂适应系统的通用特性, 它们将在适应和进化中发挥作用; 后三个则是个体与环境进行交流时的机制和有关概念。
主体通过聚集可以形成更高一级的主体———介主体( meta-agents) 。这些介主体又能够进行再聚集, 产生介介主体( meta-meta-agents) 。这个过程重复几次后, 就得到了复杂适应系统的层次组织。
在复杂系统的演变过程中, 较小的、较低层次的个体通过某种特定的方式结合起来, 形成较大的、较高层次的个体, 这是一个十分重要的关键步骤。这往往是宏观形态发生变化的转折点。然而对于这个步骤, 以往基于还原论的思想方法是很难加以说明和理解的。聚集不是简单的合并, 也不是消灭个体的吞并, 而是新类型的、更高层次上的个体的出现; 原来的个体没有消失, 而是在新的更适宜自己生存的环境中得到了发展。
论是流还是网络, 皆随时间而变化, 它们是随着时间的流逝和经验的积累而反映出变易适应性的模式。
股市波动在本质上是一种复杂多变的“生命运动”，而不是传统经济学认为的钟摆式的“机械运动”，其典型特征包括：代谢性、趋利性、适应性、可塑性、应激性、变异性和节律性等。这就是为什么股市波动既有一定规律可循，又无法被定量描述和准确预测的最根本原因。
梯度下降可以用于前馈神经网络的训练
神经网络问题恰与无约束优化算法框架完美契合
复杂自适应理论（CAS）是指系统中个体能够与环境中的其他个体进行交流，在这种交流的过程中“学习”，或“积累经验”不断进行演化学习，并且根据学到的经验改变自身的结构和行为方式。
各个底层个体通过相互间的互交和交流，可以在上一层次和整体层次上突显出新的结构、现象和更为复杂的行为，如新层次的产生，分化和多样性的出现，新聚合的形成，更大个体的出现等