TensorFlow基础

TensorFlow基础

SkySeraph  2017

Email：skyseraph00#163.com

更多精彩请直接访问SkySeraph个人站点：www.skyseraph.com 

Overview

TensorFlow 最初由Google Brain团队开发， Google 2015年11月9日发布的开源的AI系统（Apache 2.0），前任(身)为DistBelief， 2017年2月11日发布1.0.0版，同时支持Linux、macOS和Windows以及移动平台，包括Android和iOS。
TensorFlow一般简写为TF。
Awesome AI~

Links

• TensorFlow 官网
• TensorFlow API
• TensorFlow Tutorials
• TensorFlow GitHub

AI/DL 库

如今，AI/DL相关库非常多，Deep Learning Libraries by Language 一文中以语言为分割汇聚了几十种DL库，更多相关资料可参考这个项目的聚合awesome-ai。
其中主流的几种比较如下。

相比于其它AI库，TF突出特点如下：

• Runs not only Windows, Linux, and macOS， also on mobile devices（iOS and Android.）
• provides a Python API TF.Learn（Python API called TF.Learn2） compatible with Scikit-Learn （previously Scikit Flow/skflow）
• provides a API TF-slim (tensorflow.contrib.slim) for neural networks.
• Several other high-level APIs such as Keras or Pretty Tensor.
• includes highly efficient C++ implementations of many ML operations
• a great visualization tool TensorBoard
• launched a cloud service
• A dedicated team, a growing community

Keys

Graph/Tensor

• Graph，图。表示你所搭建的结构
• Session，会话。表示你这次要运行程序
• Tensor，张量 表示数据
• Variable，表示变量
• Feed和Fetch，进行任意的操作赋值或者获取数据
• Node，表示节点，表明数据在图中流动经过的点
• Operation，表示节点的操作，通过operation来加工处理数据
• Data Flow Graph(数据流图) TF用于定义计算结构的有向图， 其节点表示运算（Operation(Op)），其边表示数据（data set（tensors））的输入和输出（Op 传入和从 Op 传出）

TF中的图描述了计算过程，图通过Session的运行而执行计算。Session将图的节点们(即ops)放置到计算设备(如CPUs和GPUs)上，然后通过方法执行它们；这些方法执行完成后，将返回tensors。在Python中的tensor的形式是numpy ndarray对象，而在C/C++中则是tensorflow::Tensor.
TF使用graph来表示计算任务/处理过程. 在被称之为Session的上下文 (context) 中执行图. 使用 tensor 表示数据. 通过Variable 维护状态. 使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据。

TF中使用Tensor来表示所有数据的数据结构，零阶张量为 纯量或标量 (scalar) 也就是一个数值. 比如 [1] 一阶张量为 向量 (vector), 比如 一维的 [1, 2, 3] 二阶张量为 矩阵 (matrix), 比如 二维的 [[1, 2, 3],[4, 5, 6],[7, 8, 9]]。

TPU

TPU（ tensor processing unit）： 张量处理器， Google为机器学习定制的专用芯片（ASIC），专为Google的深度学习框架TensorFlow而设计。
与图形处理器（GPU）相比，TPU采用低精度（8位）计算，以降低每步操作使用的晶体管数量。降低精度对于深度学习的准确度影响很小，但却可以大幅降低功耗、加快运算速度。同时，TPU使用了脉动阵列的设计，用来优化矩阵乘法与卷积运算，减少I/O操作。此外，TPU还采用了更大的片上内存，以此减少对DRAM的访问，从而更大程度地提升性能。

TensorBoard

• Here~

GPU设置

• GPU device
  “/cpu:0”: 你机器的CPU；
  “/gpu:0”: 你机器的第一个GPU；
  “/gpu:1”: 你机器的第二个GPU；

• 指定GPU。
  with tf.device(‘/cpu:1’):

  a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
  ......
  

• 资源分配。TF默认会使用当前所有GPU资源，控制资源可以采用动态申请或者限制GPU使用率。

  • 动态申请：
    config = tf.ConfigProto()
    config.gpu_options.allow_growth = True
    session = tf.Session(config=config, …)

  • 限制GPU使用率：
    config = tf.ConfigProto()
    config.gpu_options.per_process_gpu_memory_fraction = 0.4
    session = tf.Session(config=config, …)

References & Recommends

• Deep Learning Libraries by Language
• deepframeworks 深度学习框架的评估与比较
• Comparing Top Deep Learning Frameworks
• 深度学习框架大战正在进行，谁将夺取“深度学习工业标准”的荣耀？
• Tensorflow-Cheatsheet，ML-Cheatsheet
• Tensorflow-Cheatsheet
• tensors
• TPU
• using_gpu

---

By SkySeraph-2017

SkySeraph cnBlogs

本文首发于skyseraph.com：“TensorFlow基础”