BGM：《血界战线》ED
中文名叫《方糖歌曲和苦味舞步》 好像也有叫 《甜蜜情歌和苦涩舞步》 的；
原版网易云没版权，这是双声道版，也还行~~这贝斯手很灵性emmm

《Hands-On Machine Learning with Scikit-Learn and TensorFlow》笔记
目前结合毕设，主要只看TensorFlow部分，也就是DL的部分——

• 09 Up and Running with Tensorflow
  tensorflow的基本使用
  • Jupyter - Linear_Regression(Normal_Equation)
    正规方程实现线性回归
  • Jupyter - Linear_Regression(Gradient_Descent)
    梯度下降实现线性回归
• 10 Introduction to Artificial Neural Networks
  简单的神经网络
  • Jupyter - DNN_MNIST(High-level_API)
    高层API操作实现DNN来完成手写体识别
  • Jupyter - DNN_MNIST(Plain)
    底层操作实现DNN来完成手写体识别，宽度、深度、激活函数的选择
• 11 Training Deep Neural Nets
  深层神经网络训练中的问题与相关的解决技术
  常见的配置为：
  初始化（Initialization）：He Initialization
  激活函数（Activation function）：ELU
  归一化（Normalization）：Batch Normalization, BN
  正则化（Regularization）：Dropout
  优化器（Optimizer）：Adam
  学习计划（Learning rate schedule）：无（Adam具备自适应学习率）
  • Vanishing/Exploding Gradients Problem
    梯度爆炸与梯度消失：随机初始化、nonsaturating函数、批量归一化、梯度裁剪
  • Reusing Pretrained Layers
    复用与训练层：加速训练过程、解决标注数据少等问题
  • Faster Optimizers
    优化器（Momentum, NAG, AdaGrad, RMSProp, Adam）等、训练稀疏模型、学习计划
  • Avoiding Overfitting Through Regularization
    正则化技术：提前终止、L1和L2范数惩罚、Dropout、最大范数、数据增强等
• 12 Distributing TensorFlow Across Devices and Servers
  暂略
• 13 Convolutional Neural Networks
  CNN原理、CNN的tensorflow实现、CNN资源占用计算、几个常见的CNN典型框架
• 14 Recurrent Neural Networks
  RNN原理【留坑待填】、RNN的tensorflow实现、应用（词嵌入、机器翻译）
• 15 Autoencoders
  自编码器原理、自编码器的实现与训练、不同约束下的自编码器
• 16 Reinforcement Learning
  暂略

其他：CS20SI小记

2018-04-25
呀嘿，真是高产的四月。
DL部分基本算是读完了吧，除了分布计算和强化学习的部分，先暂时搁着；
还有些地方尤其是原理的部分还需要填坑完善，一边读论文或者其他书籍一边慢慢填上这些坑吧~