上一篇讲了产品经理也能动手实践的AI（三）- 深入图像识别，在线辨猫，形象的说明了SGD的原理，就是如何将一个线性函数你和到我们预设的散点图上。今天主要讲2个案例，1个核心模块，分别是卫星图像的多标签识别，图片分割着色，数据块这个核心模块。
这也是图像识别的最后一课了，我承认到这里可能就有点枯燥了，因为有很多需要消化的东西，不过我觉得重点是大概理解这是怎么一回事儿，以及把自己关注的点研究明白，不见得每个细节都要在一开始搞明白。
接下来就会讲解NLP和协同过滤，而且这节课也没有什么特别全新的东西，都是细节上的提升或者更详细的讲解。而我印象最深的就是u-net这个模型，以及他的lr（指代Learning Rate学习率，下文都会直接用lr来代替）训练方式，是先增后降。
1.概览
本节课主要讲解的是多标签识别（用卫星图像预测天气），图像分割（用不同颜色区分行人、道路、房子等），还有支持这两种类型的核心模块 - data block。
这是卫星图片，以及对应的标签
这是如何将一副路边的图像，用无人驾驶的视角按类别变成色块
2.1核心流程
下载数据（这一节主要来源于公共数据库）
创建databunch（data block的核心流程）
准备输入的数据
划分训练组和验证组数据
给输入的数据打标签
「可选」变形
「可选」增加测试组
转化成databunch
创建learner
开始训练
调优
2.2核心数学概念
U-net：相对于CNN卷积神经网络，有更好的效果，普通的CNN只做到了左侧下降的把图片拆成一片一片的小块的过程。
Sigmoid函数：又叫做S型生长曲线，是以前神经网络用的最多的函数，现在都用ReLU
ReLU（rectified linear unit）：线性整流函数，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。
通用逼近定理：当有一组线性和非线性函数，你就可以做出一个无线接近任意函数的函数。
2.3核心机器学习概念
flip翻转：在transform的时候，可以随机水平翻转或者垂直翻转图像，来提高训练的准确度，默认是水平翻转，比如训练识别猫的AI，而识别卫星图像的就可以同时垂直旋转；
warp透视：和45度拍照显脸小是一个道理，就相当于对一个正面拍摄的照片做了一个透视处理，虽然都是你本人，但是在图像上呈现的效果不同，所以这样的处理可以提高识别准确度；
normailize规范化：后面会专门讲
threshold阈值：主要是多标签时用，因为识别时会有N个结果，不像单标签，选最大的那个就行（argmax），这里要选threshold值以上的；
DataSet：数据集，只有getitem和len属性
DataLoader：用于把DataSet中的数据，按要求抽取成一个个mini-batch
DataBunch：训练组DataLoader和验证组DataLoader的组合
Mixed Precision Training 混合精确训练：创建learner时用16bits代替32bits，需要GPU支持
2.4核心Python、FastAI、Jupyter等命令
！：是在Jupyter Notebook中执行命令行的操作，如：# ! conda install -y -c haasad eidl7zip
Pandas：处理表格数据和常用库，比如查看数据：df = pd.read_csv(path/'train_v2.csv')
partial：Python3的特性，可以非常方便的生成一个具备固定参数的函数，这样代码看起来就更好懂，比如：acc_02 = partial(accuracy_thresh, thresh=0.2)
.shape：Image.shape 会给出这个tensor的大小，主要是包含channels，类似于维度，这个之后会讲 (channels x height x width)
.plot：把学习过程的数据打出来，loss，lr，等各种指标
lambda：匿名函数，即没有函数名的函数，例如输入x返回x+1：result = lambda x:x+1
双斜杠：Python里相除取整的意思，比如size = src_size//2
3.1实例详细分析（用卫星图像预测天气）
上一节讲的是通过Google image自己找图片然后自己下载下来，打上标签。这一届直接用Kaggle竞赛提供的数据。
下载数据
注册Kaggle
安装Kaggle下载工具 ! pip install kaggle --upgrade
授权
创建API Token - kaggle.json
下载并传到自己的Jupyter目录
接受该卫星项目许可（不然会遇到下载失败情况）
下载数据下载 kaggle competitions download -c competition_name -f file_name.
解压缩数据 需要安装edil7zip
创建DataBunch
先养成查看数据的习惯，看目录结构，看数据样本 pd.read_csv
准备输入的数据 ImageFileList.from_folder(path)
划分训练组和验证组数据 random_split_by_pct(0.2)
给输入的数据打标签 label_from_csv()
「可选」变形 transform(tfms, size=128)
「可选」增加测试组
转化成databunch databunch().normalize()
训练模型
调优
核心小技巧：先训练128x128尺寸的图像，然后再用迁移学习，训练256x256尺寸的图像，这样又快又准
3.2实例详细分析（图像分割，用不同颜色区分行人、道路、房子等）
下载数据，通过内置的Camvid数据库
查看数据，找到一条数据，用open_mask打开看看
创建databunch SegmentationItemList.from_folder(path_img)
创建learner 使用u-net代替CNN来训练模型
开始训练
调优
3.3原理详细分析
learn.recorder.plot_losses()
learn.recorder.plot_lr()
为什么lr会先升后降呢，这就是fit_one_cycle做的方式，因为相对而言，这种学习效率更高，形象点说就是先探探路，然后再大步走，感觉方向对了，就逐渐放慢脚步，然后到达那个最优点。如下演示的是以一个固定的lr，如下分别是lr为0.1，0.7，0.99，1.01时的机器的学习路径，看到0.7是最快接近底部，也就是loss最低的时候，而过低的lr和过高的lr都会影响效率，而高到一定程度反而会无法触达底部。
这是一种比较理想的情况，而实际应用中不会有这么平滑的弧度，肯定有各种小坑，而那时，固定的lr很容易陷到某一个小坑中而得到了不够理想的准确度，俗称拟合不足。
所以这里采用了更加动态的lr，只需要设定一个上限值，系统就会自动生成一个lr的抛物曲线，然后得到更准确的模型。
4.最后
本节课还讲了一个用回归模型识别头部中心点的例子，以及如何用IMDB数据预测评论的正负面情绪（NLP），之后的课程有更详细的讲解，所以这里就先不展开。
相关阅读
产品经理也能动手实践的AI（三）- 深入图像识别，在线辨猫
产品经理也能动手实践的AI（二）- 做个识别宠物的AI
产品经理也能动手实践的AI（一）- FastAI介绍
人人都能搞懂的AI（四）- AI对社会的影响
如果你喜欢思考，别忘记关注+置顶公众号哦！
我是Hawk，8年产品经理，目前专注AI机器学习。
好看的人都点了在看
