在上次的学习中我学习了如何读取模型，现在我们已经了解了如何训练和如何读取模型，于是我就想做一些真正的应用，如何才能将机器学习应用起来，或者说如何给别人用，这个是需要思考的问题，结合前一段时间学习的通过python搭建服务器，我想到，是不是可以将我们的深度学习的模型也打一个包然后通过web服务的形式给用户使用呢？我觉得这是一个好想法，因此我开始着手进行工作．抛开服务器部分不谈，我们先来谈谈学习过程这个部分.
为了能够将模型进行更好的模块化，参考网上资料，我将整个过程分为三个模块，分别为：
今天就tensorflow训练好的模型的存取问题进行一些讨论，主要翻译了一下一篇英文博客，另外加上了一些自己的尝试和处理经验，英文博客的地址为：http://cv-tricks.com/tensorflow-tutorial/save-restore-tensorflow-models-quick-complete-tutorial/ 这个是官方的一个说明，我先翻译这个文章，如果英文好的可以直接跳过，主要内容为：
文章主要分为四个部分，第一个部分的介绍我们不进行翻译，相信对tensorflow有基本了解的同学都能懂，另外前几篇博客中都有介绍，我直接从第二个部分开始翻译：
我不知道应该说些什么，应该做些什么。这样的经历是我从来未曾有过的，我想哭可是眼泪却留不下来，
以前的时候总是以为自己可以什么都不管什么都不顾，可是到头来才发现自己原来真的没有用，其实我
没有办法保护任何人不受到伤害，我没有办法给任何人承诺。尽管是早有准备的事情，可是到头来依然
伤心得不能自已。
请原谅我的残忍，在情人节和新年的时候告诉你这么残忍的消息，可是我想我们都应该明白，这个世界
对于我们来说太大，太复杂。你不能选择自己生活的环境，不能选择自己的父母，不能改变过去的一
切。而我也不能抛下自己的家人，自己的父母，我们都不再年轻，偏见的力量太强大，强大到目前的我
们没有还手之力，我知道你已经在很努力的做了，这不是你的错，都是我的错，在这些年里我一直觉得
只要我工作了，只要我能够坚定下来，我一定能够说服爸妈，能够说服所有人。可是事实证明我错了，
我没有能够做到我承诺的事情，我真是一个没用的人。我做过一些承诺，可是却没有做到，我希望你恨
我，而不是恨自己，我希望你能够过得好，我希望你能够不要用我的过错折磨自己，回想这七年的时间，
现在对我来说都如做梦一般。爱情这个东西真是一个美好的东西，可是美好的食物总是轻的，总是易碎
的需要所有人用心呵护，而现实却像一把固执的大锤想要毁灭那些看起来美好的东西。
我想我们都应该坚强，有些痛苦只能够我们自己去承受，谁也没法代替。有些痛苦的创伤只能由时间来
抹平，谁也没法修复。时间会带走我的痕迹，也会抹去你留来的味道，然后我们会更加努力的生活，虽
在未来没有我的参与，可是我是相信你的，我知道你能做好，你一直都能够很好的生活，你一直都能够
生活得比我好，而我也会在没有你的日子慢慢摸索一个人的生活。
对不起，在这个情人节和新年的时候给你造成了这么大的伤害，可是如果结局是注定的，我们像鸵鸟一
将头埋在翅膀之下又有什么意义呢，希望你能过得好，希望以后会有一个人比我更爱你，希望他能够为
你抵挡不管是来自前方还是来自身后的风雨。
话不多说，能够用代码解决的问题从来不用多说话，整个转换代码如下在excel中新建一个脚本，复制到VBA中修改文件所在的路径然后运行就可以了：1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52Sub SaveToXls()
Dim fDir As String
Dim wB As Workbook
Dim wS As Worksheet
Dim fPath As String
Dim sPath As String
Dim i As Integer
i = 1
Do While (i <= 18)
fPath = "C:\Users\T51158\Desktop\point\3_132_Poletrans\" + CStr(i) + "\tower\"
sPath = "C:\Users\T51158\Desktop\point\3_132_Poletrans\" + CStr(i) + "\xls\"
fDir = Dir(fPath)
Do While (fDir <> "")
If Right(fDir, 4) = ".csv" Then
On Error Resume Next
Set wB = Workbooks.Open(fPath & fDir)
'MsgBox (wB.Name)
wB.SaveAs sPath & wB.Name & ".xlsx", FileFormat:=51
wB.Close False
Set wB = Nothing
End If
fDir = Dir
On Error GoTo 0
Loop
i = i + 1
Loop
End Sub
Sub SaveToCSVs()
Dim fDir As String
Dim wB As Workbook
Dim wS As Worksheet
Dim fPath As String
Dim sPath As String
fPath = "C:\Users\qiany\Desktop\文件\"
sPath = "C:\Users\qiany\Desktop\csv保存位置\"
fDir = Dir(fPath)
Do While (fDir <> "")
If Right(fDir, 4) = ".xls" Or Right(fDir, 5) = ".xlsx" Then
On Error Resume Next
Set wB = Workbooks.Open(fPath & fDir)
'MsgBox (wB.Name)
For Each wS In wB.Sheets
wS.SaveAs sPath & wB.Name & ".csv", xlCSV
Next wS
wB.Close False
Set wB = Nothing
End If
fDir = Dir
On Error GoTo 0
Loop
End Sub
通常来说这个是交给软件处理的，可是并没有找到合适的软件，另外海量的激光点云加上海量无序影像，实际上也不一定有软件支持无序数据的颜色映射，因此通过代码对颜色映射进行了实现，在实现的过程中主要考虑数据量大小的问题，通常来说原始激光点云数据数据量大小超过1GB,而我们获取的影像分辨率为0.025m，单幅影像数据在300MB左右，一条航带存在上千幅影像，数据量巨大，如何能够在此数据量的条件下实现快速颜色映射得到具有RGB颜色的点云数据是我们在这里要探讨的问题，主要的讨论点如下：
上次我们谈到了Q-Learning算法，实际上就是构建一个Q表的过程，那么我们怎么将深度网络和Q-Learning算法相结合，这个就是我们这篇文章会提到的问题．我们依旧拿上次的那个FlappyBird的例子来进行说明，在这个例子中如果我们通过Q-Learning算法进行处理，那么实际上Q表就是整个影像范围的所有像素，而每一个像素又存着0-255的像素值的情况，即使没有0-255的像素值这么多，整个Q表也是一个极大的值，在这样的情况下求出Q表中的每一个值明显不现实，需要减小Q表的规模，在这样的情况下我们就引入了深度学习算法．
在上一篇中我们提到过实际上我们也不一定需要一个Q表，我们只需要拟合一个Q值函数就可以了，也就是能够估计Q表的分布，就能够进行计算了，简单的来说我们的模型为：
在传统的Q-Learning算法中，其中Q表为一个表，而对于某些任务，由于Q表过大，不宜用一个表来进行展示，因此我们将Q表转换为一个能够根据输入解算出对应所有action的reward的所有值的一个网络，因此我们的整个算法过程就分为两个部分：１.求解Q网络的过程;2.根据Q网络进行判断的过程；好了，废话也不多说了，我们直接解析整个代码：
未来世界，土地变得贫瘠，各种作物都相继减产，病死，目前拥有的作物只有玉米，然而玉米也在渐渐枯萎死亡．人类为了生存不得不放弃那些看似无用的科技，而将目光专注于脚下的土地，因此我们的主人公也只能放弃了自己作为宇航员的职业成为了一名农夫．
实际上在这里我并不想讨论关于影片所描述的关于相对论和空间维度的概念，我想说的是作为个人，或者作为人类我们应该做什么．影片所描述的未来世界中所有人都在专注于脚下的土地，每个人关心的只有粮食生产，食品以及水资源．没有人会抬头仰望星空；甚至连登月都被包装为一个不存在的事情，目的就是为了让人类不再有些不切实际的幻想；可是当所有人都只关注于脚下的土地的时候，总需要有人站出来抬头仰望着这浩瀚的宇宙．
所以男主马修踏上了追寻人类移居点的重任，所以十二位宇航员踏上了未知的探索．从影片来看我们了解到，实际上第一批踏上征途的十二位宇航员，包括最后的曼恩博士，他们都牺牲了，虽然曼恩博士为了求生而欺骗了马修，可是这并不妨碍我们认为他是一个英雄．影片中有很多关于时间和相对论效应的讨论，由于我也只是略懂皮毛，所以也不想进行更加深入的讨论．在这里我想谈的是关于脚踏实地与仰望星空，作为一个CUG人，我想对这两句话都不会陌生，而从影片中我有了更加深刻的感受．
当所有人都只关注于脚下的时候我们需要抬头仰望星空，而所有人都在看着未来的时候我们更需要关注当下．也许这个时候会有很多的质疑和嘲讽，可是实际上我们并不能够因为质疑和嘲讽就放弃我们的坚持，毕竟这个世界需要实用主义者，也需要理想主义者，而实际上理想主义者对于全人类来说是那么的稀缺，为了理想和信念敢于坚持和牺牲的人那就更加的稀缺了．而实际上我们对于理想主义者总是少有宽容，我们受益于他们的牺牲却又嘲讽于他们的不切实际或者是冥顽不灵．
终于把＜未来简史＞看完了，实际上从去年过年一直磨到前两天才看完，虽然是英文原著，看起来有些吃力，但是看这么久，还是因为自己太懒了．不得不说，本书智能时代的到来确实有着其前瞻性的理解，书中所描述的内容也在逐渐改变着我们的生活，下面我们就本书的主要内容进行一下总结，本书的主要观点为：
今天我们讲讲DQN这个算法，这个著名的强化学习算法，在介绍DQN之前我们首先介绍一个Q-Learnning算法，一个强化学习的算法，这里有算法的详细介绍传送门，如果大家仔细看完这篇文章相信会对Q-Learning 算法有一个比较清楚额认识了，其实算法整个来说比较简单，就是维护和更新一个Ｑ(state,action)的表，这个表中定义了每一个状态下采取一个动作的效用值，在学习到了这张表之后我们就可以对任意一个状态下的情况，从表中查找到其效用最大的action,依此类推．
好了，以上问题算是一个很简单的问题了，因为其状态空间很小，6个房间，也就6x6的一个Ｑ表，其中还有一些元素为空值，因此可以用表的形式进行描述，而针对某些问题，比如我们马上要提到的玩FlappyBird游戏的问题，这个游戏状态空间是一个非常巨大的值，根本没有办法用一张表来描述，由此我们引出了今天的主题DQN算法，实际上对于维护一张状态空间巨大，甚至无限的情况来说，用Q表来描述肯定是不行的，为了能够进行描述，我们需要对Q表进行拟合，即用一个函数来对Q表进行近似，也就是说我们给一个输入，得到的是对应状态下所有动作的Q值，有了这个指导思想我们就可以稍微理解一下DQN了，实际上深度神经网络的过程就是用来构建Q值函数的过程，理解了一个之后我们再来看这篇文章传送门，如果大家能够有耐心看完这一篇文章相信大家对Q-Learning算法已经掌握的差不多了，如果大家没有耐心看也没关系，我们把文章内容总结起来就是通过不停的迭代获取Ｑ矩阵的过程，实际上我们会有一个效用函数也就是在当前状态下选择对应的reward的值，这个值加上原来的Ｑ值共同构成一个新Ｑ值，这样不停的对Ｑ进行迭代直到Ｑ值稳定，为什么Ｑ值会收敛，这个问题是可以经过证明的，证明过程比较复杂在这里就不进行讨论，有兴趣可以查看原文．
相信大家看完以上两篇文章后对Ｑ-Learning算法已经有一定的认识了，而上文中我们提到，在很多时候我们面对的状态空间是巨大的，甚至可以说是无限巨大的，比如围棋游戏，19*19的棋盘，每一步都是任意的，这个Ｑ表过于巨大，因此无法用Ｑ表的形式进行表示，在这样的情况下我们就需要引入一个函数来描述这个Ｑ表，实际上是来描述这个Ｑ表的值的分布．好了到这里我们就知道Ｑ-Learning算法和深度学习算法是如何结合的了，实际上本质还是Ｑ-Learning，只是在学习过程中我们是通过函数来拟合Ｑ表，而这个拟合过程我们可以通过深度学习进行学习，关于DQN算法目前就谈到这里，这一次主要了解Ｑ-Learning算法的过程，而下一次我们会详细介绍深度学习算法和Ｑ-Learning算法的结合，并分析FlappyBird这个游戏的代码．
这一篇本来不算是tensorflow的学习，不过也是用python写的一个爬虫小程序，因此可以归于这一类吧，毕竟获取数据也是深度学习的一个重要的方面．主要原因是刘艳前几天突然问我能不能帮她爬一个医药网站上的数据，我粗略的看了一下那个网站，都是以表格形式获取的数据，整个网站的数据都在＇\
1 | <caption align="Left"> |