/11/1
记录：第一次参加黄老师项目的工作报告暨学习老师分享《迈向第三代人工智能》论文总结。
写在前面：本文主要记录老师分享论文时ppt的内容，供学习和自己复习。**表示**：原论文并未如此论述，个人理解。
论文背景与主要贡献
人工智能成为工业界和学术界的追逐对象
1. 媒体大力宣传“人工智能时代”的观念
2. 大量的技术成果落地
3. 中小学开设相关课程，高校成立人工智能学院或专业如果站在一个更高的层面，应当如何看待这个领域的发展现状？论文主要贡献在于：
1. 客观、理性地分析了人工智能领域的现状，梳理了主要脉络。
2. 思考通往“触及人类真正的智能之路”的技术挑战。
3. 提出了“单空间模型”和“双空间模型”的思路和解决方案。
第一代人工智能：符号AI
符号AI的理论基础是认知心理学，把符号系统作为人类高级心智活动的模型。优点：由于符号的可组合型，符号AI具有可解释性和容易理解。缺点：
缺乏数学基础, 除数理逻辑之外,其他数学工具很难使用。
表现能力有限, 难以刻画复杂和不确定的知识, 推理也只限于逻辑推理等确定性的推理方法。
目前已有的方法只能解决完全信息和结构化环境下的确定性问题。
1. 完全信息及结构化环境的代表：国际象棋
2. 不完全信息代表：*自然语言*
3. 非结构化环境的代表：*根据用户的消费记录、个人喜好和生理属性等推测金融风险。*
第二代人工智能：连接主义AI
四大理论支柱以及后继的算法改进开启了以深度学习为基础的第二代AI。优点：
1. 坚实的数学基础。
2. 超越人类性能成果的取得 , 并不需要领域知识的帮助。（如AlphaGo-Zero）缺点：
1. 深度学习容易受攻击, 被欺骗和不安全。
1 获取的数据通常不完备或含有噪声。
2. *难以确定神经网络结构的最优选择。*
2. 黑盒模型难以被解释，难以发现具有语义的部件。
第三代人工智能
目标：全面反映人类智能。
1. 建立鲁棒与可解释的 AI 理论与方法。
2. 发展安全、可信、可靠与可扩展的 AI 技术。
思路：把第一代的知识驱动和第二代的数据驱动结合起来 , 通过同时利用知识、数据、算法和算力等 4 个要素。
1. 双空间模型：符号空间模拟大脑的认知行为 , 亚符号 ( 向量 ) 空间模拟大脑的感知行为。
3. 单空间模型：克服深度学习所带来的缺陷。
2. 三空间模型：融合双空间与单空间两种模型。
双空间模型：知识与推理
“危险边缘”智力竞赛的挑战在于理解自然语言当中的非结构化信息，并且进行复杂的推理。
1. 仅仅依靠关键字和关系数据库难以进行准确的推理。
2. 如下图所示，仅根据关键字cosmic、one moment、creatures等，机器会推理出“the Big Bang”的答案，但实际上正确答案是“Apollo 11”。IBM Watson在智力竞赛的获胜（）展示了机器在知识表示和推理方法上取得的成果。
双空间模型：IBM Watson的主要贡献
从大量非结构化文本（比如Wiki）自动生成结构化知识。
如下图中，生成SCIENTISTS win PRIZES ：
在应用“结构化知识”时，会根据知识的来源进行打分，评估知识的质量。
使用多达百种的推理机制（有些是针对智力竞赛特别设计的）。
双空间模型：从“向量特征空间”到“符号语义空间”
如何将符号与物理世界联系起来，论文认为这是深度学习的任务，但目前的深度学习还不能完成这个任务。
1. 深度学习所处理的空间是特征空间 , 与语义空间差别很大 , 它只能学到没有明确语义的 “ 局部片段 ”, 这些片段不具备可组合性。
2. 论文认为，机器必须通过自我学习获取 “ 物体 ” 的语义部件 , 如 “ 狗 ” 的腿、头、尾等 , 才有可能通过这些部件的组合形成 “ 狗 ” 的不变 “ 内在语义 ”。
示例：迫使神经网络选择最具代表性的特征。（说明：一张猫的图片在AlexNet的第一层（左图）和第五层（右图）的可视化结果）
1. 如下图，神经网络的输出层分别出现代表人脸、小汽车、大象和鸟等类别的神经元。
2. 即提取了“整个物体”的语义信息。但这种语义仍然不具备可组合性
双空间模型：强化学习
前面是作者关于如何获取基本知识、如何感知的思考，作者接下来思考如何获取常识概念。作者认为，强化学习通过与环境的交互，即亲身经验之后 "获得超越基本知识（概念）以外的“常识概念”。目前已经取得成功的围棋、视频游戏，从本质上来说是相对简单的（环境完全可观察，反馈确定、规则明确、数据量大等）。未来的挑战主要出现在不确定性、不完全信息、数据或者知识匮乏的场景。
AlphaStar的论文，是一个很好的开端，尤其是与博弈论的结合，让多智能体之间竞争和合作。
单空间模型：深度学习方法的改进
作者认为，深度学习将所有的处理都放在亚符号 ( 向量 ) 空间 , 这显然是为了利用计算机的计算能力 , 提高处理速度。
1. 这种说法似乎暗示着计算机系统结构限制了AI的想象力？
2. 这让我联想起最近清华发表的关于类脑计算完备性的论文，也许新体系结构反而能够启发上层建筑的设计？目前的挑战及方向
1. 可解释性问题
1. 模型的后解释技术：通过可视化、交互技术等方式 , 分析给定模型的工作机理 , 为其决策结果寻找解释途径
2. 可解释模型：发展新的网络架构、损失函数、训练方式等 , 发展具有内在可解释性的新型人工智能模型
2. 鲁棒性问题 ：增强深度学习模型自身的安全性 , 发展相应的深度学习防御算法。
单空间模型：贝叶斯深度学习
深度神经网络没有考虑数据观测的不确定性 , 这种不确定性的存在 , 以及对于数据背后物理背景的无知 ,使我们对深度学习结果的正确性难以判断。用贝叶斯方法更好地学习深度神经网络 包括计算预测的不确定性、避免过拟合等用深度神经网络作为非线性函数变换定义更加丰富灵活的贝叶斯模型
应用：给定一个标签，产生高质量的自然图片或人脸。
单空间模型：不同语义之间的计算
示例：视觉问答需要根据给定的图片回答问题（即看图说话）
挑战：根据给定的图片 , 回答以下问题 , “ 在大陆地壳下面有多少层 ( 类型 )?”
既有图像又有文本 , 需要在单一的向量空间中同时处理 , 涉及单一空间模型的使用，存在一定的难度。
小结与思考
作者认为，为了实现第三代 AI 的目标 , 最好的策略是同时沿着两条路线前进，既最大限度地借鉴大脑的工作机制 , 又充分利用计算机的算力。关注那些还未被解决的挑战，每一步改进都将推动AI向前发展
