高级人工智能复习绪论-机器学习部分
课程复习使用。之前已经学过模式识别与机器学习课程，对这部分内容掌握较好，此处只整理相关考试知识点PPT。点击查看PPT
参考资料：中国科学院大学高级人工智能课程
数值化知识表示
语言模型发展四范式：形式语言模型，统计语言模型，神经语言模型，预训练语言模型。
课程复习使用。
一. 语言的分布表示
Harris分布假说：上下文相似的词，其语义也相似。认为词的语义可以根据上下文统计获得，词之间的相似性可以通过向量距离衡量。
word2vect: 词嵌入，上下文预测目标词
CBOW：目标词预测上下文。
二. 知识的分布表示
打分函数：
位移距离模型。位移距离模型 (translational distance models)：基于位移假设，即头尾实体的表示存在位移关系，采用基于“头尾实体表示的位移”与“关系表示”的距离作为打分函数来衡量三元组成立的可能性。
语义匹配模型。无上述假设，直接利用头实体、关系和尾实体的数值表示进行计算，采用基于相似度的打分函数来衡量三元组成立的可能性。
模型训练：
封闭世界假设，但凡未在知识图谱中出现的事实都是错误的。
开放世界假设，知识图谱只包括正确的事实，那些不在其中出现的事实要么是错误的，要么是缺失的。
三. 预训练语言模型
Elmo: Embeddings from Language Models ...
符号化知识表示
四种知识建模方式：严格结构化符号表示，松散结构化/自由形式 符号表示，数值化表示，数值与符号融合表示。
表示方法的衡量：表达能力、推理能力、计算能力、可读性。
目前的语义网革命并不是在科学上有革命性的突破，而大部分是工程上的挑战，其中标准化、规模化、系统开发与集成、用户交互等都是语义网技术面临的挑战。
课程复习使用。
一. 经典知识表示理论
1.1 产生式规则
产生式规则：用于表示事物之间的因果关系。
确定性规则：P->Q。
不确定性规则：P->Q(置信度)。当事实与前提条件不能精确匹配时，按照置信度的要求模糊匹配，并按特定算法将不确定性传递到结论。
产生式系统：由数据库、规则库和推理机三部分组成。
数据库：用来存放问题的初始状态、已知事实、推理的中间结果和最终结论等。
规则库：用来存放与求解问题有关的所有规则。
推理机：用来控制整个系统的运行，决定问题求解的线路，包括匹配、冲突消解、路径解释等。
正向推理：类似于命题逻辑（查看知识计算）中的前向链接，从事实出发，通过规则获取结论。
反向推理：类似于命题逻辑中的反向链接，从目标出发，反向使用规则，求 ...
群体智能
知识点：
演化计算：蚁群优化算法、粒子群优化算法
博弈论
课程复习使用
一. 群体智能
群体智能：Social/Colletive Intelligence, “无智能”或者仅具有相对简单智能的个体通过合作表现出更高智能行为的特性。其中的“无智能”/简单智能并不是绝对意义上的智能，而是相对于群体表现出来的相对智能。（众人拾材火焰高）
集群智能：Swarm Intelligence, 众多无智能的个体，通过相互之间的简单合作，所表现出来的智能行为。
特点：
分布式，无中心控制
随机性，非确定性
自适应，个体根据环境进行策略调整
正反馈，个体好的尝试会对个体产生正反馈
自发涌现，会在群体层面涌现出一种智能
博弈： Game Theory, 具备一定智能的理性个体，按照某种机制行动，群体层面表现出的智能。
众包：Crowdsourcing, 设计合适的机制，激励个体参与，从而实现单个个体不具备的社会智能。
二. 演化计算
2.1 蚁群优化算法
Ant Colony Optimization, AOC. 在图上寻找最优路径问题。
形式化：蚂蚁(智能体) 依据一定的概率选择位置进行移 ...
大模型知识分析、萃取与增强
大模型中蕴含着大量的知识，但是知识的类型、数量和质量并不可控。
知识分析实验表明，大模型自发学到了一些世界知识、常识知识，这些知识隐式地存储于模型参数中。
课程考试复习使用。
1.大模型的知识分析
1.1 知识探测
知识探测：探测预训练语言模型掌握的知识。
实现方式：将三元组或问答对形式的世界知识转化为自然语言填空的形式，从而判断语言模型掌握知识的准确性。
预训练模型知识探测的良好性能主要来源于：
提示语偏差，预测结果会受到提示词的影响，如 was born in [Mask] ,
模型会猜测下一个词应该为地名。
类别指导，类似于few shot learning，模型已经见过类似的问题。
答案泄漏，基于上下文的推理。
1.2 知识定位
知识定位：分析预训练语言模型中的知识存储机制，可分为层粒度与神经元粒度。
大量事实知识存储在FNN模块中。
1.3 知识学习机理分析
分析影响预训练语言模型学习效果的因素。
长尾知识：信息出现次数非常少，甚至只出现了一次。LLM对长尾知识的掌握并不充分，回答问题的准确度就会降低，可以通过扩大模型规模(scaling
low)、检索增 ...
多模态知识图谱应用
相比于单模态知识图谱，多模态知识图谱能够综合多种类型的数据，从而可以让智能体更深入的感知和理解真实的数据场景，因而多模态知识图谱在各个领域都有广泛的应用。如图像检索、模型推理与生成、模型预训练等。以电子商务为例，通过多模态产品图谱，可以对产品进行更细致的表示，再通过预训练，可以增强大型模型对电子商务领域的多模态知识理解，从而推动电子商务平台的发展。
AliMe MKG是阿里提出的一种面向直播的知识图谱，与传统的知识图谱不同，它的目标是向顾客种草某一产品，而非解决顾客的问题。因此，它需要构建逻辑思维链，引导用户需求。例如，在该左图1的知识图谱示例中，“熬夜"导致"皮肤暗沉"问题，这就需要"皮肤白皙”，而含有"甘草酸二钾"成分的"面膜"产品适合相应的用户。
在电商直播领域，这种知识图谱有两种应用：智能辅播和虚拟主播。智能辅播是在真人直播间构造了一个智能助理机器人，来协助主播去做商品介绍。比如说用户问的是口红，直播间内有多个口红，智能辅播就会将相关的信息展示出来给用户进行浏览，当用户点击确认，选择一个感兴趣的 ...
知识推理
知识工程的生命周期：知识表示，知识建模，知识融合，知识管理，知识推理，知识应用。
一.知识推理概述
概念区分：推理 reasoning，指的是通过已知知识推断出未知知识的过程。而推断 inference 是推理的一个步骤，指的是神经网络中的前向计算。
按新知识推出途径的分类：
归纳推理（特殊->一般），归纳推理所推出的结论没有包含在前提内容中。这种由个别事物或现象推出一般性知识的过程，是增加新知识的过程。
演绎推理（一般->特殊），演绎推理只不过是将已有事实揭示出来，因此它不能增加新知识。
缺省推理，也称默认推理，在知识不完全的情况下作出的推理，通常的形式：如果没有足够的证据证明结论不成立，则认为结论是正确的。
溯因推理，也称反绎推理、反向推理。，是推理到最佳解释的过程。它是开始于事实的集合，并推导出其最佳解释的推理过程。
按前提与结论的联系性质的分类：
必然性推理，前提与结论有必然性联系，即前提蕴含结论。传统逻辑中通过直言命题变形的直接推理（换质法、换位法推理等）、通过命题间对应关系所进行的直接推理、三段论推理、各种假言推理、选言推理以及完全归纳推理等等，都属于必 ...
知识建模与知识融合
课程复习使用，这章没有进行细致整理。
一. 知识建模
1.1 知识体系概述
1.2 典型知识体系
1.3 知识体系手工建模方法
1.4 知识体系自动建模方法
二. 知识融合
2.1 知识融合概述
2.2 知识体系融合方法
2.3 知识实例融合方法
三. 大模型中的知识融合
3.1 大模型对齐技术概述
3.2大模型对齐方法
一. 知识建模 & 知识融合
查看对应ppt
二.大模型的知识融合
SFT，RLHF，DPO。
三.参考资料
中国科学院大学陈玉博老师 知识工程课程课件
知识图谱数据管理
知识图谱的目标是构建一个能够刻画现实世界的知识库，为自动问答、信息检索等应用提供支撑。因此，对知识的持久化存储并提供对目标知识的高效检索/更新是合格的知识图谱（系统）必须具备的基本功能，也是知识图谱数据管理的主要研究内容。
课程复习使用。
一.符号化知识图谱数据管理
1.1 知识图谱数据模型
数据模型主要包含逻辑组织结构、操作、约束三部分，它决定了数据管理所采取的方法和策略，对于存储管理、查询处理、查询语言设计均至关重要。常见的数据模型有层次数据模型，网状数据模型，系数据模型。
逻辑组织结构（数据结构）：描述数据的类型、内容、性质以及数据间的联系等。
数据操作：描述在相应的数据结构上的操作类型和操作方式。
数据约束：描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。
1.2 知识图谱数据的存储
基于表结构的存储：关系数据库。
基于图结构的存储：常见的图数据库存储系统，如Neo4j, OrientDB,
HyperGraphDB, InfiniteGraph, InfoGrid.
1.3 知识图谱数据的检索 ...
知识图谱构建
一.半结构化文本中的知识抽取
目标：从百科普通条目半结构化网页中抽取实体属性名以及实体属性值。
二.非结构化文本中的知识抽取
三.知识图谱众包构建
四.知识图谱质量控制
知识图谱的质量控制指的是如何通过技术手段来确保知识图谱中知识的质量。
评估思路：
内检：利用知识图谱的内部知识进行综合推理，得到新的缺失知识，也可以发现相互矛盾的错误知识等。
外检：从外部知识源获得信息，然后结合知识图谱内部的知识进行比对，从而补全、修正或者更新知识图谱中的知识。
评估指标：准确性，一致性，完整性，时效性。
评估方法：人工抽样检测法，一致性检测法，基于外部知识的对比评估法。
五.参考资料
中国科学院大学陈玉博老师 知识工程课程课件