TnT-LLM: Text Mining at Scale with Large Language Models
第一作者：Mengting Wan, Tara Safavi
作者单位：Microsoft Corporation
发表时间：2024/3
发表期刊：
关键内容：借助LLM实现分类生成、文本分类的自动化。分类生成包括两个阶段：首先对每篇文档进行总结，然后设计三类prompt（类似于SGD，根据总结生成类别、评估并提出修改建议、检查输出类别的格式与质量）。文本分类是指使用LLM对文档进行分类，得到训练数据集。最后，使用该数据集对轻量级分类器进行训练，实现模型蒸馏。
1. 引言
文本挖掘中两个相互关联的核心任务：
分类生成：查找和组织一组描述语料库各个方面的结构化规范标签
文本分类：对语料库中的文本实例进行标记。
传统的方法有 human-in-the-loop framework 和 无监督机器学习法。
human-in-the-loop framework：首先人工确定好类别标签，在小部分语料库样本上收集人工注释，训练机器学习文本分类模型。虽然这种人机交互方法提供了较高的可解释性，但它们面临着重大的可扩展性挑战：它们需要领域专业知识并仔细考虑标签的粒度、覆盖范围和一致性，并 ...
Understanding the planning of LLM agents: A survey
第一作者：Xu Huang
作者单位：中国科学技术大学
发表时间：2024/2
发表期刊：
关键内容：对LLM agentd 的 planning 进行分类：task decomposition, multi-plan selection, external module-aided planning, reflection and refinement, memory-augmented planning。
1. Introduction
Agent 的定义：Autonomous agents have been recognized as intelligent entities capable of accomplishing specific tasks, via perceiving the environment, planning, and executing actions.
规划(planning)：生成一系列行动的过程：
$$p=\left(a_{0}, a_{1}, \cdots, a_{t}\right)=\operatorname{plan}(E, g ...
Large Language Models for Generative Information Extraction: A Survey
第一作者：Derong Xu, Wei Chen
作者单位：中国科学技术大学
发表时间：2024/6
发表期刊：
关键内容：介绍三种典型的IE技术：NER，RE，EE的代表性模型，并比较它们的性能；比较用于LLM的不同的IE技术；介绍不同领域的IE工作；提出潜在研究方向；对常用LLM和数据集进行总结。
1.LLMs for Different Information Extraction Tasks
2.Techniques of LLMs for Generative IE
prompt design:
Question Answer (QA). 将prompt 修改为QA格式。
zero-shot
cross-domain learning. Learn and capture the inter-task dependencies of known tasks and generalizing them to unseen tasks and domains. 对不同领域的泛化。
cross-type learning，对不同任务类型的泛化，如由某一事件 ...
UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models
第一作者：Liu Qi, Yongyi He
作者单位：中国科学技术大学
发表时间：2024/7
发表期刊：CIKM 2024
关键内容：提出了实现多模态实体链接的一种框架UniMEL，该框架包含四个部分，LLMs-based
Entity Augmentation, MLLMs-based Mention Augmentation, Retrieval
Augmentation, Multi-choice
Selection。对于entity，认为多模态知识库中的实体描述包含较多不相关的信息，用LLM对实体描述进行精简化。对mention，充分利用图片信息和MLLM的通用能力，将mention作为MLLM的输入，以得到恰当的嵌入表示。再对候选实体集合进行粗粒度筛选，只保留与mention相似度最高的前K个实体集合，再利用LLM进行细粒度的实体单项选择。
图1
1.引言
实体链接：可以分为两步，一是候选生成，二是候选排序。候选排序可以分为两步（粗粒度与细粒度）：首先是候选选择，即进行粗粒度过滤（TF-IDF，word2vect等）；二是候选实体重排序，通过衡量文本和候选实体的 ...
Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization
第一作者：Wenqi Zhang
作者单位：浙江大学
发表时间：2024/6
发表期刊：ACL 2024
关键内容：在拥有不完整的环境信息、多智能体共存的环境下，实现Agent与环境的动态交互学习。它将策略学习转化为prompt 优化过程。环境返回为世界模型和行为策略（将二者放在prompt中生成自我信念和世界信念），在训练中不断优化世界模型和行为策略、自我信念和世界信念（放在prompt中生成行动）。在二十一点、德州扑克两个游戏中进行测试。
1.引言
LLM-based agent 存在的两个常见问题：
假设agent能拥有环境的所有信息，但多数情况下不能满足这个条件。此外更多的依赖与提示工程。
agent 无法从与环境的交互中获得进步
Agent-pro：在拥有不完整的环境信息、多智能体共存的环境下，实现与环境的动态交互学习。它将策略学习转化为prompt 优化过程，在21点、德州扑克两个游戏中进行测试。
2.方法
self-belief：agent 的自我认知。对于德州扑克来说，Agent-Pro对自己的手牌、计划和潜在风险的理解构成了它的自我信念。
social-be ...