1. HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systems
检索增强生成（RAG）已被证明能够提高知识能力，并缓解大语言模型（LLM）的幻觉问题。网络是RAG系统中主要的外部知识来源之一，许多商业系统，如ChatGPT和Perplexity，使用网络搜索引擎作为其主要的检索系统。通常，这样的RAG系统会检索搜索结果，下载结果的HTML源代码，并从中提取纯文本。纯文本文档或片段被输入到LLM中以增强生成能力。然而，在基于纯文本的RAG过程中，HTML中固有的结构和语义信息，如标题和表格结构，会被丢失。为了解决这一问题，我们提出了HtmlRAG，它使用HTML而不是纯文本作为检索知识的格式。我们认为HTML比纯文本更适合建模外部文档中的知识，而且大多数LLM具有强大的能力来理解HTML。然而，利用HTML也带来了新的挑战。HTML包含额外的内容，如标签、JavaScript和CSS规范等，这些内容会给RAG系统带来额外的输入标记和噪声。为了解决这个问题，我们提出了HTML清理、压缩和修剪策略，以缩短HTML代码的同时尽量减少信息的损失。具体来说，我们设计了一种基于块树的两步修剪方法，该方法修剪无用的HTML块并仅保留HTML的相关部分。在六个问答数据集上的实验验证了在RAG系统中使用HTML的优越性。
论文: https://arxiv.org/pdf/2411.02959
2. Controlling Language and Diffusion Models by Transporting Activations
大型生成模型的能力不断增强及其日益广泛的部署，引发了对其可靠性和安全性以及潜在误用的担忧。为应对这些问题，近期的研究提出通过引导模型激活来控制模型生成，以有效诱导或防止生成输出中概念或行为的出现。本文提出了基于最优传输理论的激活传输（AcT）这一框架，该框架能够引导模型激活，且能概括许多先前的激活引导工作。AcT对模态具有普适性，能够提供对模型行为的精细控制，几乎不增加计算开销，同时对模型能力的影响也很小。我们通过解决大型语言模型（LLMs）和文本到图像扩散模型（T2Is）中的关键挑战，实验展示了AcT的有效性和灵活性。对于LLMs，我们展示了AcT能够有效减轻毒性、诱导任意概念以及提高其真实性。在T2Is中，我们展示了如何使用AcT实现精细的风格控制和概念否定。
论文: https://arxiv.org/pdf/2410.23054
3. Sample-Efficient Alignment for LLMs
我们研究了在预算限制的在线反馈下高效对齐大型语言模型（LLMs）与人类偏好的方法。我们首先将LLM对齐问题形式化为上下文 Dueling Bandits 框架。这一形式化涵盖了近期的在线 RLHF 和在线 DPO 等范式，内在地寻求样本高效算法，这些算法包含在线积极探索。借助于bandit理论的见解，我们引入了一种基于Thompson抽样的统一算法，并强调了其在两种不同的LLM对齐场景中的应用。能够高效实现这一算法的实际代理，名为SEA（Sample-Efficient Alignment），通过在三个模型规模（1B, 2.8B, 6.9B）和三种偏好学习算法（DPO, IPO, SLiC）上进行广泛实验，得到了实证验证。结果表明，SEA能够高效地对齐模型与Oracle的偏好，并且在LLM的在线对齐中优于最近的积极探索方法。此外，我们还一并发布了SEA的实现，以及一个专为LLM在线对齐设计的高效代码库，旨在加速未来研究在该领域的进展。
论文: https://arxiv.org/pdf/2411.01493
4. DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution
MLM模型在处理复杂语言和视觉数据时展现了卓越的理解和推理能力。这些进展激发了建立通用型机器人MLM的愿景，这种MLM能够理解复杂的人类指令并完成各种实体任务。然而，为实际应用中的机器人开发MLM具有挑战性，因为机器人平台通常计算能力和内存容量有限。相反，MLM的推理涉及存储数十亿参数并进行大量计算，对硬件提出了显著的需求。在我们的论文中，我们提出了一个用于机器人视觉-语言-行动模型的动态早期退出框架（DeeR-VLA，或简称为DeeR），该框架能够根据每个具体情境自动调整激活的MLM的大小。这允许模型在为特定情境激活适当大小的模型后终止处理，从而避免进一步的冗余计算。此外，我们开发了新的算法，为DeeR建立了早期终止标准，这些标准基于预定义的需求，如平均计算成本（即能耗）、峰值计算消耗（即延迟）和GPU内存使用情况。这些改进确保DeeR在不同资源约束下高效运行，同时保持竞争力。在CALVIN机器人操作基准测试中，DeeR在LLM计算成本上实现了5.2-6.5倍的显著减少，在LLM GPU内存使用上实现了2-6倍的显著减少，而不会牺牲性能。代码和检查点可
