Day: September 24, 2024

引言 📖 在当今快速发展的科技时代，智能家居已不再是科幻小说中的概念，而是我们生活中的现实。随着可再生能源的普及和智能设备的不断增多，如何高效地管理家庭能源消耗，成为了人们关注的焦点。本文将探讨一种新颖的智能家居应用——Cuttlefish，它通过对比解释来提升用户对多效应时间规划的理解和满意度。 🌐 研究背景与目的 在本研究中，我们使用对比解释方法探讨智能家居设备的调度。用户不仅需要执行某些家电任务，还要根据动态电价支付能源费用，同时还可以将多余的能量出售到电网。这使得该问题成为一个多效应规划问题，因为设备的并发调度和动态电价导致的非静态成本使得传统的规划方法无法有效解决。 Cuttlefish 作为一个智能家居调度方案，其目标是为用户提供一个周计划，以满足他们的需求并尽可能降低能源成本。为了实现这一目标，我们设计了一种自定义的领域依赖规划器，并通过对比解释来帮助用户理解推荐的调度方案。 📊 方法论 1. 规划问题的定义 我们将家庭环境视为一个包含单个电池和多个家电的系统。电池的放电为活动家电提供能源，而多余的能量则被出口到电网。我们的规划模型被定义为一个非静态有限视域规划问题（NF规划问题），其中包括状态集合、动作集合、时间步长、适用动作函数、转移函数和成本函数等。 2. 对比解释的实施 对比解释的核心在于通过提问来引导用户理解决策过程。例如，用户可以问：“为什么在状态 S 下选择了动作 A，而不是动作 B？”这类对比问题形成了一组限制条件，从而引导用户理解选择的合理性。Cuttlefish 利用这种对比解释，帮助用户更好地理解推荐的调度，并可能促使他们调整自己的需求。 3. 用户研究设计 我们在 Prolific 平台上进行了用户研究，共有128名参与者被随机分配到对照组和实验组。实验组的用户可以访问对比问题和解释，而对照组则只能查看推荐的调度方案。我们的目标是评估对比解释如何影响用户的满意度和理解程度。 📈 结果分析与讨论 1. 用户满意度的提升 [...]

引言 📝 在计算摄影学的世界里，如何从单张图片中提取出表面反射率与光照效果，一直是一个引人入胜的挑战。传统的内在图像分解方法通常假设了单一颜色的光照和拉梅尔特（Lambertian）表面，这如同在一幅五彩斑斓的画作中，只能用黑白画笔勾勒出轮廓，导致了许多实际应用受限。而在我们最新的研究中，我们将目光投向了更复杂的场景，提出了一种基于色彩丰富的内在图像分解的新方法，能够有效地从“野外”照片中分离出漫反射的色彩、光照阴影和非漫反射残余成分。 相关工作 📚 1. 内在分解模型的演变 内在分解模型可以追溯到早期的灰度漫反射模型，这种模型如同将精致的艺术品变为简单的线条草图，无法捕捉到真实世界的细腻变化。随着RGB漫反射模型的引入，我们开始能够模拟更复杂的光照效果，但大多数现有方法仍然受到单一颜色光照假设的限制。 2. 反向渲染的挑战 反向渲染方法则试图恢复场景的所有内在参数，以便重新渲染图像。虽然这些方法通常能够提供更全面的估计，但由于缺乏多样化的训练数据，仍然难以实现高效的实时处理。 方法论 🔧 1. 色彩阴影估计 我们的方法首先从传统的灰度阴影估计开始，然后逐步去除单色阴影假设，最终过渡到RGB内在漫反射模型。通过利用全局场景上下文，我们能够精确地估计阴影的色彩，从而生成一个色彩丰富的阴影图层。 2. 漫反射反照率估计 在获得色彩阴影后，我们使用一个专门的网络来估计漫反射反照率。这个网络的设计充分考虑了光照的全局上下文，以便生成高质量的多通道漫反射反照率图。 3. 漫反射阴影估计 最后，我们去掉拉梅尔特假设，采用内在残余模型来估计漫反射阴影和非漫反射成分。通过将复杂任务分解为更简单的子任务，我们的方法在实际场景中展现出了良好的泛化能力。 实验与结果 🧪 我们在多个基准数据集上对我们的方法进行了定量和定性评估，包括MAW数据集和ARAP数据集。结果显示，我们的方法在估计漫反射反照率的强度和色彩准确性方面均优于现有的最先进技术。 方法 强度 色彩准确度 我们的方法 0.54 [...]

在这个信息爆炸的时代，讽刺与幽默成为了社交媒体上不可或缺的元素。然而，尽管现代视觉-语言模型（Vision-Language Models, VLMs）在多模态任务上表现出色，但它们在理解讽刺方面依然面临重重挑战。为了解决这一难题，Nandy等人（2024）提出了一个新颖的数据集——YesBut，专门用于评估VLM对讽刺的理解能力。 🎨 数据集的构建与特点 YesBut 数据集包含2547幅图像，其中1084幅为讽刺图像，1463幅为非讽刺图像。这些图像不仅涵盖多种艺术风格，还展示了日常生活中的正常场景与带有讽刺意味的冲突场景。每幅讽刺图像都附有详细的描述，旨在帮助模型理解图像所传达的幽默与讽刺。 通过对图像的细致标注，研究者们希望能够帮助VLMs更好地应对以下三个任务： 像一位幽默大师，VLMs需要在这些任务中展现出超凡的洞察力，而不是仅仅依赖于表面的图像识别和语言理解。 🧠 讽刺理解的挑战 讽刺的理解并非易事，尤其是当图像没有文字提示时。在YesBut 数据集中，超过53%的图像缺乏文字，这使得VLMs面临着更大的挑战。讽刺图像通常需要模型理解图像中各个元素之间的互动，以及这些元素如何共同构成一个幽默的情境。 例如，一幅图像可能展示一个人在厕所上发送情感丰富的信息，而旁边的画面却是一个完全不相关的场景。此时，模型不仅需要识别文本“希望你在这里”，还需要理解场景的反讽之处——即在如此私密的场合发送如此感人的信息，是多么的荒谬。 📊 评估实验与结果 研究者们对多种最先进的VLM进行了评估，结果显示这些模型在讽刺理解任务中表现不佳。在零样本设置下，尽管Gemini在讽刺图像理解和补全任务中表现相对较好，但整体准确率仍未超过60%。这表明，当前的VLM在解析讽刺时显得力不从心。 实验结果示例 模型 讽刺图像检测准确率 讽刺图像理解准确率 LLaVA 53.67% 48.64% Kosmos-2 42.56% 59.71% MiniGPT4 48.29% 49.33% [...]