多模态任务怎么说:把文字要求与参考图的作用分开
香蕉ai官网主题资料 · 独立知识教程
先写本次任务,再逐一标明参考图的作用,最后写输出标准。图片可以提供主体、布局、色彩或待分析资料,但不应默认每张图的所有元素都要进入结果。材料冲突时,明确哪项要求优先。
“多模态”先理解成多种形式的材料
在本页的入门用法中,多模态任务是把文字、图像等不同形式的材料放进同一个工作说明中。重点不是术语听起来多复杂,而是每份材料为任务提供什么信息。例如文字说明你要一张竖版活动海报,参考图提供希望保留的场景,草图提供标题和图片的相对位置。
这些材料没有天然的优先顺序。若文字说背景为白色,参考图却是深色背景,应明确是只参考图中的摆放关系,还是连颜色一起采用。否则即使结果看上去美观,也很难判断它是否符合原意。
公开文档也会用文字提示配合图片来说明图像理解任务。例如 Google AI Studio 的图像理解指南可作为这种输入组织方式的概念例证。它说明的是相应文档中的使用方式,不能据此推断“香蕉AI”对应的产品、模型或功能。
参考:Google AI Studio:图像理解指南。文字与图片配合输入的公开文档例证;不代表本站或关键词所指服务的能力。
给参考图分配单一、明确的角色
给文件编号后,为每张图写一句用途说明。参考图A只提供布局,参考图B只提供配色,原图C提供需要保留的主体。这样可以避免把参考图中的人物、商标或装饰误当成必须使用的元素。若一张图确实承担多个角色,逐项列出,而不是写“都参考”。
示例:制作一张虚构的植物观察记录封面。A图参考上方留白与下方主体的比例;B图参考绿色和米白的配色;C图提供已有的盆栽照片,主体轮廓不改。文字另行规定封面用于竖屏阅读、标题由人工后续排入。
| 材料角色 | 可以这样描述 | 需要避免的含糊说法 |
|---|---|---|
| 布局参考 | 只参考主体靠下与顶部留白 | 和这张一样 |
| 配色参考 | 使用绿色与米白,不照搬物体 | 参考这种感觉 |
| 主体材料 | 保留这盆植物的外形与位置 | 用一下这张图 |
| 文字规范 | 标题后续排版,画面不生成文字 | 文字随便安排 |
把画面事实与期待效果分开记录
参考图里已经存在的内容和你希望新增的内容,应使用不同句式。“原图中有两只杯子”是观察;“希望最终只保留左侧杯子”是编辑目标。将两者混写,可能让材料识别与修改要求相互干扰。无法辨认的文字或模糊细节,宜先人工确认,不把猜测当成确定资料。
分析图片时也适用同一方法。可以要求先列可直接观察的元素,再单独列推测和需要补充的信息。例如一张流程草图能帮助梳理节点关系,却不能仅凭线条推断真实团队的职责或实际执行时间。
给冲突安排一个处理规则
将需求分为必须满足、尽量满足和可自由发挥三类。必须满足的通常是输出方向、保留主体和禁止添加的内容;尽量满足的可以是光线或装饰偏好;可自由发挥的部分则留给创作。遇到冲突时先保留必须项,再调整偏好项。
示例:当参考图横向构图与竖版封面冲突时,允许扩大背景,但不裁掉植物主体;当两张参考图的配色不同,以文字列出的色彩为准。这些规则需要在生成前写下,不能等结果出来后才临时改变评价标准。
按材料角色检查结果,而不只看整体感觉
检查时逐项回到参考材料:主体是否保留,布局是否留足标题空间,颜色是否符合要求,是否出现不需要的附加文字。把“和想象不一样”进一步拆成能指出位置的反馈,例如“主体现位于中央,需下移以扩大顶部留白”。这样的反馈更容易执行。
多种材料一起输入不保证工具能理解所有细节。工具是否接受对应文件类型、支持几张参考图、能否精确编辑,都需要在实际服务中确认。重要内容应保留原文件,并用人工检查弥补模型可能遗漏的约束。
继续追问
参考图越多越好吗?
不一定。每张图都应有不可替代的用途。重复或相互冲突的材料会增加说明成本,可以先保留最能解释目标的几份。
能让参考图自动决定风格吗?
可以作为探索练习,但需要明确允许变化的范围。需要可交付结果时,最好把具体色彩、布局或保留元素写成文字。