CavinHuang-comfyui-nodes-docs/docs/IPAdapterEmbeds.md

Documentation

• Class name: IPAdapterEmbeds
• Category: ipadapter/embeds
• Output node: False
• Repo Ref: https://github.com/cubiq/ComfyUI_IPAdapter_plus.git

IPAdapterEmbeds节点旨在将IPAdapter修改集成并应用于给定模型。它通过利用IPAdapter的能力，定制模型的嵌入空间，允许对模型行为进行微调，以适应特定的输入特征。该节点抽象了嵌入操作的复杂性，为模型增强提供了一个简化的接口。

Input types

Required

• model
  • 模型参数是必需的，因为它代表了将由IPAdapter进行适配的基础模型。它是主要的输入参数，决定了结果适配模型的结构和行为。
  • Comfy dtype: MODEL
  • Python dtype: torch.nn.Module
• ipadapter
  • ipadapter参数指定了将用于修改模型的适配器。它是一个关键组件，可以定制模型的嵌入能力。
  • Comfy dtype: IPADAPTER
  • Python dtype: Dict[str, Any]
• pos_embed
  • pos_embed参数提供了用于指导适配过程的正向嵌入输入。它在塑造适配模型对特定特征的响应中起着重要作用。
  • Comfy dtype: EMBEDS
  • Python dtype: torch.Tensor
• weight
  • 权重参数决定了IPAdapter修改对模型的影响。它是控制适配程度的关键因素。
  • Comfy dtype: FLOAT
  • Python dtype: float
• weight_type
  • weight_type参数定义了权重在模型的不同层中应用的方式。它对于将适配的重点指向模型的特定区域很重要。
  • Comfy dtype: WEIGHT_TYPES
  • Python dtype: str
• start_at
  • start_at参数建立了适配过程的起始点。它对于定义模型开始适配的初始条件至关重要。
  • Comfy dtype: FLOAT
  • Python dtype: float
• end_at
  • end_at参数标记了适配过程的终点。它对于指定适配结束时的条件是必不可少的。
  • Comfy dtype: FLOAT
  • Python dtype: float
• embeds_scaling
  • embeds_scaling参数决定了嵌入在模型内的缩放或组合方式。这是一个关键设置，可以显著影响适配模型的性能。
  • Comfy dtype: COMBO['V only', 'K+V', 'K+V w/ C penalty', 'K+mean(V) w/ C penalty']
  • Python dtype: str

Optional

• neg_embed
  • neg_embed参数提供了负向嵌入输入，可以在适配期间用于平衡正向嵌入。它有助于细化模型对所需特征的关注。
  • Comfy dtype: EMBEDS
  • Python dtype: torch.Tensor
• attn_mask
  • attn_mask参数用于在适配期间对注意力机制应用掩码，这对于控制模型内部信息流很重要。
  • Comfy dtype: MASK
  • Python dtype: torch.Tensor
• clip_vision
  • clip_vision参数指定了CLIP Vision模型，该模型可以与IPAdapter结合使用，以增强特征提取。
  • Comfy dtype: CLIP_VISION
  • Python dtype: torch.nn.Module

Output types

• model
  • 输出模型是输入模型的适配版本，根据IPAdapterEmbeds节点提供的规格进行修改。它代表了适配过程的成果。
  • Comfy dtype: MODEL
  • Python dtype: torch.nn.Module

Usage tips

• Infra type: GPU

Source code

class IPAdapterEmbeds:

    @classmethod
    def INPUT_TYPES(s):
        return {'required': {'model': ('MODEL',), 'ipadapter': ('IPADAPTER',), 'pos_embed': ('EMBEDS',), 'weight': ('FLOAT', {'default': 1.0, 'min': -1, 'max': 3, 'step': 0.05}), 'weight_type': (WEIGHT_TYPES,), 'start_at': ('FLOAT', {'default': 0.0, 'min': 0.0, 'max': 1.0, 'step': 0.001}), 'end_at': ('FLOAT', {'default': 1.0, 'min': 0.0, 'max': 1.0, 'step': 0.001}), 'embeds_scaling': (['V only', 'K+V', 'K+V w/ C penalty', 'K+mean(V) w/ C penalty'],)}, 'optional': {'neg_embed': ('EMBEDS',), 'attn_mask': ('MASK',), 'clip_vision': ('CLIP_VISION',)}}
    RETURN_TYPES = ('MODEL',)
    FUNCTION = 'apply_ipadapter'
    CATEGORY = 'ipadapter/embeds'

    def apply_ipadapter(self, model, ipadapter, pos_embed, weight, weight_type, start_at, end_at, neg_embed=None, attn_mask=None, clip_vision=None, embeds_scaling='V only'):
        ipa_args = {'pos_embed': pos_embed, 'neg_embed': neg_embed, 'weight': weight, 'weight_type': weight_type, 'start_at': start_at, 'end_at': end_at, 'attn_mask': attn_mask, 'embeds_scaling': embeds_scaling}
        if 'ipadapter' in ipadapter:
            ipadapter_model = ipadapter['ipadapter']['model']
            clip_vision = clip_vision if clip_vision is not None else ipadapter['clipvision']['model']
        else:
            ipadapter_model = ipadapter
            clip_vision = clip_vision
        if clip_vision is None and neg_embed is None:
            raise Exception('Missing CLIPVision model.')
        del ipadapter
        return (ipadapter_execute(model.clone(), ipadapter_model, clip_vision, **ipa_args),)