Skip to content

新增图文对话模型X-GPT #3541

@chenjjcccc

Description

@chenjjcccc

问题描述 Please describe your issue

新增图文对话模型X-GPT

任务描述

任务背景

  • X-Decoder 集成了图像理解的多类任务,结合GPT和SD相关生成模型就可以实现All-in-One的图文对话式agnet。参考代码

完成步骤

  1. 基于Paddle复现X-Decoder,其可以进行检测、分割、VQA、取标题等多种应用。(如果训练对齐遇到不可抗问题,可以仅进行前向对齐。)
  2. 结合PaddleMix中基础模型ppdiffuser,进行生成模型迁移。
  3. 结合开源对话模型例如chatglm v2或者llama v2,来实现XGPT,给出使用示例和文档以及UI。提交至PaddleSeg/contrib/XGPT。
  4. 参考PR提交规范提交代码PR到ppseg中。

提交内容:

  1. 代码提交到PaddleSeg。

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions