Skip to content

[Feature] DeepConf Support #4007

@warlockedward

Description

@warlockedward

Motivation

https://jiaweizzhao.github.io/deepconf/static/htmls/code_example.html
https://jiaweizzhao.github.io/deepconf/
提出了一种简单而强大的推理增强方法,旨在解决当前大语言模型(LLM)在复杂推理任务中面临的两个核心问题:推理效率低下和多数投票机制的准确性瓶颈。其核心技术在于利用模型内部的置信度信号,动态过滤低质量推理路径,从而在提升准确率的同时显著减少计算开销,目前他们已经在VLLM中提交了PR,期望lmdeploy有能支持这种特性。

Related resources

No response

Additional context

No response

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions