-
Notifications
You must be signed in to change notification settings - Fork 608
Open
Description
Motivation
https://jiaweizzhao.github.io/deepconf/static/htmls/code_example.html
https://jiaweizzhao.github.io/deepconf/
提出了一种简单而强大的推理增强方法,旨在解决当前大语言模型(LLM)在复杂推理任务中面临的两个核心问题:推理效率低下和多数投票机制的准确性瓶颈。其核心技术在于利用模型内部的置信度信号,动态过滤低质量推理路径,从而在提升准确率的同时显著减少计算开销,目前他们已经在VLLM中提交了PR,期望lmdeploy有能支持这种特性。
Related resources
No response
Additional context
No response
Metadata
Metadata
Assignees
Labels
No labels