近期计划是什么？| What are the short-term plans?

[hengtuibabai]

停更了吗？近期计划是什么？
感觉离好用还差一点点了啊，停更的话太可惜了！

Has it stopped? What are the short-term plans?
I feel like just a little short of being useful. It would be a pity if I stopped the watch!

[vinthony]

hi， 最近再肝paper，可能会在月底或者6月份开始继续更新。目前已经完成的部分和正在做的部分，比如:

• 支持size参数可以控制输出图的分辨率，训了一个512x512的模型face render还在测试之中，期望可以干掉人脸增强器。
• mannually的控制crop的区域，可以得到更加自定义的结果，WEBUI。
• WEBUI更多功能，比如refpose等。
• 接受了两种不同的自动crop方式，能够复现v0.0.1版本的效果。
• 减少了一些依赖文件,比如dlib，用现在的方法更便于安装。
• 加速模型和优化checkpoints，可能会不需要下载那么大的模型。
• 更加解耦的mappingnet的训练，可能可以支持只针对头进行动作。
• A simpler facerender model (or the TensorRT support) will be included to support faster generation: A light-weight FaceRender is support for more than 100x faster rendering on Mac OS. #457
• text-geneartion-webui
• anime-generator.
• OpenTalker WEBUI, 集成Sadtalker和video-retalking的技术，做到输入图像和视频进行驱动和编辑。
• Fix API problem， 是否支持API调用的方式生成视频? #379，[bug] [gradio] Web API not working #374 , 这是个特别牛的项目，请问SD那边能用api调用吗? #251 ,
• FPS, Frame Per Second Option request. #294,

[vinthony]

any new suggestions are also welcome : )

[2793145003]

之前看到 有人用 Diffusion model，用 Diffusion model 的话也许能做到原图分辨率？（不懂瞎说）

[vinthony]

diffusion-based 估计会很慢，不过face vid2vid也很慢就是了。质量上我从paper里没看到很大的差距因为他的diffusion不是SD，是自己训的。这里有一个备选是 先用sadtalker生成keypoints，再用pre-trained 的controlnet-face去解。

[lliang2003]

OpenTalker WEBUI, 集成Sadtalker和video-retalking的技术，做到输入图像和视频进行驱动和编辑。

[canghaiyunfan]

请问如何实现只针对头进行动作？

[Niutonian]

I love your project,
I think a good way to control ref_pose and ref_eyebllink would be awesome,
Another thing that I would love to see implemented is "Idle animation", in case no audio is played it goes through a preset sequence of blink and move without looking too weird

[MoroseYu]

不好停更啊，很期待~

[vinthony]

cool! thanks for your advise! will woking on it.

[2793145003]

之后会解决脸色苍白双眼无神的问题吗？（还是我用的方法不对？
quick_demo里的full3，size=512，出来的结果脸会变得很白（去掉gfpgan也很白）
眼睛也一直虚着，去掉still之后可以眨眼但又没法贴回原图

[vinthony]

I love your project, I think a good way to control ref_pose and ref_eyebllink would be awesome, Another thing that I would love to see implemented is "Idle animation", in case no audio is played it goes through a preset sequence of blink and move without looking too weird

We have update this feature in #386, however, more work need to be done to make it better.

[vinthony]

这个我也发现了，可能是和训练数据有关。我找时间再训练一下模型。

之后会解决脸色苍白双眼无神的问题吗？（还是我用的方法不对？ quick_demo里的full3，size=512，出来的结果脸会变得很白（去掉gfpgan也很白） 眼睛也一直虚着，去掉still之后可以眨眼但又没法贴回原图