Roadmap

[mli]

这是 TODO 列表。欢迎有兴趣的同学来报名贡献：

• 加速whisper的CPU推理。目前whisper在CPU上推理性能堪忧。尝试优化代码实现、quantization，使用很快的后端（例如 onnx )
• 允许在markdown里编辑字幕，包括将一句话分成两句，或者讲句话并成一句，然后转成 srt
• 加入测试代码
• 加 CI，测试windows，linux，macos下的运行
• 生成 Final Cut Pro XML (.fcpxml) Feature need： 生成 Final Cut Pro XML (.fcpxml) #45

[chenqianhe]

先来占个坑，目前正在做

• 基于streamlit实现gui

[mli]

• 基于streamlit实现gui

这个不错。提几个需求：想要个video panel，audio panel 显示声音（很方便看到是不是停顿太多），一个可以编辑的字幕panel。光标换到某一行时能同步（2x速）播放视频和声音。能在audio panel移动来微调字幕的时间搓。多少有点像一个视频编辑器，但还是想以文本字幕为主panel。

[chenqianhe]

• 基于streamlit实现gui

这个不错。提几个需求：想要个video panel，audio panel 显示声音（很方便看到是不是停顿太多），一个可以编辑的字幕panel。光标换到某一行时能同步（2x速）播放视频和声音。能在audio panel移动来微调字幕的时间搓。多少有点像一个视频编辑器，但还是想以文本字幕为主panel。

目前计划是先把字幕生成；字幕筛选，剪切视频做出来。后续再加编辑功能。video panel，audio panel都问题不大。现在主要是被ffmpeg卡住了，视频上传是直接拿到了bytes，我不想保存本地再用ffmpeg读取；想直接使用bytes，但是目前有点问题；我再开个issue看看有没有人能帮忙解决

[mli]

@chenqianhe @zcf0508 wenet同学提到这个产品，我没用过，但看上去挺不错。UI的设计可以考虑参考他们 https://www.descript.com/

[zcf0508]

使用 Dynamic Quantization 加速测试

https://github.com/MiscellaneousStuff/openai-whisper-cpu/blob/main/script/custom_whisper.py

代码

zcf0508@0de0b4d

self.quantized_model = torch.quantization.quantize_dynamic(
    self.whisper_model, {torch.nn.Linear}, dtype=torch.qint8
)

whisper.transcribe(
  self.quantized_model if self.args.device == 'cpu'
          else self.whisper_model,
  ...)

测试结果

测试使用 Intel i7-8700 @3.2GHz ，代码基于 69b6a39 修改

whisper-model 参数使用默认 small

测试一

测试视频: 02:09 长度、4.91 M 的一个 mp4 文件

次数	whisper_model	quantized_model
1	56.8s	59.2s
2	56.8s	58.2s
3	60s	59s
4	62s	59.2s
5	57.8s	58.2s

测试二

测试视频: 07:16 长度、15.2 M 的一个 mp4 文件

次数	whisper_model	quantized_model
1	216s	213.3s
2	214.3s	216.5s
3	213.9s	213.5s
4	217.6s	217.2s
5	212.5s	214.5s

[mli]

使用 Dynamic Quantization 加速测试

出乎意料的没有加速。感觉要么是CPU对int8支持不好，要么是加速库没有装好？

[zcf0508]

https://github.com/chidiwilliams/stable-ts 这个库支持按字生成时间戳，可以参考一下

[chenqianhe]

https://github.com/chidiwilliams/stable-ts 这个库支持按字生成时间戳，可以参考一下

按字生成确实不错，但是之后字合并成句子又麻烦了，也不能直接按字数合并。不过是个不错的库

[yihong0618]

我领这个吧
加 CI，测试windows，linux，macos下的运行

目前完成

• linux -> ubuntu
• windows
• macos 目前有一个 test 跑不了

[chenqianhe]

我领这个吧 加 CI，测试windows，linux，macos下的运行

目前完成

• linux -> ubuntu
• windows
• macos 目前有一个 test 跑不了

哪个test有问题呢？目前test是我这边写的

[chenqianhe]

我领这个吧 加 CI，测试windows，linux，macos下的运行
目前完成

• linux -> ubuntu
• windows
• macos 目前有一个 test 跑不了

哪个test有问题呢？目前test是我这边写的

我的test都是在mac上写的，应该不会跑不了；可以一起看下

[yihong0618]

我领这个吧 加 CI，测试windows，linux，macos下的运行
目前完成

• linux -> ubuntu
• windows
• macos 目前有一个 test 跑不了

哪个test有问题呢？目前test是我这边写的

我的test都是在mac上写的，应该不会跑不了；可以一起看下

报这个错 环境 mac m1 16 promax python 3.10
#42

[chenqianhe]

我领这个吧 加 CI，测试windows，linux，macos下的运行
目前完成

• linux -> ubuntu
• windows
• macos 目前有一个 test 跑不了

哪个test有问题呢？目前test是我这边写的

我的test都是在mac上写的，应该不会跑不了；可以一起看下

报这个错 环境 mac m1 16 promax python 3.10 #42

应该是环境问题了；低版本py会有吗？我用的是M2 Air