Qwen3 evaluation

[changtimwu]

Qwen3 runs seamlessly with Ollama. Here are some additional resources:

• Official announcement:

  • The title "思深，行速" highlights its impressive speed and accuracy.
  • Pre-trained on data covering 119 languages and dialects, including traditional chinese

• Official model repository: Supports FP8 and GPT-Q.

• Hugging Face dedicated article.

  • still stress ollama is good for simlipcity(development). vllm is good for high concurrent(production).

• Nvidia blog on TensorRT-LLM deployment noting Qwen3's unique features.

Other resources

• https://milvus.io/zh-hant/blog/hands-on-with-qwen-3-and-milvus-building-rag-with-the-latest-hybrid-inference-models.md
• https://github.com/QwenLM/Qwen-Agent

[changtimwu]

we got two ready to run qwen3 A3B FP8 templates

vllm

• container image: vllm/vllm-openai:latest
• command

--model Qwen/Qwen3-30B-A3B-FP8 --enable-reasoning --reasoning-parser deepseek_r1 --max-model-len 32768 --host 0.0.0.0 --port 8000  --enable-auto-tool-choice --tool-call-parser hermes

port 8000 takes quite a while to get ready

a3b-logs.txt

it works on A6000(48G).

check models

$curl https://afjlj5vmt59rq0-8000.proxy.runpod.net/v1/models

{"object":"list","data":[{"id":"Qwen/Qwen3-30B-A3B-FP8","object":"model","created":1749364796,"owned_by":"vllm","root":"Qwen/Qwen3-30B-A3B-FP8","parent":null,"max_model_len":32768,"permission":[{"id":"modelperm-badda12a38ca4b7aaf6969f3be78ef82","object":"model_permission","created":1749364796,"allow_create_engine":false,"allow_sampling":true,"allow_logprobs":true,"allow_search_indices":false,"allow_view":true,"allow_fine_tuning":false,"organization":"*","group":null,"is_blocking":false}]}]}

chat completion test

timwu@timbparm ~ % curl -X POST "https://afjlj5vmt59rq0-8000.proxy.runpod.net/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-30B-A3B-FP8",
    "messages": [
      {
        "role": "user",
        "content": "如何製作烏梅子醬?"
      }
    ],
    "max_tokens": 100,
    "temperature": 0.7
  }'
{"id":"chatcmpl-cb730d0883ee44d4895145be21c5ed6d","object":"chat.completion","created":1749365125,"model":"Qwen/Qwen3-30B-A3B-FP8","choices":[{"index":0,"message":{"role":"assistant","reasoning_content":"\n嗯，用户问如何制作乌梅子酱。首先，我需要确定乌梅子酱的常见做法。可能用户指的是用乌梅做的果酱，或者可能有其他名字？比如，乌梅子酱可能和某些地方的特产有关，比如日本的梅子酱？不过一般来说，乌梅子酱可能是指用乌梅制作的果酱。\n\n接下来，我需要回忆乌梅的处理方法。乌梅本身比较酸，可能需要糖","content":null,"tool_calls":[]},"logprobs":null,"finish_reason":"length","stop_reason":null}],"usage":{"prompt_tokens":15,"total_tokens":115,"completion_tokens":100,"prompt_tokens_details":null},"prompt_logprobs":null,"kv_transfer_params":null}%

[changtimwu]

test with Cherry studio's HR agent with user query 請以繁體中文撰寫一前端工程師召聘啟示

請以繁體中文撰寫一前端工程師召聘啟示

### 🤖 Assistant

已深度思考

【前端工程師徵才啟事】

🌟 職務名稱：前端工程師
📍 工作地點：台北市 / 電子商務公司（可彈性遠距）
📅 類別：正式員工
💼 工作經驗：1~3年（優先考慮有電商經驗者）

---

📌 職務內容：

我們正在尋找一位熱情、具備良好溝通能力與技術實力的前端工程師，加入我們的創新團隊，共同打造優質的用戶體驗與高效能的網站與應用程式。

主要職責包括：

• 負責公司網站與電商平台的前端開發與維護
• 與設計師、後端工程師密切合作，實現視覺與功能的整合
• 持續優化網站性能與用戶體驗
• 參與產品需求評估與技術方案設計
• 跟進前端技術趨勢，提升團隊技術能力

---

🧩 職務要求：

• 熟悉 HTML、CSS、JavaScript 等前端基礎技術
• 有 React、Vue 或其他主流框架開發經驗者優先
• 具備基本的後端知識（如 Node.js、PHP、Python 等）者佳
• 有電商平台開發經驗者優先（如 Shopify、Magento、BigCommerce）
• 具備良好的溝通能力與團隊合作精神
• 對 UX/UI 有基本認識，能與設計師有效溝通
• 有持續學習與解決問題的熱忱

---

🎁 我們提供：

• 具有競爭力的薪資與績效獎金
• 弹性工作時間與遠距上班機制
• 定期技術培訓與學習資源
• 良好的團隊氛圍與發展空間

---

📨 申請方式：

請將您的履歷（含作品集或 GitHub 個人頁面連結）與簡短自我介紹，郵件主旨為「前端工程師申請-姓名」，寄至：
📧 hr@company.com

---

📌 我們期待您的加入，一起創造優質的數位體驗！
📍 本公司為一電子商務創新公司，專注於提供高品質的線上購物服務與數位解決方案。

---

本職缺將持續開放至人選到任為止，歡迎優秀人才踴躍申請！

token rate

VRAM usage

[changtimwu]

Qwen/Qwen3-30B-A3B-GPTQ-Int4 + VLLM on runpod

Qwen/Qwen3-30B-A3B-GPTQ-Int4

start and inference log

qwen3_gptq_int4.txt

[changtimwu]

tested with Cherry Studio Sales manager assistant with user query 邊緣AI運算伺服器產品 今年要做三億台幣營業額 請制定銷售計劃

邊緣AI運算伺服器產品 今年要做三億台幣營業額 請制定銷售計劃

作為一名銷售運營經理，我會根據「邊緣AI運算伺服器產品」的市場特性、銷售目標（3億台幣）來制定一套完整的銷售計劃。以下為詳細的銷售計劃框架，包含目標設定、市場策略、銷售團隊管理、銷售預測與執行步驟。

---

🔹 一、目標設定（目標金額：3億台幣）

1.1 年度總目標

• 目標金額：3 億台幣
• 目標台數：根據產品定價（假設每台售價 50 萬台幣），目標為 600 台。
• 目標客戶數：預計服務 60 家企業客戶（每家平均 10 台）。

1.2 季度目標拆分

季度	目標金額	目標台數
Q1	7500 萬	150 台
Q2	7500 萬	150 台
Q3	7500 萬	150 台
Q4	7500 萬	150 台

---

🔹 二、市場與客戶分析

2.1 目標市場

• 產業類別：

  • 工業自動化
  • 智慧製造
  • 車載AI系統
  • 電子商務伺服器
  • 企業資料中心

• 客戶類型：

  • 中大型企業（年營收 10 億以上）
  • 有AI運算需求的製造業、科技公司、雲服務商

2.2 競爭分析

• 主要競爭對手：

  • NVIDIA（Jetson 系列）
  • Intel（Movidius）
  • AWS、Google、Microsoft 等雲端廠商

• 我們的優勢：

  • 高效能邊緣AI處理
  • 定製化服務
  • 本地化支持與服務

---

🔹 三、銷售策略

3.1 產品定位

• 核心賣點：
  • 高效能邊緣運算
  • 低延遲、高穩定性
  • 支援多種AI模型
  • 定製化解決方案

3.2 客戶分層策略

客戶層級	特徵	優先級	策略
重點客戶	年營收 > 10 億、有AI需求	1	建立戰略合作，提供定制化服務
次要客戶	年營收 5-10 億	2	開發標準方案，強化售後服務
潛在客戶	年營收 <5 億	3	建立品牌認知，提供試用方案

3.3 渠道策略

• 直接銷售：針對重點客戶，由專屬銷售團隊接觸。
• 經銷合作：與系統整合商、IT服務商合作，拓展市場。
• 線上平台：透過官網、雲端平台（如 AWS Marketplace）銷售。

---

🔹 四、銷售團隊與組織架構

4.1 銷售團隊組成

• 銷售經理：1 名，負責團隊管理與目標達成。
• 銷售專員：6 名（每人負責 10 家重點客戶）。
• 技術支援：2 名，協助解決客戶技術問題。

4.2 培訓與激勵

• 銷售培訓：
  • 產品知識
  • 客戶談判技巧
  • 售後服務流程
• 激勵機制：
  • 每季目標達成獎金
  • 超額獎金（如達成目標 110% 獎金 +10%）
  • 年度最佳銷售獎

---

🔹 五、銷售預測與執行計畫

5.1 銷售預測模型

• 使用歷史數據 + 市場趨勢 + 壘計潛在客戶數
• 每月進行銷售預測與目標調整

5.2 執行計畫（以Q1為例）

月份	重點任務	目標
1月	市場調研 + 客戶篩選	開始接觸 20 家潛在客戶
2月	建立合作關係 + 提供試用	開始簽約 5 家
3月	促成簽約 + 客戶教育	達成目標 150 台

---

🔹 六、銷售支持與數據管理

6.1 CRM系統（如Salesforce）

• 跟蹤客戶進度
• 記錄銷售談話內容
• 管理客戶需求與疑問

6.2 報表與分析

• 每週報告銷售進度
• 每月進行目標達成率分析
• 每季度做銷售策略調整

---

🔹 七、風險管理與應變措施

風險	影響	应對措施
市場需求不如預期	銷售目標達不成	增加市場推廣，調整銷售策略
競爭對手價格戰	價格壓力大	強化產品優勢，提高服務品質
技術支援不足	客戶滿意度下降	增加技術支援人力，加強培訓

---

🔹 八、總結

項目	内容
目標	3 億台幣（600 台）
策略	重點客戶 + 經銷合作 + 線上銷售
優勢	高效能、定製化、本地化服務
執行重點	客戶分層 + 精準銷售 + 持續培訓

---

如果你有具體的產品型號、售價、客戶清單或市場數據，我可以為你進一步定制這份銷售計劃。需要我幫你做銷售預測模型或 CRM 系統建議嗎？

token rate

vram usage

[changtimwu]

TensorRT-LLM

while the VLLM implementation works well, the TensorRT-LLM even support FP4!

• official page: https://nvidia.github.io/TensorRT-LLM
• CI: add fp8/fp4 ci on Qwen3-30B-A3B NVIDIA/TensorRT-LLM#4266
• Qwen3 supports TRTLLM FP4 MoE backend NVIDIA/TensorRT-LLM#4530
• tensorrt-llm qwen3 doc https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/models/core/qwen#qwen3
• nvidia blog: https://developer.nvidia.com/blog/integrate-and-deploy-tongyi-qwen3-models-into-production-applications-with-nvidia/

Nemo

https://docs.nvidia.com/nemo-framework/user-guide/latest/llms/qwen3.html
most are about pretrain and finetune. not useful for inference only evaluation

[timwu-ipevo]

Benchmark results

• Qwen Official benchmark result

Qwen3-235B-A22B

• https://huggingface.co/Qwen/Qwen3-235B-A22B-FP8
• https://huggingface.co/Qwen/Qwen3-235B-A22B-GPTQ-Int4
  CUDA out of memory -- full logqwen3-235B-q4-rtx6kpro.txt

Conclusion

• FP8 is still the best choice of weight precision no matter focus on performance or speed.
• forget about 235B, that doesn't work in single GPU card.

[timwu-ipevo]

• https://huggingface.co/Qwen/Qwen3-235B-A22B-GPTQ-Int4
• https://huggingface.co/Qwen/Qwen3-235B-A22B-FP8

[timwu-ipevo]

Ollama

qwen3 on ollama vram requirement calculation. Take 30b-a3b Q4_K_M as an example.

Analysis

• VRAM Requirements for Running the Ollama Model
• Advantages of MoE Models: Efficient VRAM Usage with Ollama's Implementation

Benchmark: ollama vs vllm

Benchmarking Ollama vs vLLM Performance from a Client Perspective

[timwu-ipevo]

TensorRT-LLM

• https://catalog.ngc.nvidia.com/orgs/nvidia/teams/tensorrt-llm/containers/devel
  • nvcr.io/nvidia/tensorrt-llm/devel:0.21.0rc0
• https://catalog.ngc.nvidia.com/orgs/nvidia/teams/tensorrt-llm/containers/release
  • nvcr.io/nvidia/tensorrt-llm/release:0.21.0rc0

https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/models/core/qwen#qwen3

It offers disaggregated serving example. it has multiple servers to launch

• 1 context server at port 8001
• 2 generation servers at port 8002, 8003
• a disaggregration server at port 8000

[timwu-ipevo]

vllm multi-model memory allocation

the default value of --gpu-memory-utilization is 0.9. when lanuching for qwen3 LLM you better specify it a smaller value. When 0.5, it has less memory for KV cache

INFO 06-10 22:12:08 [gpu_worker.py:227] Available KV cache memory: 7.49 GiB

start the reranker model

vllm serve Qwen/Qwen3-Reranker-4B --gpu_memory_utilization 0.1 --port 8002 --enable-auto-tool-choice --tool-call-parser hermes --max-model-len 32768 --task score

vllm-qwen3-reranker-4B.txt

start the embedding model

https://huggingface.co/Qwen/Qwen3-Embedding-4B#vllm-usage

vllm serve Qwen/Qwen3-Embedding-4B --gpu_memory_utilization 0.2 --port 8001  --task embed

vllm-qwen3-embedding-4B.txt

on runpod

[mattleei]

• CI: add fp8/fp4 ci on Qwen3-30B-A3B CI: add fp8/fp4 ci on Qwen3-30B-A3B NVIDIA/TensorRT-LLM#4266

=> google search result

找到這個 https://huggingface.co/omeng-nvidia/saved_models_Qwen3-30B-A3B_nvfp4_hf

另 https://huggingface.co/qingcheng-ai 下面這幾個 fp4