Log for 電訊台

入左手兩部即刻跛ai PC, 諗緊係用佢條DAC定係真係搵兩粒QSFP黎interconnection

都可以

見到DAC就唔想用lol

我 Asus GX10 用 100G MPO 手指

但係會比較熱

都係凉冷氣嫁啦.....但呢個溫度係唔係未full load下?

我自己試恆定

idle 定 full load 粒 MM QSFP28 都係果個溫度

pm 05:11:52

咁都好啲,唔係嘅話入面full load扯到90度個陣,粒野鳩左就....

如果係 GX10 嘅話 inlet 係底

Gigabyte inlet前面

其實好的

GX10 我要打直擺

你個node依家駁住幾多件GX10?

4

local deploy啲咩

Qwen3.5-122B-A10B 同 Gemma-4-26B-IT

pm 05:24:08

我其它嘢用 H100

pm 05:24:14

h100 woo

唔試下GLM?

GLM-5.2 會唔夠 VRAM

嗰個我租咗 GB300 黎放

1M context 太食 KV cache

pm 05:26:11

crazy

用Q4都會打爆?

最少要淨 50GB

glm 5.2入場費唔知幾多
1m ctx, 50t/s

pm 05:26:46

GLM 系列唔可以開 KV cache compression

唔喺成個 model 會變傻仔

weight 部分我已經 INT4 咗

GLM-5.1 可以用 H100

400G ram, 50G KV

四部 GX10 我諗最盡係 DeepSeek-v4-Flash

唔係應該夠找數咩

50G 係一個人

多幾個人你就唔係淨喺要咁少

以前果堆epyc build唔知點

pm 05:29:05

有768gb 1.5t果堆

pm 05:29:15

仲有 xeon6 mrdimm果班

pm 05:29:17

掉佢入vector db processing完先?

開 prefix cache 撐囉

咁嘅話應該compress到個content唔洗一棍打爆50G

pm 05:30:03

不過你卡都係要有足夠空間擺 KV cache 先得

pm 05:30:48

最近有個新野叫 MLCache 好似話唔一定要 match prefix 都可以 KV cache 到

貴死人

不過真係好多人用

矛嫁,依家單體run單model咁解

given 我自己 host 仲快過 z.ai 個 API

pm 05:32:09

同埋依家好似有個轉向係CPU process

GB10 一體嘅,無分嫁啦

我講 H100 嗰啲

GB10 淨係做到 SSD KV cache

pm 05:33:59

其實好事黎

pm 05:34:38

cpu谷tops
mrdimm砌bandwidth

pm 05:34:52

唔會掛...你係用SWAP黎頂爆?

pm 05:35:01

pcie太慢

唔係 swap 啦

不過 GB10 要穩定真係要開大少少 swap

pm 05:35:42

122b + voxcpm2 + qwen3 asr

pm 05:36:08

你個 122B 有冇試過 concurrency 去到幾多 decode 先封頂

pm 05:36:11

早兩日,走去行Gemma 4 31b,直接打爆左lol

pm 05:36:32

冇試過，ctx都唔足，我鎖200k

pm 05:36:36

31B 既話太食 memory bandwidth

pm 05:36:41

然後發覺,hf google 個31b未compress

都未入到去,就已經OOM

哦我用 NVFP4 版

load 到，不過太慢

建議 2-4 node 做 TP 先好行 31B

pm 05:38:08

單機得 6t/s

pm 05:38:38

一係行dflash

pm 05:39:45

試下MTP

pm 05:40:16

https://forums.developer.nvidia.com/t/dflash-for-qwen3-5-122b-a10b-80-tok-s-on-1x-spark/374328

pm 05:40:17

interesting

quality好似會柒多啲

我試過 SGLang DFlash，好似無特別變快……

pm 05:41:33

所以要睇benchmark

pm 05:41:47

如果唔係就diffusiongemma應該好好用

-6pp?唔記得