Jump to...
redirecting...

Log for Ubuntu 台灣社群

有沒有註冊APP的,一個APP350新台幣
Snap Store 註冊 app 不用錢(以下略
我有智輝君的迷你螢幕
還是希望未來新版Gnome能把Gesture Improvement的功能加進去,或是至少能有Win11那個程度的觸控板手勢選擇,現在的自訂性真的太低了
gnome:你自己安拓展(不是)
[photo](media:AgACAgQAAx0CPRn5XQABAgU-Z7K5MnrFYMBv1enIsMnqLsDOCfIAAobJMRvqoplRI2NOKCvbFuUBAAMCAANzAAM2BA@telegram)
本地端起ai server算是一種免費嗎
。。無獨立顯示卡
核显也可以跑,只是比较慢
gemini免費不穩定的,好用為什麼不付錢呢
只要你堆大量時間進去 CPU 也可以跑
也不用大量時間,只要你是epyc吐出的速度也還算可以接受
其實我不知道顯卡跟cpu在ai算力上實際的差距
但自己是試過amd ryzen 2400g cpu vs 1050ti 跑同一個模型比回應速度確實1050ti還是比較快
ai 大部份就跑矩陣向量計算,這反而使用 gpu 會比較有優勢
cpu 就算 36 核心再怎麼樣也不會比 gpu 幾千上萬單元運送有效率
但EPYC可不是什麼36核,他是384個threads,L3有384MB,單socket memory bandwidth 有 576GB/s,足以和消費級顯卡扳手腕了
192C/384T 那顆效能沒 128C/256T 的高
9755?
是哦
那顆泛用運算確實強,但如果要跑顯卡負載要實驗才知道
但反正我都用不起,想想2p都裝上,老公寓的電箱會先跳掉
旧一点的垃圾E5 v3 v4堆出来的机器速度也可以接受了
每秒2-3个token大概
llvm-pipe搞不好性能比某些垃圾显卡要好🌚
幾b?
groq
不是我的机器,模型是满血版DeepSeek R1
隔壁群有人跑的
但我用MashaMasha
顯卡很多功能都和硬體綁定,沒辦法
反正我現在就是用幾顆6500G在跑翻譯器🌚
慢就慢,反正128G插上去能動
Amd內顯現在支援度好嗎
在沒有錢的狀態下,CPU 搭配 LLVM-Pipe 或者是使用較舊的中端 GPU 可能是跑 LLM 的一個比較划算的選擇。
不过跑LLM也不一定通过llvmpipe这样再过一层?
llama.cpp之类的也有CPU的推理引擎,带SIMD优化的
我用純CPU在跑
It's work
其實正經來講會用Ray跑
自用用啥都沒差
光用想的就挺辛苦的
[sticker](media:AAMCBQADHQI9GfldAAECBWtnsyNyl9K-MKFwIjFKSvlNd1CvWwACRhAAAhEQoFR11_-MQwwZEQEAB20AAzYE@telegram)
比爆VRAM時快一點,CPU雖然耗電但便宜又能動
LLM也可以直接使用CPU的SIMD优化,無需再通过llvmpipe。
你們這又是獨立顯示卡,又是大記憶體的,我都沒有
只有32G記憶體
我2400g + 32G +1050TI 好像也沒好去哪
兄弟你不孤單 我也2400
欸等一下 我們的2400怎麼好像不一樣
[sticker](media:AAMCBQADHQI9GfldAAECBXNns1EhiZZS8TxdcH6StbuUwsvUQQACMRIAAncjWFW_e9s4tqoYNQEAB20AAzYE@telegram)
肯定是不一樣的沒事的
確實 我的多了一個i5
[sticker](media:AAMCBQADHQI9GfldAAECBXZns1LySh_UUQdcl29zem1FTHj_QwAC0QQAAlCB-VX3P11Kr_irfwEAB20AAzYE@telegram)