龍年試AI

去年農曆年後,在我的Mac Mini M1 便當盒電腦上試玩過一些落地的AI應用。

首先下載了幾個小參數、量化後的免費模型,inference速度與輸出內容都不佳,稍微感受一下就不玩了。

反而比較好玩的是影片換臉,生圖(stable diffusion),voice cloning,voice remover 這些有的沒的。

後來也試過程式 copilot丶仿Gpt-4o的拼裝版(就是voice-text-llm-text-voice),在便當盒上跑出的效果都不好。

一陣折騰之後,便當盒又被打入冷宮,只有偶爾開機升級一下OS,再來就是被DeepSeek喚醒的蛇年了。

CloudFlare Workers AI

CloudFlare(CF) 不只是一家 CDN 服務商,也提供AI的雲端服務。

Worker 是他提供的 serverless 平台,可以撰寫API小程式部署在CF。CF 同時也部署了許多AI model 可以供 worker 呼叫使用,因此就可以很方便在CF上撰寫具有AI功能的API。

做一個文字生圖的網頁來試試: 模型當然選用最有名的 Stable Diffusion(路徑是@cf/stabilityai/stable-diffusion-xl-base-1.0),API 用 Workers,網站用 streamlit 寫。

CF 每個免費的使用者,每天有 10k 的免費 token。可以好好玩玩看!

蛇年試AI

DeepSeek r1

過年期間在南部除了地震,就是DeepSeek 的話題延燒不斷,所以過完年就找時間在我的Mac mini m1 電腦(便當盒)跑跑看落地的DeepSeek模型。

Step 1:
上回做這些事已經快一年了,電腦裡面還有之前使用的 lm studio 與 ollama。這兩個工具仍然很好用,升級新版後分別都試試。

Step 2:
模型選了
DeepSeek-R1-Distill-Llama-8B-Q4,
這是以 Llama 蒸餾過、8B小參數,量化後的小模型,如果找再大一點的模型我的便當盒(16G ram)就跑不動了。我沒有選 abliterated finetune 後的解封模型,因為身爲一個中國模型就應該有中國的樣子😁。
分別用 Lm studio 跟 Ollama 載入模型跑過,感覺還不錯.

Step 3:
Ollama 目錄下還殘留古老的breeze-7b-instruct-v1_0,這是聯發科開發的模型。聯發科真的很厲害,出錢出力建立LLM的發哥生態系,而且還在產官學各界熱心大力推廣。不過好一陣子沒聽到後續的發展,不知道目前的狀況如何。

既然電腦裡面有兩個模型,乾脆寫個demo網頁讓他們倆同時回答同樣的問題。
網頁用 python+streamlit 開發,模型與api用 ollama 來跑。

Step 4: ㄧ問
要問什麼問題來測試呢? 既然我跑的是河蟹版,就跟風也來問一下「六四天安門」吧!
果然 DeepSeek 拒絕回答。那我換個角度問「1989年6月4日發生什麼事」,就問出來了😁

Step 5: 再問
前幾天跟一群老友聚餐,聊到如果麥當勞用LLM接受點餐,是否可行?
我來試試看!結果兩個模型都沒答對。我也用 chatgpt 來測試;第一次也不對,再問一次就答對了。

問題如下:
小明跟小王去肯德基點餐,而您是店員,請您在點完餐後回覆小明跟小王.

小明說「我要一個 大麥克套餐,可樂大杯去冰,薯條正常,還有一份 麥克雞塊 6 塊。」

小王說「我要一份 麥香魚套餐,飲料換成 無糖綠茶,薯條換成 玉米杯,再加一個 雙層牛肉吉事堡。」

然後小明想了想又說「 我可樂改小杯,薯條加大,麥克雞塊再來一份。」
小王又說「那我也要加點一份麥克雞。」


VPS 紀錄#2

昨晚開始試著建立第二個網站,用來查詢我看過/想看的電影。

資料庫是現成的,多年來從 MySQL 換成 MS SQL Server,再改成 Mariadb 。這回又要換回MySQL 。

web server 延用 nginx,後端 api server 用 node.js 寫,前端用 angular。

外部的api 串接了 tmdb 和 omdb ,這兩家都可以免費使用。

過程遇到不少問題,比預期多花了一些時間。最後只完成查詢功能,其它就等以後有空再繼續了。

VPS(Virtual Private Server)

花費

這台 VPS的花費如下,都是找便宜的用:

  • VPS: RackNerd KVM VPS,US$29.28(NT$1010, 含VAT 5%), 1 year/2 cores/3G Ram
  • Domain Name: Godaddy,NT$76(含VAT 5%+ICANN $6), 1 year
  • Cloudflare: Free

過程

前陣子看到強者同學在FB發文說買了便宜的VPS,我想也來跟一下。原先打算購買 RackNerd 網頁上的2025 VPS 促銷方案,後來發現 2024 黑五方案竟然還可以下單。便宜5元少0.5G Ram,覺得還行就買了。

選機房的時候,特別簡單測試了幾個區域的 Latency 與下載速度,最後選了 San Jose。後來在設定 DNS 時候發現沒有 ipv6,發了 Ticket 詢問才曉得要選 LA 機房才有。雖然殘念,但是發現 72小時內可以免費換 IP 一次,就試玩看看取到了一個更好記的IP,不用花錢開心。

Domain Name 註冊是找 Godaddy。沒打算長期租用,預算百元/年。本想掛在 .com 這種大戶人家名下,可是都爆預算。這行業單賣名字就可以賺錢😂,最後選了.xyz 這種詐騙集團常用的域名。

大公司都愛用的Cloudflare,有免費的佛心方案。我就用他的免費 dns、吃他的certificate、睡他的CDN,讓自己的網站躲在他身後,減少被強者駭客凌虐的機會。

網站我用的是 WordPress,安裝在 VPS 上。有一些名叫xPannel的免費管理工具可以按一按就把事情做完。目前網站上面只有一篇文章,是系統自建的 hello world。

雖然有工具協助,可是改了IP後網站就起不來了,因為工具漏改了兩個config 檔。這時候大學時期練就的英打功夫派上用場了,用 ssh 連上主機用vi把ip改一改就好了。

未來

未來一直來,目前還沒有想到什麼好玩的事情可以折騰…