Forge

Forge / Local နှင့် အင်တာနက်မဲ့

llama.cpp

ပွင့်လင်းရင်းမြစ်

C/C++ LLM inference။ desktop app ထက် အစိတ်အပိုင်းနည်းချင်လျှင် CLI သုံးပါ။

ကတ်မလိုမြန်မာနှင့် ကိုက်ကိုယ်တိုင် host နိုင်API
တရားဝင်ဆိုက်GitHub

အခမဲ့အဆင့်

MIT။ LM Studio၊ Ollama နှင့် GGUF ကိရိယာအများစုအောက်က runtime။

ကန့်သတ်ချက်များ

stack ကို ကိုယ်တိုင် စုရသည်။ GUI မရှိ။ quant မှားလျှင် အဖြေညံ့သည်။

သင့်တော်သော အလုပ်

  • headless ဆာဗာ
  • script များ
  • RAM ကျပ်သောအခါ

ကောင်းကောင်း သုံးပုံ

  1. BLAS/Metal/CUDA flag နှင့် build ပါ။ laptop တွင် Q8 မဟုတ်ဘဲ Q4_K_M GGUF ယူပါ။
  2. `llama-cli -m model.gguf -p '…' -n 256` run ပြီး tokens/sec တိုင်းပါ။ အေးဂျင့်မချိတ်မီ။
  3. OpenAI-compatible HTTP ကို localhost တွင်သာ ဖွင့်ပါ။

မြန်မာအတွက် မှတ်ချက်

LM Studio/Ollama run ပြီးလျှင် ယခုမလိုသေး။ headless VPS တွင် သုံးပါ။