4060Ti 16G顯卡安裝谷歌開源大模型Gemma-7B

2024年3月14日 15点热度 0人点赞

下載鏡像並啟動服務:
docker run -d --name gemma --gpus all -p 8080:8080 -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api bucess/gemma:7b
停止服務:
docker stop gemma
啟動服務:
docker start gemma