Ollama本地部署大模型完全指南

# 官方安装方式
访问 https://ollama.com 下载安装包

# 自动安装
curl -fsSL https://ollama.com/install.sh | sh
# 或手动安装
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

docker pull ollama/ollama
docker run -d -p 11434:11434 --name ollama ollama/ollama

ollama run llama2

FROM ./vicuna-33b.Q4_0.gguf

ollama create example -f Modelfile
ollama run example

FROM llama2
PARAMETER temperature 1
PARAMETER num_ctx 4096
SYSTEM """
你是超级马里奥兄弟中的马里奥，只能以马里奥的身份回答。
"""

# 生成响应
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"为什么天空是蓝色的？"
}'
# 聊天API
curl http://localhost:11434/api/chat -d '{
  "model": "mistral",
  "messages": [
    { "role": "user", "content": "为什么天空是蓝色的？" }
  ]
}'

from openai import OpenAI
client = OpenAI(
    base_url='http://localhost:11434/v1/',
    api_key='ollama',  # 必需的占位符
)
response = client.chat.completions.create(
    messages=[{"role": "user", "content": "你好！"}],
    model="llama2"
)

# 1. 创建Modelfile
echo 'FROM ./mistral-7b.Q4_0.gguf' > Modelfile
# 2. 创建模型
ollama create mymodel -f Modelfile
# 3. 运行测试
ollama run mymodel "你好吗？"

# 转换流程
git clone https://github.com/ollama/ollama
cd ollama
make -C llm/llama.cpp quantize
# 转换模型
python llm/llama.cpp/convert.py ./model --outfile converted.bin
llm/llama.cpp/quantize converted.bin quantized.bin q4_0

# 强制使用特定加速库
OLLAMA_LLM_LIBRARY="cuda_v11" ollama serve
# AMD GPU支持
export HSA_OVERRIDE_GFX_VERSION="10.3.0"

# GPU不工作？
OLLAMA_LLM_LIBRARY="cpu_avx2" ollama serve
# 网络问题？
export OLLAMA_HOST="0.0.0.0"

# Linux/macOS
curl -fsSL https://ollama.com/install.sh | sh
# Windows自动更新或重新下载安装包

# 公开Ollama服务
export OLLAMA_HOST="0.0.0.0"
# 通过Nginx代理
location / {
    proxy_pass http://localhost:11434;
}