services:
  server:
    build:
      context: .
    ports:
      - 8000:8000
    env_file:
      - .env
    depends_on:
      database:
        condition: service_healthy
  database:
    image: neo4j:5.11
    ports:
      - "7474:7474"
      - "7687:7687"
    environment:
      - NEO4J_AUTH=${NEO4J_USERNAME}/${NEO4J_PASSWORD}
    healthcheck:
      test: ["CMD-SHELL", "wget --no-verbose --tries=1 --spider localhost:7474 || exit 1"]
      interval: 5s
      timeout: 3s
      retries: 5

注意
若要瞭解更多關於 Neo4j 的資訊，請參閱 Neo4j 官方 Docker 映像檔
$ docker compose up --build

存取應用程式。開啟瀏覽器並在 http://localhost:8000檢視應用程式。您應該會看到一個簡單的 Streamlit 應用程式。請注意，向 PDF 提出問題將導致應用程式失敗，因為 `.env` 檔案中指定的 LLM 服務尚未執行。

停止應用程式。在終端機中，按 `ctrl`+`c` 以停止應用程式。

新增本地或遠端 LLM 服務

此範例應用程式支援 Ollama 和 OpenAI。本指南提供以下情境的說明：

在容器中執行 Ollama
在容器外執行 Ollama
使用 OpenAI

雖然所有平台都可以使用上述任何一種情境，但效能和 GPU 支援可能有所不同。您可以參考以下準則來選擇合適的選項：

如果您使用的是 Linux 系統，並且使用 Docker Engine 原生安裝，或是使用 Windows 10/11 系統，並且使用 Docker Desktop，且您擁有 CUDA 支援的 GPU，並且系統至少有 8 GB 的 RAM，則建議在容器中執行 Ollama。
如果您使用的是搭載 Apple 晶片的 Mac，則建議在容器外執行 Ollama。
如果前兩種情況皆不適用於您，則建議使用 OpenAI。

請為您的 LLM 服務選擇以下其中一個選項。

在容器中執行 Ollama 時，您應該要有 CUDA 支援的 GPU。雖然您可以在沒有支援 GPU 的情況下在容器中執行 Ollama，但效能可能無法接受。只有 Linux 和 Windows 11 支援容器的 GPU 存取。

若要在容器中執行 Ollama 並提供 GPU 存取權限：

安裝必備元件。
- 對於 Linux 上的 Docker Engine，請安裝 NVIDIA Container Toolkit。
- 對於 Windows 10/11 上的 Docker Desktop，請安裝最新的 NVIDIA 驅動程式，並確認您使用的是 WSL2 後端。

在您的 compose.yaml 中加入 Ollama 服務和一個磁碟區。以下是更新後的 compose.yaml：

services:
  server:
    build:
      context: .
    ports:
      - 8000:8000
    env_file:
      - .env
    depends_on:
      database:
        condition: service_healthy
  database:
    image: neo4j:5.11
    ports:
      - "7474:7474"
      - "7687:7687"
    environment:
      - NEO4J_AUTH=${NEO4J_USERNAME}/${NEO4J_PASSWORD}
    healthcheck:
      test:
        [
          "CMD-SHELL",
          "wget --no-verbose --tries=1 --spider localhost:7474 || exit 1",
        ]
      interval: 5s
      timeout: 3s
      retries: 5
  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ollama_volume:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
volumes:
  ollama_volume:

注意
有關 Compose 指令的更多詳細資訊，請參閱使用 Docker Compose 開啟 GPU 存取權限。

將 ollama-pull 服務新增至您的 compose.yaml 檔案。此服務使用基於 GenAI Stack 的 pull_model.Dockerfile

services:
  server:
    build:
      context: .
    ports:
      - 8000:8000
    env_file:
      - .env
    depends_on:
      database:
        condition: service_healthy
      ollama-pull:
        condition: service_completed_successfully
  ollama-pull:
    image: docker/genai:ollama-pull
    env_file:
      - .env
  # ...