Stellen Sie Open Source LLM in Ihrem privaten Cluster mit Hugging Face und GKE Autopilot bereit

• Zugang zu einem GCP-Projekt und einem erstellten GKE Autopilot-Cluster: Stellen Sie sicher, dass Sie Zugang zu einem Google Cloud Platform (GCP)-Projekt haben und einen GKE Autopilot-Cluster eingerichtet haben. Der Autopilot-Cluster bietet eine verwaltete Kubernetes-Umgebung mit automatischer Skalierung und effizienter Ressourcenzuweisung, ohne dass eine manuelle Clusterkonfiguration erforderlich ist, und eignet sich daher perfekt für schnelle Bereitstellungen.
  Stellen Sie sicher, dass sich der Cluster in einer Region/Zone befindet, die GPUs unterstützt.
• Kontingent für den Betrieb von T4-GPUs (oder A100 für Falcon-40B): Vergewissern Sie sich, dass Ihr GCP-Projekt über das erforderliche Kontingent für den Betrieb von T4-GPUs (bzw. A100-GPUs für Falcon-40B) verfügt.
• Artefakt-Register: Richten Sie eine Artifact Registry für Docker-Container innerhalb Ihres GCP-Projekts ein. Stellen Sie sicher, dass sich die Artifact Registry in der gleichen Region wie der GKE-Cluster
  befindet, um eine schnelle Netzwerkübertragung zu gewährleisten.
• Google Cloud Storage (GCS) Bucket: Erstellen Sie einen GCS-Bucket in der gleichen Region
  wie Ihr GKE-Cluster. Der GCS-Bucket wird zum Speichern von Modellgewichten verwendet.
• Grundlegende Kenntnisse von Kubernetes: Ein grundlegendes Verständnis der Kubernetes-Konzepte und -Operationen ist für die Verwendung dieses Bereitstellungsprozesses erforderlich.

1. Manueller Download: Besuchen Sie die Falcon-7B-Instruct Modellseite auf dem Hugging Face Hub(https://huggingface.co/tiiuae/falcon-7b-instruct) und laden Sie die Modelldateien manuell über Ihren Webbrowser herunter.

git lfs clone --depth=1 https://huggingface.co/tiiuae/falcon-7b-instruct

1. Hugging Face Hub SDK: Eine weitere Option ist die Verwendung des Hugging Face Hub SDK, das eine bequeme Möglichkeit bietet, Modelle programmatisch abzurufen und mit ihnen zu interagieren. In der Dokumentation zum Hugging Face Hub SDK(https://huggingface.co/docs/huggingface_hub/quick-start) finden Sie eine Kurzanleitung zur Verwendung des SDK.

falcon-7b-instruct
├── [9.6K]  README.md
├── [ 667]  config.json
├── [2.5K]  configuration_RW.py
├── [ 111]  generation_config.json
├── [1.1K]  handler.py
├── [ 46K]  modelling_RW.py
├── [9.3G]  pytorch_model-00001-of-00002.bin
├── [4.2G]  pytorch_model-00002-of-00002.bin
├── [ 17K]  pytorch_model.bin.index.json
├── [ 281]  special_tokens_map.json
├── [2.6M]  tokenizer.json
└── [ 220]  tokenizer_config.json

gsutil -m rsync -rd falcon-7b-instruct gs://<your bucket name>/llm/deployment/falcon-7b-instruct

docker pull ghcr.io/huggingface/text-generation-inference:latest


docker tag ghcr.io/huggingface/text-generation-inference:latest <region>-docker.pkg.dev/<project id>/<name of the artifact registry>/huggingface/text-generation-inference:latest


docker push <region>-docker.pkg.dev/<project id>/<name of the artifact registry>/huggingface/text-generation-inference:latest

• Ein Kubernetes-Dienstkonto im GKE Autopilot-Cluster
• Ein neues Dienstkonto in GCP, das mit dem Kubernetes-Dienstkonto verbunden wird
• IAM-Berechtigungen für das GCP-Servicekonto in IAM (der Storage Object Viewer auf dem Bucket mit den Dateien des Modells sollte ausreichen).

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: ssd
provisioner: pd.csi.storage.gke.io
volumeBindingMode: WaitForFirstConsumer
allowVolumeExpansion: true
parameters:
  type: pd-ssd

apiVersion: apps/v1
kind: Deployment
metadata:
  name: falcon-7b-instruct
spec:
  replicas: 1
  selector:
    matchLabels:
      app: falcon-7b-instruct
  template:
    metadata:
      labels:
        app: falcon-7b-instruct
    spec:
      serviceAccountName: marcin-autopilot-sa
      nodeSelector:
        iam.gke.io/gke-metadata-server-enabled: "true"
        cloud.google.com/gke-accelerator: nvidia-tesla-t4
      volumes:
        - name: model-storage
          ephemeral:
            volumeClaimTemplate:
              spec:
                accessModes: [ "ReadWriteOnce" ]
                storageClassName: "ssd"
                resources:
                  requests:
                    storage: 64Gi
      initContainers:
        - name: init
          image: google/cloud-sdk:slim
          command: ["sh", "-c", "gcloud alpha storage cp -r gs://<bucket name>/llm/deployment/falcon-7b-instruct /data"]
          volumeMounts:
            - name: model-storage
              mountPath: /data
          resources:
            requests:
              cpu: 7.0
      containers:
      - name: model
        image: <region>-docker.pkg.dev/<project id>/<artifact registry name>/huggingface/text-generation-inference:latest
        command: ["text-generation-launcher", "--model-id", "tiiuae/falcon-7b-instruct", "--quantize", "bitsandbytes", "--num-shard", "1", "--huggingface-hub-cache", "/usr/src/falcon-7b-instruct", "--weights-cache-override", "/usr/src/falcon-7b-instruct"]
        env:
          - name: HUGGINGFACE_OFFLINE
            value: "1"
          - name: PORT
            value: "8080"
        volumeMounts:
          - name: model-storage
            mountPath: /usr/src/
        resources:
          requests:
            cpu: 7.0
            memory: 32Gi
          limits:
            nvidia.com/gpu: 1
        ports:
          - containerPort: 8080

nodeSelector:
        iam.gke.io/gke-metadata-server-enabled: "true"
        cloud.google.com/gke-accelerator: nvidia-tesla-t4

initContainers:
        - name: init
          image: google/cloud-sdk:slim
          command: ["sh", "-c", "gcloud alpha storage cp -r gs://<bucket name>/llm/deployment/falcon-7b-instruct /data"]

 containers:
      - name: model
        image: <region>-docker.pkg.dev/<project id>/<artifact registry name>/huggingface/text-generation-inference:latest
        command: ["text-generation-launcher", "--model-id", "tiiuae/falcon-7b-instruct", "--quantize", "bitsandbytes", "--num-shard", "1", "--huggingface-hub-cache", "/usr/src/falcon-7b-instruct", "--weights-cache-override", "/usr/src/falcon-7b-instruct"]
        env:
          - name: HUGGINGFACE_OFFLINE
            value: "1"
          - name: PORT
            value: "8080"

apiVersion: v1
kind: Service
metadata:
  name: falcon-7b-instruct-service
spec:
  selector:
    app: falcon-7b-instruct
  type: ClusterIP
  ports:
    - name: http
      port: 8080
      targetPort: 8080

kubectl apply -f storage.yaml
kubectl apply -f deployment.yaml
kubectl apply -f service.yaml

kubectl get pods -l app=falcon-7b-instruct
NAME                                  READY   STATUS    RESTARTS   AGE
falcon-7b-instruct-68d7b85f56-vbcsv   1/1     Running   0          8m

kubectl port-forward svc/falcon-7b-instruct-service 8080:8080

curl 127.0.0.1:8081/generate \
    -X POST \
    -d '{"inputs":"Who is James Hetfield?","parameters":{"max_new_tokens":17}}' \
    -H 'Content-Type: application/json'
Response:
{"generated_text":"\nJames Hetfield is a guitarist and singer for the American heavy metal band Metallica"}

from text_generation import Client

client = Client("http://127.0.0.1:8080")

query = """
Answer the question using ONLY the provided context between triple backticks, and if the answer is not contained within the context, answer: "I don't know".
Only focus on the information within the context. Do NOT use any outside information. If the question is not about the context, answer: "I don't know".

Context:
```
I really like the new Metallica 72 Seasons album! I can't wait to hear the next one.
```

Question: What is the sentiment of the text? Answer should be one of the following words: "positive" / "negative" / "unknown".
"""
text = ""
for response in client.generate_stream(query, max_new_tokens=128):
    if not response.token.special:
        text += response.token.text
        print(response.token.text, end="")
print("")

> python query.py
Answer: "positive"