Zuerst müssen Sie den Unterschied zwischen einem normalen Benutzer, einem Administrator und einer Dienstkontonummer verstehen. Es ist auch wichtig, die Funktion der sudo-Befehlskommando zu verstehen – verwenden Sie es nicht blind zur Umgehung von Zugriffsbeschränkungen.
Arbeiten Sie in Ihrer eigenen Umgebung. „Ihre eigene Umgebung“ bedeutet das Arbeitsumfeld in Ihrem Home-Verzeichnis (oder dem Verzeichnis der Dienstkontonummer). Gleiches gilt: Wenn Sie als Administrator arbeiten, erstellen Sie keine Dateien an Stellen, an denen normale Benutzer arbeiten.
Für Python müssen Sie eine virtuelle Umgebung erstellen. Dies gilt sowohl für die Arbeit in IDEs (wie PyCharm) als auch im Shell-Modus.
Beim Installieren von Modulen können Sie folgendes Problem begegnen:
pip install vllm
Antwort:
error: externally-managed-environment
× This environment is externally managed
╰─> To install Python packages system-wide, try apt install
python3-xyz, where xyz is the package you are trying to
install.
Die Fehlermeldung sagt Ihnen, dass Sie den systemweiten Python verwenden sollten (vermeiden Sie es, sudo zu verwenden, um das Problem zu lösen). Ihnen wird vorgeschlagen, den Paket python3-xyz zu installieren, aber ich würde das nicht tun. Stattdessen stellen Sie zunächst sicher, dass der Paket python3-full auf Ihrem System installiert ist:
sudo apt install python3-full
Dann erstellen Sie eine virtuelle Umgebung (dies kopiert die systemweiten Python-Module in das von Ihnen angegebene Verzeichnis und spätere Installationen werden dort durchgeführt):
python3 -m venv /home/di/.venv
Danach starten Sie Python aus der virtuellen Umgebung:
# Version überprüfen
~/.venv/bin/python3 --version
Python 3.12.3
Jetzt können Sie mit der Installation des Moduls fortfahren:
~/.venv/bin/pip install torch
~/.venv/bin/pip install vllm
Hier kann eine Pause auftreten aufgrund von Fehlern, z. B.
ModuleNotFoundError: No module named 'torch'. In diesem Fall entfernen Sie~/.venv, aktualisieren Sie die Pakete des Betriebssystems, aktualisieren Sie pip mit~/.venv/bin/pip install --upgrade pipund erstellen Sie~/.venvneu.
Falls Ihr Python zu neu für VLLM ist (was eine andere Thematik ist), verwenden Sie bitte die aktuelle Installationsanleitung für das Produkt: Installation — vLLM
Warten Sie auf das Ende:
...
Downloading gguf-0.17.1-py3-none-any.whl (96 kB)
Downloading httpx-0.28.1-py3-none-any.whl (73 kB)
Downloading httpcore-1.0.9-py3-none-any.whl (78 kB)
Downloading h11-0.16.0-py3-none-any.whl (37 kB)
Downloading huggingface_hub-0.33.1-py3-none-any.whl (515 kB)
Downloading hf_xet-1.1.5-cp37-abi3-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (3.1 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.1/3.1 MB 3.8 MB/s eta 0:00:00
Downloading fsspec-2025.5.1-py3-none-any.whl (199 kB)
Downloading interegular-0.3.3-py37-none-any.whl (23 kB)
Downloading jinja2-3.1.6-py3-none-any.whl (134 kB)
Downloading MarkupSafe-3.0.2-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (23 kB)
Downloading mistral_common-1.6.2-py3-none-any.whl (6.5 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 6.5/6.5 MB 3.5 MB/s eta 0:00:00
Downloading jsonschema-4.24.0-py3-none-any.whl (88 kB)
Downloading attrs-25.3.0-py3-none-any.whl (63 kB)
Downloading jsonschema_specifications-2025.4.1-py3-none-any.whl (18 kB)
Downloading openai-1.91.0-py3-none-any.whl (735 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 735.8/735.8 kB 2.9 MB/s eta 0:00:00
Downloading distro-1.9.0-py3-none-any.whl (20 kB)
Downloading jiter-0.10.0-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (352 kB)
Downloading typing_extensions-4.14.0-py3-none-any.whl (43 kB)
Downloading opencv_python_headless-4.11.0.86-cp37-abi3-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (50.0 MB)
━━━━━━━━━━╺━━━━━━━━━━━━━━━━━━━━━━━━━━━ 15.2/50.0 MB 2.6 MB/s eta 0:00:14