Wie installiert man DeepSeek Janus Pro lokal? 183

Das von DeepSeek veröffentlichte Janus-Pro-7B ist ein quelloffenes multimodales Großmodell, das Bilderkennung und -generierung unterstützt und in der Leistung Openais DALL·E 3 übertrifft. Im Folgenden finden Sie detaillierte Schritte, Tipps und Hinweise für die DeepSeek Janus Pro-7B lokale Bereitstellung:

1. Umgebungsvorbereitung

Hardwareanforderungen

• GPU: Videospeicher ≥24 GB (empfohlen: NVIDIA RTX A6000 oder leistungsstärker); bei unzureichendem Videospeicher können Sie den Niedrigpräzisionsmodus (model.half()) versuchen oder die Generierungsparameter reduzieren.

• Speicherplatz: ≥30 GB verfügbarer Speicher (Modelldateien ca. 20 GB+).

• Betriebssystem: Empfohlen Ubuntu 20.04+ oder Windows (CUDA-Anpassung erforderlich).

• Python: 3.8+, idealerweise mit Conda zur Verwaltung virtueller Umgebungen.

Softwareabhängigkeiten

• CUDA: 11.7+ (muss mit der PyTorch-Version übereinstimmen).

• PyTorch: angegebene Version torch==2.0.1+cu117 (Installation über den offiziellen Index erforderlich).

• Sonstige Werkzeuge: Git, HuggingFace Hub Download-Tool (huggingface-cli).

2. Bereitstellungsschritte

1. Code-Repository klonen

git clone https://github.com/deepseek-ai/Janus.git
cd Janus

2. Virtuelle Umgebung erstellen

conda create -n janus python=3.8 -y
conda activate janus

3. Abhängigkeiten installieren

pip install torch==2.0.1+cu117 --index-url https://download.pytorch.org/whl/cu117
pip install -r requirements.txt
pip install -e .[gradio]  # Gradio-Erweiterung installieren

4. Modell herunterladen

• Methode 1: Vollständiges Modell über huggingface-cli herunterladen (für Nutzer in China wird die Verwendung eines Mirrors zur Beschleunigung empfohlen):

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download deepseek-ai/Janus-Pro-7B \
  --local-dir ./models/Janus-Pro-7B \
  --resume-download --cache-dir ./cache

• Methode 2: Modelldateien manuell aus dem HuggingFace-Repository herunterladen und in ./models/Janus-Pro-7B entpacken.

5. Anwendung starten

Textinteraktionsoberfläche:

python demo/app_text.py --model-path ./models/Janus-Pro-7B

Multimodale Oberfläche (unterstützt Bildgenerierung und Fragen und Antworten):

python demo/app_multimodal.py --model-path ./models/Janus-Pro-7B --port 7860

Greifen Sie auf http://localhost:7860 oder http://127.0.0.1:7860 zu, um die interaktive Oberfläche zu nutzen.

3. Beispiele für die Funktionsnutzung

• Text-zu-Bild (Text-to-Image)

from janus.utils import generate_image
generate_image(
    model_path="./models/Janus-Pro-7B",
    prompt="Schneeberg bei Sonnenuntergang, mit einem blauen See am Fuße des Berges",
    output_dir="./outputs",
    num_images=4  # 4 Bilder generieren)

• Multimodale Fragen und Antworten (Visual QA)

from janus.models import MultiModalityCausalLM, VLChatProcessor
processor = VLChatProcessor.from_pretrained("./models/Janus-Pro-7B")
model = MultiModalityCausalLM.from_pretrained("./models/Janus-Pro-7B").to("cuda")
# Dialog und Bildpfad eingeben
conversation = [
    {"role": "", "content": "Beschreiben Sie den Inhalt dieses Bildes", "images": ["sample.jpg"]},
    {"role": "", "content": ""}
]
inputs = processor(conversations=conversation)
outputs = model.generate(**inputs)
print(processor.decode(outputs[0]))

4. Häufige Probleme und Optimierung

Unzureichender Videospeicher

• Generierungsparameter reduzieren: max_new_tokens=256.

• Niedrigpräzisionsmodus aktivieren: model = model.half().

Langsame Downloadgeschwindigkeit

• Inländische Mirror-Quelle verwenden: HF_ENDPOINT=https://hf-mirror.com.

• Multithread-Download aktivieren: --workers 8.

Abhängigkeitskonflikte

• Strikt die angegebene Version installieren:

pip install transformers==4.33.2

Optimierung der Bildgenerierungsqualität

• CFG-Gewichtung anpassen (im Bereich von 5-7).

• Anzahl paralleler Stichproben erhöhen: parallel_size=16.

Hier teile ich auch die lokale Bereitstellungsmethode eines Technikers auf X, dem ich folge:

Kleine Tipps:

• Tipp 1: Wenn Sie bereits eine Conda-PyTorch-Umgebung installiert haben, können Sie mit conda create --name myenv --clone base direkt eine Kopie erstellen, da das erneute Herunterladen von PyTorch sonst jedes Mal langsam ist und Zeit verschwendet.

• Tipp 2: Installieren Sie unbedingt flash-attention. Auch wenn es ohne läuft, wird der Videospeicher überlastet; wer eine A100 hat, kann dies ignorieren.

Mit den oben genannten Schritten können Sie die multimodalen Fähigkeiten von Janus-Pro-7B schnell lokal bereitstellen und erleben. Für weitere Optimierungen oder Details zum Modell siehe das GitHub-Repository und die technische Dokumentation.