55 lines
2.8 KiB
Plaintext
55 lines
2.8 KiB
Plaintext
# SPDX-FileCopyrightText: Copyright (c) 2025-2026 NVIDIA CORPORATION & AFFILIATES. All rights reserved.
|
|
# SPDX-License-Identifier: Apache-2.0
|
|
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@@@@ @@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@@ @@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@ @@@@@@@@ @@@@@@@ @@@@@@@@@@@@@@@@@
|
|
@@@@@@@@ @@@@@@@ @@@@ @@@@@@ @@@@@@@@@@@@@@@
|
|
@@@@@@@ @@@@@@ @@@@@@ @@@@@@@ @@@@@@@@@@@@@@@@
|
|
@@@@@@@ @@@@@@ @@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@
|
|
@@@@@@ @@@@@@ @@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@ @@@@@@@ @@@@@@@@@@ @@@@@@@@@ @@@@@@@
|
|
@@@@@@ @@@@@@@@@@@@@ @@@@@@@@ @@@@@@@
|
|
@@@@@@ @@@@ @@@@@@@@@@ @@@@@@@@@
|
|
@@@@@@@ @@@@@@@@@@@@@ @@@@@@@@@@@@@@
|
|
@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@
|
|
@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
|
|
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
|
|
|
|
@@@@@@@@@ @@@@ @@@@ @@@@ @@@@@@@@ @@@@ @@@@@
|
|
@@@@@@@@@@@@@ @@@@@ @@@@@ @@@@@ @@@@@@@@@@@@@ @@@@@ @@@@@@@
|
|
@@@@@@@@@@@@@@ @@@@@@ @@@@@ @@@@@ @@@@@@@@@@@@@@ @@@@@ @@@@@@@@@
|
|
@@@@@ @@@@@@@@@@@@ @@@@@ @@@@@ @@@@@ @@@@@ @@@@@ @@@@@ @@@@@
|
|
@@@@@ @@@@@ @@@@@@@@@@@ @@@@@ @@@@@ @@@@@ @@@@@ @@@@@ @@@@@@
|
|
@@@@@ @@@@@ @@@@@@@@@@ @@@@@ @@@@@ @@@@@@ @@@@@ @@@@@@@@@@@@@
|
|
@@@@@ @@@@@ @@@@@@@@@ @@@@@ @@@@@@@@@@@@@@ @@@@@ @@@@@@@@@@@@@@@
|
|
@@@@@ @@@@@ @@@@@@@ @@@@@ @@@@@@@@@@@@@ @@@@@@@@@@@ @@@@@@
|
|
@@@ @@@ @@@@ @@@ @@@@@@@ @@ @@@ @@@ ®
|
|
|
|
Dynamo: A Datacenter Scale Distributed Inference Serving Framework
|
|
|
|
This is a minimum runtime container for interacting with Dynamo via our CLI
|
|
tools.
|
|
|
|
Try the following to begin interacting with a model:
|
|
> python -m dynamo.frontend [--http-port 8000]
|
|
> python -m dynamo.{vllm,sglang,trtllm} --model Qwen/Qwen2.5-3B-Instruct
|
|
|
|
To run more complete deployment examples, instances of etcd and nats need to be
|
|
accessible within the container. This is generally done by connecting to
|
|
existing etcd/nats services from the host or other containers. For simple
|
|
cases, you can start them in the container as well:
|
|
> nats-server -js &
|
|
> etcd --listen-client-urls http://0.0.0.0:2379 --advertise-client-urls http://0.0.0.0:2379 --data-dir /tmp/etcd &
|
|
|
|
With etcd/nats accessible, run the examples:
|
|
> cd examples
|
|
|
|
|