DPDK on VirtualBox

September 23, 2014 (Last Modified: December 09, 2018)

Page content

VirtualBox에 DPDK 설치하기

VirtualBox 설치하기

통상적인 절차대로 VirtualBox를 설치하고, Ubuntu 14.04 LTS 설치한다. DPDK는 32bit와 64bit를 모두 지원하지만 64비트를 사용하는 것이 좋다. Application에 따라 많은 양의 Memory를 사용할 수도 있으므로.

NIC 카드 추가

VirtualBox가 지원하는 NIC에 Intel 82540EM과 82545EM이 있다. 둘 다 DPDK에서 지원하는 1G NIC이다. 이 중에서 82545EM 카드를 2개 추가한다.

VirtualBox의 Guest OS를 종료시킨 상태에서 환경 설정에서 Network > Adapter 항목에서 Adapter 2, Adapter 3를 활성화시킨다.

그 결과 총 3개의 NIC이 설치되었다.

그리고 interface 속성을 Bridged Adapter 형태로 설정한다.(Bridged Adapter는 NAT 없이 외부(Host OS를 통해)와 통신할 수 있는 방식이다. NAT를 사용하지 않으므로 Bridged Adapter에는 외부와 직접 통신할 수 있도록 고유한 IP를 할당하거나, 외부에서 IP 할당을 해야 한다)

SSE 사용하기

근래 버전의 DPDK는 SSE가 필수다(hash 라이브러리등에서) SSE를 사용하려면 아래와 같이 설정한다. 괄호 안의 Ubuntu 14.04는 VM 이름이다.

mini-2011:~ cychong$ VBoxManage setextradata "Ubuntu 14.04" VBoxInternal/CPUM/SSE4.1 1
mini-2011:~ cychong$ VBoxManage setextradata "Ubuntu 14.04" VBoxInternal/CPUM/SSE4.2 1

DPDK 설치

git clone git://dpdk.org/dpdk

DPDK 빌드

export RTE_SDK=/home/cychong/dpdk  
export RTE_ARCH=x86_64
export RTE_TARGET=x86_64-native-linuxapp-gcc

make config T=x86_64-native-linuxapp-gcc

l2fwd 실행하기

Build

cychong@ubuntu:~/dpdk/examples/l2fwd$ make 
CC main.o
LD l2fwd
INSTALL-APP l2fwd
INSTALL-MAP l2fwd.map

igb_uio 커널 모듈 설치

DPDK application은 User-level application으로 PCI를 통해 연결된 NIC에 접근하기 위해 User-Space IO(1, 2 참고)를 이용하므로 커널 모듈을 설치해야 한다.

cychong@ubuntu:~/dpdk$ sudo insmod /lib/modules/4.13.0-32-generic/kernel/drivers/uio/uio.ko
cychong@ubuntu:~/dpdk$ sudo insmod x86_64-native-linuxapp-gcc/kmod/igb_uio.ko

lspci 명령을 보면 Virtualbox에는 총 3개의 NIC가 존재하고, 이중 PCI ID 00:03.0은 Host OS와의 통신에 사용되는 Adapter 1이므로 이를 제외한 나머지 2개 00:08.0과 00:09.0을 DPDK용으로 사용한다.

cychong@ubuntu:~$ lspci |grep Intel |grep 8254
00:03.0 Ethernet controller: Intel Corporation 82540EM Gigabit Ethernet Controller (rev 02)
00:08.0 Ethernet controller: Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) (rev 02)
00:09.0 Ethernet controller: Intel Corporation 82545EM Gigabit Ethernet Controller (Copper) (rev 02)

Kernel에 포함된 device driver igb에 연결되어 있는 어댑터를 뺏어온다.

cychong@ubuntu:~/dpdk$ sudo ./tools/dpdk_nic_bind.py --status

Network devices using DPDK-compatible driver
============================================
<none>

Network devices using kernel driver
===================================
0000:00:03.0 '82540EM Gigabit Ethernet Controller' if=eth0 drv=e1000 unused=igb_uio *Active*
0000:00:08.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth1 drv=e1000 unused=igb_uio 
0000:00:09.0 '82545EM Gigabit Ethernet Controller (Copper)' if=eth2 drv=e1000 unused=igb_uio 

Other network devices
=====================
<none>

위에서 eth1, eth2를 DPDK용으로 사용하기 위해 아래와 같이 우선 unbind하고 igb_uio에 bind한다.

cychong@ubuntu:~/dpdk$ sudo ./tools/dpdk_nic_bind.py -u 0000:00:08.0
cychong@ubuntu:~/dpdk$ sudo ./tools/dpdk_nic_bind.py -u 0000:00:09.0

cychong@ubuntu:~/dpdk$ sudo ./tools/dpdk_nic_bind.py --bind=igb_uio 0000:00:08.0
cychong@ubuntu:~/dpdk$ sudo ./tools/dpdk_nic_bind.py --bind=igb_uio 0000:00:09.0

L2fwd 실행하기

cychong@ubuntu:~/dpdk$sudo examples/l2fwd/build/l2fwd -c 0x2 --no-huge -w 00:0:08.0 -w 00:0:09.0 -n1 -- -q 8 -p 3

cychong@ubuntu:~/dpdk$ sudo examples/l2fwd/build/l2fwd -c 0x2 --no-huge -w 00:0:08.0 -w 00:0:09.0 -n1 -- -q 8 -p 3
EAL: Detected lcore 0 as core 0 on socket 0
EAL: Detected lcore 1 as core 1 on socket 0
EAL: Support maximum 64 logical core(s) by configuration.
EAL: Detected 2 lcore(s)
EAL:   cannot open VFIO container, error 2 (No such file or directory)
EAL: VFIO support could not be initialized
EAL: Setting up memory...
EAL: TSC frequency is ~2321680 KHz
EAL: WARNING: cpu flags constant_tsc=yes nonstop_tsc=no -> using unreliable clock cycles !
EAL: WARNING: Master core has no memory on local socket!
EAL: Master core 1 is ready (tid=ef771840)
EAL: PCI device 0000:00:08.0 on NUMA socket -1
EAL:   probe driver: 8086:100f rte_em_pmd
EAL:   PCI memory mapped at 0x7fd5ef71b000
PMD: eth_em_dev_init(): port_id 0 vendorID=0x8086 deviceID=0x100f
EAL: PCI device 0000:00:09.0 on NUMA socket -1
EAL:   probe driver: 8086:100f rte_em_pmd
EAL:   PCI memory mapped at 0x7fd5ef6fb000
PMD: eth_em_dev_init(): port_id 1 vendorID=0x8086 deviceID=0x100f
Lcore 1: RX port 0
Lcore 1: RX port 1
Initializing port 0... PMD: eth_em_rx_queue_setup(): sw_ring=0x7fd5eb358c80 hw_ring=0x7fd5ed71eb00 dma_addr=0x7fd5ed71eb00
PMD: eth_em_tx_queue_setup(): sw_ring=0x7fd5eb356b80 hw_ring=0x7fd5ed72eb00 dma_addr=0x7fd5ed72eb00
PMD: eth_em_start(): <<
done: 
Port 0, MAC address: 08:00:27:41:5F:94

Initializing port 1... PMD: eth_em_rx_queue_setup(): sw_ring=0x7fd5eb356580 hw_ring=0x7fd5ed73eb00 dma_addr=0x7fd5ed73eb00
PMD: eth_em_tx_queue_setup(): sw_ring=0x7fd5eb354480 hw_ring=0x7fd5ed74eb00 dma_addr=0x7fd5ed74eb00
PMD: eth_em_start(): <<
done: 
Port 1, MAC address: 08:00:27:2B:31:74


Checking link statusdone
Port 0 Link Up - speed 1000 Mbps - full-duplex
Port 1 Link Up - speed 1000 Mbps - full-duplex
L2FWD: entering main loop on lcore 1
L2FWD:  -- lcoreid=1 portid=0
L2FWD:  -- lcoreid=1 portid=1


Port statistics ====================================
Statistics for port 0 ------------------------------
Packets sent:                        0
Packets received:                    0
Packets dropped:                     0
Statistics for port 1 ------------------------------
Packets sent:                        0
Packets received:                    0
Packets dropped:                     0
Aggregate statistics ===============================
Total packets sent:                  0
Total packets received:              0
Total packets dropped:               0
====================================================

다음에는 패킷 송수신 관련 기능을 실제로 시험해 본다. DPDK와 같은 user-mode IO를 사용하는 경우의 핵심인 PMD(Poll Mode Driver)를 이용해서 외부에서 수신되는 패킷을 처리하는 것과, DPDK 1.7에 추가된 Pcap 파일 혹은 ring을 이용해서 패킷을 받는 경우를 알아본다.