Thẻ giao diện mạng (NIC)

Máy chủ của bạn có cổng 100G nhưng NIC của bạn chỉ hỗ trợ 10G. Xin chúc mừng - bạn vừa trả tiền cho băng thông mà bạn sẽ không bao giờ sử dụng. Card giao diện mạng là nút cổ chai bị bỏ qua nhiều nhất trong thiết kế mạng hiện đại. Trong khi các kỹ sư bị ám ảnh bởi các thông số kỹ thuật của kết cấu chuyển mạch và bộ thu phát thì NIC lặng lẽ xác định thông lượng thực tế mà mọi máy chủ có thể đẩy. Hướng dẫn này vượt xa các định nghĩa cơ bản để giải thích cách hoạt động của NIC, những loại tồn tại và - quan trọng nhất là - cách khớp NIC của bạn với bên phảimáy thu phát, Cáp DAC, hoặcAOCcho hiệu suất tối đa.

 

 

Thẻ giao diện mạng là gì?

Thẻ giao diện mạng (NIC), còn được gọi là bộ điều hợp mạng hoặc bộ điều khiển giao diện mạng, là phần cứng kết nối máy chủ, máy trạm hoặc thiết bị lưu trữ với mạng. Nó xử lý việc chuyển đổi giữa dữ liệu bên trong hệ thống máy chủ và tín hiệu trên dây hoặc cáp quang - quản lý mọi thứ từ đóng gói khung và xác minh tổng kiểm tra đến xử lý ngắt và truyền DMA.

Mỗi NIC có một địa chỉ MAC duy nhất được ghi vào phần sụn của nó, đóng vai trò là danh tính của thiết bị trên mạng Lớp 2. Các NIC đời đầu được vận chuyển dưới dạng thẻ mở rộng PCI độc lập. Ngày nay, hầu hết các PC tiêu dùng đều sử dụng chip LAN-trên-bo mạch chủ (LOM) để kết nối 1G cơ bản. Nhưng trong các trung tâm dữ liệu và môi trường doanh nghiệp, thẻ NIC chuyên dụng vẫn rất cần thiết vì bộ điều khiển tích hợp đơn giản là không thể cung cấp thông lượng, khả năng giảm tải hoặc mật độ cổng mà khối lượng công việc hiện đại yêu cầu.

 

 

Cách thức hoạt động thực sự của NIC: Ngoài chức năng "Gửi và nhận"

Giải thích trong sách giáo khoa - "NIC đóng gói dữ liệu vào khung và gửi chúng" - đúng về mặt kỹ thuật nhưng lại bỏ sót yếu tố tạo nên giá trị của NIC. Đây là những gì diễn ra bên trong một NIC máy chủ hiện đại:

 

Xử lý khung

Ở phía truyền, NIC lấy dữ liệu từ ngăn xếp mạng hệ điều hành, thêm các tiêu đề Ethernet và tổng kiểm tra CRC, sau đó tuần tự hóa nó thành tín hiệu điện hoặc quang. Về phía bên nhận, nó đảo ngược quy trình, xác minh CRC và loại bỏ các tiêu đề trước khi chuyển tải trọng đến máy chủ.

 

Động cơ giảm tải

Đây là nơi các NIC kiếm tiền. Các NIC hiện đại giảm tải các tác vụ thường tiêu tốn chu kỳ CPU: tính toán tổng kiểm tra TCP/UDP, giảm tải phân đoạn TCP (TSO), giảm tải nhận lớn (LRO) và chia tỷ lệ nhận (RSS) phân phối lưu lượng đến trên nhiều lõi CPU. Nếu không có những mức giảm tải này, NIC 25G có thể làm bão hòa lõi CPU chỉ xử lý các gói.

 

Bỏ qua hạt nhân với DPDK

Ngay cả khi giảm tải phần cứng, ngăn xếp mạng của nhân hệ điều hành vẫn gây ra chi phí hoạt động ở tốc độ gói cực cao. NIC hỗ trợ DPDK (Bộ công cụ phát triển mặt phẳng dữ liệu) cho phép các ứng dụng đọc và ghi các gói trực tiếp từ không gian người dùng, bỏ qua hoàn toàn hạt nhân. Điều này làm giảm độ trễ trên mỗi{2}}gói từ mili giây xuống còn một-micro giây chữ số -, một yêu cầu đối với giao dịch tần số-cao, chức năng mặt phẳng người dùng 5G- và khối lượng công việc NFV đẩy tốc độ đường truyền-trên các liên kết 100G.

 

DMA và kết hợp ngắt

Thay vì CPU sao chép mọi gói, NIC sử dụng Truy cập bộ nhớ trực tiếp để ghi khung trực tiếp vào RAM hệ thống. Ngắt các nhóm liên kết nhiều sự kiện gói thành một ngắt CPU duy nhất, giảm đáng kể chi phí hoạt động ở tốc độ gói cao.

 

Hỗ trợ ảo hóa

Trong môi trường ảo hóa, SR-IOV (Ảo hóa I/O gốc đơn) cho phép một NIC vật lý duy nhất thể hiện nhiều chức năng ảo, mỗi chức năng được gán trực tiếp cho một VM. Điều này bỏ qua hoàn toàn công tắc ảo của trình ảo hóa, mang lại hiệu suất mạng gần như{2}}bình thường{3}}cho các máy ảo.

 

 

Các loại NIC: Phân loại thực tế

 

Theo loại giao diện - Đây là yếu tố quyết định hệ thống cáp của bạn

Loại cổng NIC	Đầu nối	Phương tiện truyền thông	Tốc độ điển hình	Khoảng cách tối đa
RJ45 (Cơ sở-T)	RJ45	Đồng Cat5e/Cat6/Cat6a	1G / 2.5G / 5G / 10G	100m
SFP	LC song công	Bộ thu phát 10G SFP+hoặc 10GCáp DAC	10G	80km (cáp quang) / 7m (DAC)
SFP28	LC song công	Bộ thu phát 25G SFP28hoặc 25G DAC	25G	40km (cáp quang) / 5m (DAC)
QSFP	MPO hoặc LC	Bộ thu phát 40G QSFP+	40G	40km (cáp quang) / 7m (DAC)
QSFP28	MPO hoặc LC	Bộ thu phát 100G QSFP28hoặc 100GCáp DAC	100G	80km (cáp quang) / 5m (DAC)
QSFP-DD	MPO hoặc LC	Bộ thu phát DD 400G QSFP{1}}DD	400G	10km+ (cáp quang)

Tại sao điều này lại quan trọng:Loại cổng NIC quy định bạn có thể sử dụng bộ thu phát và cáp nào. Việc chọn NIC-cổng kép SFP28 sẽ khóa bạn vào hệ sinh thái SFP28 -Mô-đun quang 25G SFP28, SFP28Cáp DAChoặc SFP28cáp AOC. Chọn sai và bạn sẽ phải mua bộ chuyển đổi hoặc thay thế thẻ.

 

Lưu ý về đầu nối MPO so với LC:Các cổng QSFP+ và QSFP28 có nhãn "SR4" sử dụng quang học song song - bốn làn 10G hoặc 25G được truyền đồng thời. Điều này đòi hỏiDây vá MPO/MTP-12với 8 hoặc 12 lõi sợi, không phải song công tiêu chuẩnCáp LCđược sử dụng bởi các mô-đun SFP + hoặc SFP28. Nếu bạn đang triển khai cáp quang 40G hoặc 100G SR4 lần đầu tiên thì hai-cơ sở hạ tầng bảng vá lỗi cáp quang hiện có của bạn sẽ không hoạt động theo gói - dành cho cáp và băng cassette đường trục MPO.

 

Theo giao diện bus - Các vấn đề về thế hệ PCIe

Tất cả các NIC máy chủ hiện đại đều sử dụng PCIe. Nhưng thế hệ PCIe và độ rộng làn đường đã đặt ra một giới hạn cứng về thông lượng:

• PCIe 3.0 x8:~64 Gbps - đủ cho-cổng kép 25G hoặc cổng-đơn 40G
• PCIe 3.0 x16:~128 Gbps - đủ cho một-cổng 100G
• PCIe 4.0 x16:Cần có ~256 Gbps - đối với-cổng kép 100G hoặc cổng-đơn 200G
• PCIe 5.0 x16:~512 Gbps - kích hoạt 400G NIC

Một NIC 100G được cắm vào khe cắm PCIe 3.0 x8 về mặt vật lý không thể cung cấp 100G. Luôn xác minh thế hệ và chiều rộng khe cắm PCIe của máy chủ của bạn trước khi mua.

 

Theo hệ số dạng - OCP NIC 3.0 là mặc định mới

Thẻ bổ trợ PCIe truyền thống-vẫn thống trị các máy chủ doanh nghiệp, nhưng các trung tâm dữ liệu siêu quy mô phần lớn đã chuyển sang tiêu chuẩn OCP NIC 3.0 (cả Hệ số dạng nhỏ và Hệ số dạng lớn). Các NIC OCP cắm vào khe cắm lửng chuyên dụng trên bo mạch chủ máy chủ thay vì chiếm khe cắm mở rộng PCIe tiêu chuẩn. Lợi ích rất đáng kể: khả năng-trao đổi nóng mà không cần tắt nguồn máy chủ, thiết kế tản nhiệt cải tiến với luồng khí trực tiếp qua NIC và đường dẫn điện tới CPU ngắn hơn giúp giảm mối lo ngại về tính toàn vẹn tín hiệu ở tốc độ 100G+. Nếu nền tảng máy chủ của bạn hỗ trợ OCP 3.0 - và hầu hết các thiết kế hiện đại từ các ODM lớn đều hỗ trợ - thì đó sẽ là lựa chọn đầu tiên của bạn để triển khai NIC 100G và 200G.

 

Theo mức độ thông minh

NIC tiêu chuẩnxử lý việc xử lý gói cơ bản bằng cách giảm tải phần cứng. Thích hợp cho hầu hết các ứng dụng doanh nghiệp và trung tâm dữ liệu.

SmartNICthêm một đơn vị xử lý dữ liệu có thể lập trình (DPU) có thể thực thi các quy tắc tường lửa, mã hóa, cân bằng tải và đo từ xa trực tiếp trên NIC, giải phóng lõi CPU máy chủ cho khối lượng công việc ứng dụng. Trong cơ sở hạ tầng đám mây nơi mọi lõi CPU đều được kiếm tiền, SmartNIC sẽ tự trả tiền bằng cách lấy lại các lõi chạy OVS hoặc IPsec.

NIC RDMA (RNIC)hỗ trợ các giao thức Truy cập bộ nhớ trực tiếp từ xa như RoCEv2 hoặc iWARP, cho phép truyền bộ nhớ máy chủ-đến-máy chủ với độ trễ một-một chữ số micro giây. Trong các cụm đào tạo GPU được xây dựng dựa trên bộ tăng tốc NVIDIA H100 hoặc A100, NIC RDMA không phải là tùy chọn - chúng là xương sống. Mỗi nút GPU cần kết nối RDMA 200G hoặc 400G để giữ cho quá trình đồng bộ hóa toàn bộ{11}giảm độ dốc không trở thành nút cổ chai đào tạo. Ngoài AI, các NIC RDMA cũng quan trọng không kém đối với khối lượng công việc HPC và hệ thống lưu trữ chạy NVMe{13}}oF, trong đó nhân-bỏ qua đường dẫn dữ liệu giúp giảm độ trễ truy cập bộ nhớ xuống 10×.

 

 

Cách chọn NIC phù hợp: Khung quyết định

Bước 1 - Xác định yêu cầu tốc độ của bạn.Hãy kết hợp nó với dung lượng đường lên của bộ chuyển mạch, chứ không phải nhu cầu lý thuyết cao nhất của bạn. Nếu bộ chuyển mạch ToR của bạn có các cổng đối diện với máy chủ 25G- thì NIC 25G là lựa chọn phù hợp - chứ không phải 10G (quá chậm) hoặc 100G (lãng phí).

Bước 2 - Chọn loại giao diện của bạn.Đối với-kết nối trong giá dưới 5 mét, hãy ghép nối NIC của bạn vớiCáp DACvới chi phí và độ trễ thấp nhất. Đối với các liên kết giữa-rack lên tới 100 mét, hãy sử dụngcáp AOChoặc một-bộ thu phát tầm ngắn cóDây nối sợi LC. Để xây dựng các liên kết-đến-tòa nhà hoặc khuôn viên trường, hãy sử dụng phạm vi tiếp cận dàimáy thu phát quang- chẳng hạn nhưMô-đun 100G QSFP28 LR4với sợi quang-chế độ đơn vàDây nối MPO/MTP.

Bước 3 - Xác minh khả năng tương thích PCIe.Kiểm tra việc tạo khe cắm PCIe có sẵn trên máy chủ của bạn và độ rộng làn theo yêu cầu của NIC.

Bước 4 - Đánh giá nhu cầu giảm tải.Chạy ảo hóa với hàng chục máy ảo? Ưu tiên hỗ trợ SR{0}}IOV. Cụm đào tạo AI? Khả năng RDMA là không-có thể thương lượng. Dịch vụ vi mô gốc-trên đám mây? SmartNIC với đường dẫn có thể lập trình giúp tiết kiệm lõi CPU.

Bước 5 - Lập kế hoạch dự phòng-cổng kép.Máy chủ sản xuất phải luôn có ít nhất hai cổng NIC để tổng hợp liên kết (LACP) hoặc chuyển đổi dự phòng ở chế độ chờ-đang hoạt động. NIC cổng-kép có nhiều không gian-hiệu quả hơn so với hai thẻ-cổng đơn.

 

 

Những lỗi NIC phổ biến (và cách tránh chúng)

Mua NIC RJ45 10G để sử dụng cho trung tâm dữ liệu.10GBASE-NIC T tiêu thụ nhiều điện năng hơn 2–5W trên mỗi cổng so với NIC SFP+ và tạo ra nhiều nhiệt hơn đáng kể. Trong một tủ có 40 máy chủ, tải nhiệt không cần thiết là 80–200W. Sử dụngBộ thu phát 10G SFP+thay vào đó bằng SFP+ NIC.

Bỏ qua các bản cập nhật chương trình cơ sở và trình điều khiển.Lỗi phần sụn NIC gây ra tình trạng mất gói im lặng, lỗi CRC và suy giảm hiệu suất. Các nhà cung cấp phát hành các bản vá chương trình cơ sở quan trọng thường không được áp dụng vì NIC "có vẻ hoạt động tốt".

Tốc độ NIC và tốc độ cổng chuyển đổi không khớp.NIC 25G được kết nối với cổng chuyển đổi 10G sẽ tự động-thương lượng xuống 10G - nhưng một số NIC xử lý vấn đề này kém, dẫn đến lỗi liên kết hoặc lỗi CRC. Luôn xác minh khả năng tương thích tốc độ hoặc sử dụng thiết bị phù hợp.

 

 

Câu hỏi thường gặp

Sự khác biệt giữa NIC và LOM là gì?

LOM (LAN trên bo mạch chủ) là bộ điều khiển mạng cơ bản được tích hợp vào bo mạch chủ máy chủ, thường cung cấp kết nối 1G hoặc 10G Base{2}}T. Thẻ NIC chuyên dụng cung cấp tốc độ cao hơn (25G–400G), giảm tải nâng cao như SR-IOV và các tùy chọn giao diện quang để sử dụng với cáp quangmáy thu phátVàDAC/cáp AOC.

Tôi có thể sử dụng bộ thu phát của bên thứ ba{0}}trong NIC của mình không?

Đúng. Hầu hết các NIC từ Intel, Mellanox/NVIDIA và Broadcom đều chấp nhận bên thứ ba-tuân thủ MSA-máy thu phát quang. Tuy nhiên, một số chương trình cơ sở NIC có thể hiển thị cảnh báo tương thích. Các nhà cung cấp có uy tín cung cấp các bộ thu phát được mã hóa cho các nhãn hiệu NIC cụ thể để đảm bảo hoạt động sạch sẽ.

Tôi cần tốc độ NIC bao nhiêu cho khối lượng công việc AI và machine learning?

Đối với các cụm đào tạo GPU (NVIDIA H100, A100 hoặc tương tự), mỗi nút thường yêu cầu200Ghoặc các NIC có khả năng 400G RDMA-(RoCEv2) để ngăn mạng khỏi tắc nghẽn tất cả-giảm đồng bộ hóa độ dốc. Khối lượng công việc phục vụ suy luận ít đòi hỏi hơn và thường có thể hoạt động trên 25G–100G tùy thuộc vào kích thước mô hình và thông lượng yêu cầu. Ghép nối NIC đào tạo vớiMô-đun DD 400G QSFP{1}}DDđể kết nối cột sống, hoặc sử dụngBộ thu phát 100G QSFP28dành cho các liên kết từ lá-đến-máy chủ trong các cụm nhỏ hơn.

SmartNIC có đáng để trả thêm chi phí không?

Đối với các nhà cung cấp đám mây và doanh nghiệp lớn chạy ảo hóa mạng nặng, có - SmartNIC có thể lấy lại 4–8 lõi CPU trên mỗi máy chủ bằng cách giảm tải các chức năng chuyển mạch ảo, bảo mật và đo từ xa. Để triển khai tại cơ sở-tiêu chuẩn với khả năng ảo hóa vừa phải, một NIC tiêu chuẩn có hỗ trợ SR-IOV thường là đủ.

Làm cách nào để kết nối NIC với cáp quang?

NIC có cổng SFP+, SFP28, QSFP28 hoặc QSFP-DD yêu cầu phải có cổng DD phù hợpmô-đun thu phát quangđể giao tiếp với sợi quang. Cắm bộ thu phát vào cổng NIC, sau đó kết nối thiết bị thích hợpdây nối sợi - LC song côngđối với các cổng loại SFP{0}},MPO/MTPdành cho loại quang học QSFP{0}}song song. Đối với các liên kết khoảng cách-ngắn trong giá đỡ,Cáp DACloại bỏ sự cần thiết của cả bộ thu phát và sợi quang.