Kết nối quang tốc độ cao: Giải pháp trung tâm dữ liệu

Apr 27, 2026|

Quý trước, chúng tôi đã có một khách hàng gửi lại 40 mô-đun 400G DR4 yêu cầu các nắp liên kết ngẫu nhiên trên thiết bị chuyển mạch Arista 7060X5 của họ. Trước khi chúng tôi mở giấy tờ RMA, kỹ sư kiểm tra của chúng tôi đã hỏi một câu hỏi: bạn có kiểm traĐầu nối MPOtrước khi cài đặt? Họ đã không làm vậy. Chúng tôi đã gửi các mô-đun thông qua hồi quy đầy đủ, sơ đồ mắt rõ ràng, BER dưới 1E-13 trên cả bốn làn,DDM đọc danh nghĩa. Sau đó, chúng tôi yêu cầu họ gửi ảnh chụp mặt-đầu cáp của đường trục dưới kính hiển vi sợi quang. Mỗi đầu nối đều có ô nhiễm hạt. Bốn mươi mô-đun, không có lỗi. Vấn đề là bụi.

 

Chúng tôi thấy một số phiên bản này mỗi tháng. Việc triển khai kết nối quang tốc độ cao ở bất kỳ quy mô nào đều gặp phải cùng một bức tường và các con số ủng hộ điều đó: khoảng từ 65% đến 70% trong số tất cả các lỗi liên kết 400G và 800G đều có nguyên nhân là do nhiễm bẩn đầu nối chứ không phải do lỗi bộ thu phát. (Dữ liệu trường IEEE 802.3 qua AscentOptics) Chúng tôi đưa vấn đề này lên đầu tiên vì nó định hình cách chúng tôi suy nghĩ về toàn bộ quyết định kết nối. Mô-đun gần như không bao giờ là liên kết yếu nhất. Lớp vật lý xung quanh nó là.

Microscopic view of an MPO fiber optic connector end-face showing severe dust and particulate contamination on the four precision glass cores of a 400G module, illustrating the number one cause of link failure.

 

Mẫu lưu lượng truy cập của bạn quyết định kiến ​​trúc kết nối quang của bạn

 

Mọi người đều bắt đầu với số phần.QSFP-DD hoặc OSFP, SR hoặc DR, nhiều chế độ hoặc một{0}}chế độ. Chúng tôi cũng làm điều đó. Nhưng việc triển khai diễn ra tốt đẹp cho khách hàng của chúng tôi đều bắt đầu từ một nơi khác: lưu lượng truy cập thực sự trông như thế nào?

Chương trình đào tạo AI quy mô lớn-tạo ra tất cả-cho-giao tiếp GPU có thể dự đoán được một cách đáng ngạc nhiên trong khoảng thời gian từ vài phút đến vài giờ. Google khai thác điều này bằng các bộ chuyển mạch quang trong mạng Jupiter của họ, định cấu hình lại đường dẫn ánh sáng vật lý giữa các giá đỡ thay vì chuyển gói. Kết quả được công bố của họ sau một thập kỷ sử dụng sản xuất: giảm 41% năng lượng, giảm chi phí đầu tư 30% và cải thiện thời gian hoạt động của vải gấp 50 lần so với kiến ​​trúc Clos trước đây của họ. (Google SIGCOMM'22) Những con số đó là có thật, nhưng chúng thuộc về một công ty đã chi từ 500 triệu đến 1 tỷ USD cho cơ sở hạ tầng OCS trong 5 năm. Chúng tôi đã nhận được một số-khách hàng cỡ trung bình yêu cầu chúng tôi đánh giá tính khả thi của OCS đối với môi trường của họ. Trong mọi trường hợp, khi họ chạy các con số ở quy mô nút dưới{6}}500, yêu cầu về vốn sẽ lớn hơn lợi ích khi cấu hình lại và họ vẫn sử dụng lá gáy thông thường bằng cách sử dụng các mô-đun có thể cắm được.

Suy luận lật ngược phương trình. Lưu lượng truy cập bùng nổ và không thể đoán trước ở cấp độ luồng, đồng thời khả năng chịu độ trễ gần bằng 0. Bạn không thể định cấu hình lại đường dẫn quang theo-yêu cầu. Những gì bạn cần là một loại vải được cung cấp quá mức một cách nhất quán với độ trễ xác định, giúp bạn hướng tới các bộ thu phát có thể cắm được trong cấu trúc liên kết cột sống-lá nơi mọi liên kết luôn sáng. Chúng tôi bán mô-đun cho cả hai tình huống và các cuộc trò chuyện về kỹ thuật hoàn toàn khác nhau. Người mua cụm đào tạo muốn biết về tổng băng thông trên mỗi giá và công suất trên mỗi bit. Người mua suy luận hỏi về độ trễ đuôi và điều gì sẽ xảy ra khi một liên kết bị hỏng.

 

Conceptual architectural diagram of a data center network topology comparing a custom Optical Circuit Switch (OCS) fabric for long-running AI training jobs versus a standard non-blocking Spine-Leaf topology for bursty inference workloads.

 

Đối với doanh nghiệp truyền thống và môi trường colo dưới quy mô siêu lớn, chi phí trên mỗi cổng chiếm ưu thế và khả năng tương thích ngược với nhà máy cáp quang hiện có quan trọng hơn mật độ băng thông thô. Chúng tôi đã thử nghiệmMô-đun DD 400G QSFP{1}}DD trên 14 nền tảng chuyển đổibao gồm Cisco Nexus 93600CD, Arista 7060X5 và Juniper QFX5220. Trong những môi trường đó, mối quan tâm chủ yếu không phải là tốc độ. Vấn đề là liệu mô-đun có được phần mềm chuyển đổi nhận dạng mà không cần lệnh ghi đè thủ công hay không.

 

Vùng chết 800G khiến các kỹ sư mất cảnh giác

 

Ở 400G, việc chọn kết nối là một quy trình gồm hai{1}}bước: đo khoảng cách, chọn cáp đồng hoặc cáp quang. DAC thụ động bao phủ 3 đến 5 mét một cách thoải mái. 800G đã phá vỡ điều đó. Mỗi làn chạy 112G PAM4. Tổn hao đồng ở các tần số đó gần gấp đôi so với 400G và kết quả là cáp thụ động có trần cứng khoảng 2 mét.

 

High-speed cable comparison showing an Active Electrical Cable (AEC) vs a standard Direct Attach Copper (DAC) bundle. The AEC uses internal retimers to extend the 800G signal reach to 7 meters at the cost of slight latency overhead.

 

Chúng tôi đã học được điều này một cách tốn kém. Một khách hàng đầu tiên đã đặt hàng của chúng tôiBộ DAC thụ động 800Gvới chiều dài 3 mét dựa trên cách bố trí giá 400G của chúng. Quá trình đào tạo liên kết không thành công trên hơn 60% số cổng. Đồng không bị lỗi; vật lý không cho phép điều đó. Họ chuyển sang AEC cho các khoảng cách từ 3 đến 5 mét và các mô-đun quang có thể cắm cho mọi thứ xa hơn và quá trình triển khai đã ổn định trong vòng một tuần. Kể từ đó, chúng tôi đã ngừng nhận đơn đặt hàng DAC 800G thụ động trên 2,5 mét và thêm tư vấn về khoảng cách triển khai vào quy trình xác nhận đơn hàng của chúng tôi.

 

AEC hiện sở hữu khoảng cách từ 3 đến 7 mét. Bộ định thời gian kỹ thuật số tái tạo tín hiệu bằng điện mà không cần chuyển đổi quang học, giúp giảm chi phí nhưng tăng thêm độ trễ. Chỉ riêng KP4 FEC đã cung cấp 50 đến 100 nano giây cho mỗi bước nhảy ở tốc độ 800G và bộ đếm thời gian sẽ xếp chồng lên nhau nhiều hơn. Chúng tôi đã đo tổng độ trễ bổ sung ở mức 85 đến 110 ns trên các cụm AEC mà chúng tôi hiện đang vận chuyển. Đối với các liên kết vải lá gáy, phần chi phí đó không thể nhìn thấy được trong hiệu suất ứng dụng. Đối với các cụm GPU được liên kết chặt chẽ thì lại là một câu chuyện khác. Dựa trên dữ liệu lập hồ sơ từ ba hoạt động triển khai của khách hàng chạy nút H100, nếu chi phí liên lạc cho công việc đào tạo của bạn đã vượt quá 15%, thì hàng trăm nano giây mỗi bước nhảy đó trên nhiều tầng chuyển đổi sẽ bắt đầu cộng dồn trong các hoạt động NCCL AllReduce.

 

Ngoài 7 mét, bộ thu phát quang có thể cắm cho 800G là con đường khả thi duy nhất. Ở đây, nhu cầu của lớp vật lý được thắt chặt đáng kể. Ngân sách suy hao chèn từ đầu đến cuối theo IEEE 802.3ck ở mức dưới 1,5 dB đối với hầu hết các loại phạm vi tiếp cận 800G và mọi kết nối MPO kết hợp phải ở mức dưới 0,35 dB. Chúng tôi nhận thấy cáp quang được lắp đặt đã đạt chứng nhận ở mức 100G cho thấy giá trị PMD cao gấp hai đến ba lần so với thông số kỹ thuật định mức của nó sau vài năm nén trong khay cáp, phù hợp với những gì nhóm nghiên cứu mạng của Juniper đã báo cáo vào năm 2023. Đề xuất tiêu chuẩn của chúng tôi trước khi triển khai bất kỳ bộ thu phát 800G nào: chạy mô tả đặc tính OTDR và ​​​​PMD trên mọi đoạn cáp hiện có. Không phải là một mẫu. Mỗi phân khúc. Chi phí kéo lại hai đường cáp trung kế chỉ bằng một phần nhỏ chi phí gỡ lỗi các nắp liên kết gián đoạn trong sáu tháng.

 

CPO vs LPO vs Pluggable: Mỗi công nghệ thực sự đứng ở đâu vào năm 2026

 

Quang học đóng gói-sẽ thay đổi cách xây dựng cơ sở hạ tầng chuyển mạch trung tâm dữ liệu. Chúng tôi nói điều này với tư cách là một nhà sản xuất mô-đun có thể cắm được, vì vậy hãy coi quan điểm của chúng tôi là có thông tin thay vì trung lập.

 

Tại OFC 2026, dữ liệu độ tin cậy trên các nguyên mẫu CPO cho thấy tỷ lệ lỗi có thể thấp hơn so với các mô-đun có thể cắm truyền thống. Nếu không có chu trình chèn cơ học hoặc bề mặt đầu nối lộ ra, các dạng lỗi chủ yếu của mô-đun có thể cắm sẽ không được áp dụng. Nền tảng chuyển mạch CPO Bailly 51.2T của Broadcom cho thấy mức tiêu thụ điện năng trên lớp quang thấp hơn khoảng 70% so với các cấu hình có thể cắm tương đương. (Báo cáo kết nối quang DataMIntelligence) NVIDIA đã giới thiệu các công tắc tích hợp CPO-ở quy mô triển khai nhắm mục tiêu GTC 2026-trong giai đoạn 2027 đến 2028.

 

Quan điểm của chúng tôi: nếu bạn không phải là một chuyên gia xây dựng công tắc silicon tùy chỉnh siêu quy mô, thì quang học có thể cắm được là lựa chọn duy nhất có thể triển khai của bạn cho đến ít nhất là năm 2027. CPO cần kiến ​​trúc bo mạch mà hầu hết các nhà cung cấp thiết bị chuyển mạch đều chưa cung cấp, các tiêu chuẩn đầu nối chưa hoàn thiện và một cẩm nang hoàn toàn mới để xử lý các lỗi mà bạn không thể khắc phục bằng cách kéo một mô-đun. Hệ sinh thái mua sắm chung của doanh nghiệp chưa tồn tại. Trong năm qua, chúng tôi đã có hai khách hàng tiềm năng trì hoãn việc nâng cấp 400G-lên 800G để chờ CPO. Cuối cùng, cả hai đều quay lại và đặt các đơn đặt hàng có thể cắm được sau khi khoảng cách về băng thông của họ trở thành sự cố trong sản xuất. Chúng tôi đã viết về cơ sở kỹ thuật cho vị trí này một cách chi tiết hơn trên trang web của chúng tôi.phân tích kiến ​​trúc máy thu phát có thể cắm được.

 

LPO nằm ở một không gian khác. Việc loại bỏ DSP khỏi mô-đun sẽ loại bỏ thành phần tiêu thụ nhiều năng lượng nhất-, chiếm tới một nửa tổng công suất tiêu thụ của mô-đun. Kết quả là mức tiêu thụ thấp hơn từ 30 đến 50% và độ trễ ít hơn tới 15 nano giây. Chúng tôi bắt đầu cung cấp các RFQ cụ thể cho LPO-vào cuối năm 2025. Ba trong số bốn RFQ đó đến từ những khách hàng đang xây dựng các cụm GPU của một nhà cung cấp-trên NVIDIA Spectrum-X. Không có loại vải nào do nhiều nhà cung cấp vận hành, điều này cho bạn biết mọi thứ về nơi LPO hoạt động ngày nay. Nếu mạng của bạn kết hợp các nhà cung cấp chuyển đổi, LPO không tương thích với môi trường của bạn. Nếu bạn chạy một cụm AI của một nhà cung cấp thì đó có thể là bản nâng cấp thông minh nhất hiện có và chúng tôi hy vọng sẽ có các mô-đun sẵn sàng cho LPO đạt tiêu chuẩn vào giữa năm 2027.

Biên nhiệt 800G có ý nghĩa gì đối với việc lựa chọn mô-đun

 

Phép toán nhiệt ở 800G khiến mọi người mất cảnh giác. Mật độ năng lượng kết nối quang tốc độ cao ở thế hệ này tạo ra những vấn đề đơn giản là không tồn tại ở 400G. Một công tắc 64 cổng được nạp đầy đủ các mô-đun 800G ở công suất 16W, mỗi mô-đun tiêu thụ khoảng 1kW chỉ riêng công suất thu phát, trước khi công tắc của ASIC có công suất 400 đến 500W. Đó là 1,4 đến 1,5 kW mỗi công tắc. Tám công tắc trong một lớp cột sống sẽ cung cấp cho bạn hơn 11 kW chỉ từ thiết bị mạng, trong các giá đỡ thường được cung cấp tổng công suất từ ​​8 đến 10 kW.

 

Juniper Networks cảnh báo rõ ràng rằng các mô-đun của bên thứ ba-có mức tiêu thụ điện năng cao, đặc biệt là các loại ZR và ZR+ kết hợp, có thể gây hư hỏng nhiệt cho thiết bị chủ và trách nhiệm pháp lý thuộc về người dùng. (Câu hỏi thường gặp về quang học Juniper Networks 800G) Đó không phải là lập luận chống lại mô-đun quang-của bên thứ ba. Đó là một lập luận để biết chính xác những gì bạn đang cắm vào. Trong quá trình đánh giá chu kỳ nhiệt của chúng tôi, chúng tôi kiểm tra mọi thiết kế mô-đun 800G ở nhiệt độ tiếp giáp 85 độ duy trì trong 2.000 giờ và theo dõi độ lệch dòng điện laser làm chỉ báo lão hóa chính. Các thiết bị vượt quá 38 mA sẽ bị kéo ra khỏi dây chuyền sản xuất. Ở mật độ 800G, sự khác biệt giữa một mô-đun có bản vẽ 14W và một bản vẽ 18W sẽ xác định xem giá đỡ có nằm trong đường bao nhiệt hay kích hoạt cảnh báo tắt máy lúc 2 giờ sáng. Việc hiểu sai thông số kỹ thuật luôn gây khó chịu. Ở mức công suất này, nó đắt tiền.

Thermal heatmap of a high-density switch rack illustrating extreme heat concentration in the transceiver cage area where 64 modules drawing 16W each generate significant thermal load, nearing cooling capacity limits.

 

 

Chúng tôi gửi các mô-đun có thể cắm từ 1G SFP đến 800G OSFP và chúng tôi thử nghiệm trên các nền tảng chuyển mạch chính. Chúng tôi lưu giữ hồ sơ về những gì hiệu quả và những gì không. Nếu bạn cần kiểm tra khả năng tương thích với một môi trường chuyển đổi cụ thể hoặc muốn có thông số kỹ thuật về nhiệt và điện-cho giá đỡ-mật độ cao 800G, thì các kỹ sư của chúng tôi sẽ thực hiện các cuộc trò chuyện đó hàng tuần. Của chúng tôiTrang bộ thu phát 800G OSFP và QSFP-DD800có thông số kỹ thuật, tùy chọn-lớp tiếp cận và biểu mẫu yêu cầu mẫu cho mọi mô-đun chúng tôi gửi.

Gửi yêu cầu