Mô-đun quang 400G trong mạng hiện đại

 

Cuộc chiến về yếu tố hình thức Không ai thắng

 

QSFP-DD và OSFP xuất hiện từ quy trình tiêu chuẩn giống như hai anh em ruột không thể đồng ý về bất cứ điều gì ngoại trừ việc cả hai đều muốn 400G. Ngành công nghiệp cần tám làn điện với tốc độ 50Gbps mỗi làn và hai tập đoàn khác nhau đã quyết định giải quyết vấn đề đó theo hai cách khác nhau.

QSFP-DD đã thắng trong cuộc tranh luận về tính tương thích. Nó phù hợp với các lồng QSFP28 hiện có nếu bạn nheo mắt đủ kỹ và không bận tâm đến hàng ghim thứ hai. Khả năng tương thích ngược trở nên quan trọng khi bạn có hàng chục nghìn cổng được triển khai và một CFO đặt câu hỏi rõ ràng về tài sản bị mắc kẹt.

OSFP đã thắng trong cuộc tranh luận về nhiệt. Vỏ lớn hơn một chút và tản nhiệt tích hợp có nghĩa là bạn thực sự có thể tiêu hao 15-20 watt mà các mô-đun này tiêu thụ mà không cần nấu các cổng liền kề. Tôi đã thấy các thẻ dòng trong đó các cổng QSFP-DD ở góc luôn nóng hơn 8 độ so với các thẻ ở giữa vì thiết kế luồng không khí giả định đường bao công suất 100G.

Không thực sự giành chiến thắng. Hầu hết các công cụ siêu chia tỷ lệ đều sử dụng QSFP-DD để đơn giản hóa khoảng không quảng cáo. Hầu hết các hoạt động triển khai viễn thông đều sử dụng OSFP vì các mô-đun mạch lạc của chúng cần khoảng trống nhiệt. Mọi người khác chọn bất cứ thứ gì mà nhà cung cấp thiết bị chuyển mạch của họ đã vận chuyển và tiếp tục.

Biến thể QSFP112 đáng được nhắc đến vì nó khiến mọi người bối rối. Bốn làn với tốc độ 100G mỗi làn-tổng cộng 400G, ít làn hơn, SerDe mới hơn. Điều quan trọng đối với kết nối NIC là bạn muốn máy chủ-đến-TOR liên kết mà không gặp phải sự phức tạp của hộp số DSP. Nó ít quan trọng hơn những gì các nhà cung cấp yêu cầu ở nơi khác.

 

PAM4 đã thay đổi mọi thứ (và phá vỡ một số thứ)

 

Đây là điều không ai giải thích thỏa đáng khi họ bán cho bạn 400G: Tín hiệu PAM4 đánh đổi khả năng chống nhiễu để lấy hiệu quả băng thông và sự đánh đổi đó không miễn phí.

Mã hóa NRZ sử dụng hai mức tín hiệu. Cao hay thấp. Một hoặc không. Bộ thu của bạn chỉ cần phân biệt giữa hai trạng thái đó và sơ đồ mắt sẽ mang lại cho bạn lợi nhuận thoải mái. PAM4 sử dụng bốn cấp độ-00, 01, 10, 11-có nghĩa là bộ thu của bạn hiện phải phân biệt giữa ba điểm vượt ngưỡng với khoảng cách điện áp bằng 1/3. Mức phạt SNR 9,54dB trên lý thuyết hoàn toàn không phải là lý thuyết. Nó xuất hiện trong quầy BER trước FEC của bạn mỗi ngày.

DSP bên trong mô-đun 400G thực hiện công việc tuyệt vời để bù đắp cho điều này. Nguồn cấp dữ liệu-cân bằng chuyển tiếp, cân bằng phản hồi quyết định, khôi phục đồng hồ và dữ liệu-tất cả đều chạy ở tốc độ 53,125 GBaud mỗi làn. Khi nó hoạt động, nó vô hình. Khi nó không hoạt động, bạn sẽ gặp phải hàng loạt lỗi có thể sửa được, thỉnh thoảng có những lỗi không thể sửa được và chúc may mắn tìm ra liệu sự cố là do mô-đun, sợi quang, máy chủ của bạn hay bức xạ nền vũ trụ.

 

 

Các biến thể bước sóng: Không chỉ là tầm với

 

Thông số kỹ thuật về phạm vi tiếp cận chỉ nói lên một phần câu chuyện.

400G-SR8 sử dụng VCSEL 850nm trên tám sợi song song, nhắm mục tiêu 100 mét so với OM4. Nó rẻ. Đó là đa chế độ. Nó yêu cầu đầu nối MPO-16 với tám sợi TX và tám sợi RX. Trong một giá hoặc giữa các giá liền kề, điều này hoạt động tốt. Thời điểm ai đó hỏi về việc chạy nó "chỉ một chút nữa thôi", hãy nhắc họ rằng sự phân tán phương thức ở 850nm không thỏa thuận được.

400G-DR4 hoạt động ở bước sóng 1310nm trên bốn sợi quang đơn-chế độ song song, được định mức cho phạm vi 500 mét. Đầu nối MPO-12 sử dụng tám sợi bên ngoài và để lại bốn sợi không được sử dụng-điều này khiến những người lắp đặt cáp nhầm lẫn khoảng một lần trong mỗi lần triển khai. DR4 đã trở thành công cụ hỗ trợ kết nối lá{12}}trong các nhà máy chế độ đơn vì 500 mét bao phủ hầu hết các hình dạng trung tâm dữ liệu còn dư chỗ.

400G-FR4 sử dụng các bước sóng CWDM4 (1271, 1291, 1311, 1331nm) được ghép kênh trên một cặp sợi quang thông qua LC song công. Tầm hai km. Đây là lúc 400G bắt đầu mang lại cảm giác tiết kiệm cho các kết nối trong khuôn viên trường vì bạn không phải kéo 8 đường trục MPO cáp quang giữa các tòa nhà.

400G-LR4 trải dài cách tiếp cận CWDM4 tương tự tới 10 km với công suất phóng cao hơn và bộ thu tốt hơn. Việc tăng giá từ FR4 lên LR4 vẫn khiến các bộ phận thu mua ngạc nhiên, những người chưa cập nhật mô hình tinh thần của họ từ mức giá LR4 100G-.

 

Con voi mạch lạc

 

400G-ZR xứng đáng có phần riêng vì nó đại diện cho một công nghệ khác biệt về cơ bản được mặc cùng một kiểu dáng.

Mọi thứ tôi đã mô tả cho đến nay đều sử dụng quang học phát hiện trực tiếp. Ánh sáng đi vào, photodiode chuyển đổi nó, DSP làm sạch nó. Quang học kết hợp mã hóa đồng thời thông tin ở cả biên độ và pha trên hai phân cực, sau đó sử dụng bộ tạo dao động cục bộ và xử lý tín hiệu số phức tạp để khôi phục mọi thứ ở máy thu. Kết quả: 400Gbps trên 120+ km sợi quang chưa được khuếch đại trong một mô-đun có thể cắm được.

Tiêu chuẩn OIF 400ZR chỉ định điều chế 16QAM ở 60 GBaud với phân cực kép. FEC được nối (Haming bên trong quyết định mềm, cầu thang bên ngoài quyết định cứng) cung cấp mức tăng mã hóa thực khoảng 10,8dB. Toàn bộ thiết bị tiêu thụ 15-20 watt và tạo ra nhiệt lượng có thể khiến mô-đun QSFP-DD phát nổ.

Tôi đã thấy các mô-đun ZR được lắp đặt trong các công tắc không được thiết kế cho tải nhiệt đó. Khung công tắc báo cáo nhiệt độ bình thường vì cảm biến nạp của nó đo được không khí mát. Mô-đun báo cáo là 73 độ vì nó bị kẹp giữa hai mô-đun ZR khác với luồng không khí không đủ. Liên kết hoạt động-hầu như không-với các hiệu chỉnh FEC tăng cao mà không ai nhận thấy cho đến khi-FEC BER trước đó có xu hướng vượt quá ngưỡng và các gói bắt đầu giảm.

Các biến thể ZR+ và MZR đẩy phạm vi tiếp cận xa hơn nhưng phải trả giá bằng khả năng tương tác. Các cải tiến dành riêng cho-nhà cung cấp về khả năng khởi chạy, độ nhạy của máy thu và thuật toán FEC có thể mở rộng liên kết vượt quá 400km, nhưng bạn đang mua một giải pháp chứ không phải một hàng hóa.

 

 

Câu hỏi của bên thứ ba-

 

Tôi đã nói chuyện này khoảng sáu trăm lần.

"Chúng tôi có thể sử dụng quang học 400G của-bên thứ ba không?"

Về mặt kỹ thuật thì có. Thông số MSA tồn tại chính xác là để cho phép khả năng tương tác của nhiều nhà cung cấp. QSFP-DD tuân thủ của nhà sản xuất X phải hoạt động giống hệt với QSFP của nhà sản xuất Y. Các tiêu chuẩn IEEE xác định các thông số quang và điện. CMIS (Đặc tả giao diện quản lý chung) tiêu chuẩn hóa cách máy chủ giao tiếp với mô-đun.

Thực tế, nó phụ thuộc.

Cơ chế xác thực của Cisco đã phát triển từ cách tiếp cận "lỗi-vô hiệu hóa cổng" thẳng thừng của các nền tảng cũ sang xác minh nhà cung cấp phức tạp hơn nhằm ghi lại cảnh báo nhưng không nhất thiết phải tắt chức năng. Lệnh thu phát-không được hỗ trợ của dịch vụ vẫn là lối thoát. Arista có xu hướng dễ dãi hơn nhưng sẽ từ chối hỗ trợ các vấn đề có thể xuất phát từ mô-đun của bên thứ ba. Quan điểm của Juniper thay đổi tùy theo nền tảng và phiên bản phần mềm theo cách yêu cầu tham khảo ma trận tương thích của chúng.

Tôi chạy quang học của bên thứ ba-trong môi trường phòng thí nghiệm mà không hề do dự. Đối với đường dẫn sản xuất mang lưu lượng doanh thu vào lúc 2 giờ sáng khi có sự cố? Tôi muốn có thể gọi cho TAC và nhờ họ thực sự giúp đỡ thay vì ngay lập tức chuyển sang "thay thế bằng bộ thu phát được hỗ trợ".

Phép toán chi phí thay đổi cách tính toán này đối với những người siêu quy mô mua hàng chục nghìn mô-đun và tuyển dụng các kỹ sư quang học có thể mô tả đặc tính và xác định chất lượng của các nhà cung cấp một cách độc lập. Đó là một phép toán khác đối với các doanh nghiệp mua hàng trăm mô-đun thông qua các kênh phân phối với nguồn lực kỹ thuật hạn chế.

 

Thực tế nhiệt

 

Mô-đun DD 400G QSFP{1}}có công suất từ ​​10 đến 15 watt tùy thuộc vào biến thể và nhà cung cấp. Mô-đun ZR kết hợp 400G tiêu thụ 15-20 watt. Mô-đun 800G QSFP{11}}DD800{12}}đã được triển khai trong cụm AI-tiêu thụ 18-25 watt.

Đặt 64 trong số này vào một công tắc 2RU và bạn có 640 watt chỉ từ quang học trước khi tính đến công tắc ASIC, bộ nhớ, quạt và nguồn điện. Vấn đề về thiết kế tản nhiệt đã chuyển từ mức “đủ” sang mức “quan trọng” chỉ trong một thế hệ.

Tôi đã xem một camera chụp ảnh nhiệt quét một-công tắc cột sống 400G đã được tải đầy đủ trong quá trình kiểm tra năng lực. Các mô-đun hấp dẫn nhất không phải là những mô-đun bạn mong đợi. Các vị trí ở góc, theo hướng gió của ống xả ASIC, chạy nóng hơn so với các mô-đun trung tâm tấm mặt-có không khí trong lành. Chỉ số nhiệt độ DDM tiêu chuẩn cho thấy mức chênh lệch 17 độ trên các cổng được cho là giống hệt nhau.

Các thông số kỹ thuật của mô-đun hứa hẹn hoạt động từ 0 độ đến 70 độ, nhưng đường cong hiệu suất trông không giống nhau ở 70 độ như ở 25 độ. Dòng ngưỡng laser tăng lên. Hiệu quả độ dốc giảm. Sự lệch bước sóng-và đối với các hệ thống CWDM4 và DWDM, sự lệch bước sóng có nghĩa là nhiễu xuyên âm với các kênh lân cận.

Hệ thống làm mát bằng không khí-đang đạt đến giới hạn. Làm mát bằng chất lỏng cho các thiết bị chuyển mạch vẫn còn xa lạ nhưng ngày càng cần thiết đối với các cụm AI/ML nơi GPU và quang học cạnh tranh để có cùng mức nhiệt.

 

 

Kiểm tra thực tế

 

Các tiêu chuẩn IEEE xác định các điểm tuân thủ. Họ không đảm bảo liên kết cụ thể của bạn sẽ hoạt động.

TDECQ (Bộ tứ đóng mắt phân tán và phát) là PAM4 tương đương với OMA (Biên độ điều chế quang học) nhưng phức tạp hơn. Nó cố gắng mô tả chất lượng của máy phát theo cách dự đoán hiệu suất của máy thu. Phép đo yêu cầu máy thu tham chiếu và các phép biến đổi toán học khác nhau giữa các nhà cung cấp thiết bị kiểm tra theo những cách gây ra các cuộc tranh luận bất tận của ủy ban tiêu chuẩn.

Thử nghiệm trước{0}}FEC BER quan trọng hơn bao giờ hết. "Dấu vân tay" của các lỗi bit-ngẫu nhiên hay bùng phát, phân bố đồng đều so với tập trung trong các ký hiệu PAM4 cụ thể-xác định liệu FEC của bạn có thực sự sửa được chúng hay không. Các lỗi ngẫu nhiên thực sự có tác dụng tốt với mã Reed-Solomon. Lỗi bùng phát từ các vấn đề khôi phục đồng hồ hoặc hành vi sai trái của DSP có thể áp đảo FEC ngay cả khi BER thô có vẻ chấp nhận được.

Tôi đã học được cách yêu cầu số liệu thống kê trước{0}}FEC từ mọi liên kết 400G chứ không chỉ đăng-FEC. Liên kết hiển thị 0,00 bài đăng-FEC BER trong khi chạy pre{6}}FEC BER ở 2×10⁻⁴ trông rất tuyệt cho đến khi bạn nhận ra rằng hầu như không còn lề. Thêm một đầu nối hơi bẩn hoặc một tia laser cũ, và liên kết đó sẽ vượt qua vách đá FEC mà không có cảnh báo.

 

Ô nhiễm đầu nối

 

Ở mức 400G, vấn đề ô nhiễm trở nên nghiêm trọng. Mắt điều biến có ít viền hơn. Các hạt lẽ ra không thể nhìn thấy được ở tốc độ thấp hơn giờ đã suy yếu đủ để tạo ra vật chất.

Lõi sợi quang đơn chế độ có đường kính 9 micromet. Đầu nối MTP/MPO{6}}12 mang tám đường dẫn sợi hoạt động (bốn TX, bốn RX) cộng với bốn đường không sử dụng. Mỗi chu kỳ giao phối đều có nguy cơ bị ô nhiễm. Mọi giao diện cuối bị ô nhiễm đều có nguy cơ gây tổn thất chèn vào ngân sách liên kết của bạn.

Kỷ luật dọn dẹp bắt buộc là không thể thương lượng được nhưng hiếm khi được tuân thủ một cách nhất quán. -Chất tẩy rửa chỉ bằng một cú nhấp chuột, khăn lau khô có mối lo tĩnh điện, khăn lau ướt bằng cồn isopropyl phải được lau khô ngay lập tức thay vì để bay hơi-mọi phương pháp đều có những người ủng hộ và chỉ trích. Điều mọi người đều đồng ý: kiểm tra bằng máy soi sợi quang trước khi kết nối, nếu nó bị bẩn, hãy làm sạch và kiểm tra lại.

Tôi đã chứng kiến ​​một nhóm triển khai tiêu tốn cả buổi chiều để khắc phục sự cố liên kết 400G{1}}DR4 không liên tục. Trao đổi nhiều mô-đun. Đánh giá cấu hình. Cuối cùng phá phạm vi kiểm tra và tìm thấy mảnh vụn xây dựng trên bộ chuyển đổi vách ngăn mà không ai nghĩ đến sẽ kiểm tra. Hai mươi giây với một công cụ dọn dẹp đã khắc phục được điều mà bốn giờ khắc phục sự cố không thể khắc phục được.

 

 

Tất cả điều này có ý nghĩa gì đối với việc lập kế hoạch

 

Nếu hiện nay bạn đang triển khai kết cấu trung tâm dữ liệu mới thì 400G là đường cơ sở cho lớp gai và ngày càng dành cho các đường liên kết lên của lá-. Chi phí mỗi bit đã giảm xuống mức đột phá 4×100G từ mô-đun 400G thường rẻ hơn so với các mô-đun 100G riêng lẻ. DR4 cho mọi thứ trên 30 mét bên trong tòa nhà. FR4 cho kết nối trường học. LR4 hoặc ZR nếu bạn đang tiếp cận giữa các địa điểm.

Nếu bạn là một doanh nghiệp đang dự định triển khai 400G lần đầu tiên thì nền tảng chuyển mạch đã hoàn thiện, chuỗi cung ứng mô-đun đã ổn định và việc định giá không còn yêu cầu phê duyệt-điều hành đối với mỗi đơn đặt hàng nữa. Bắt đầu bằng việc làm mới phần-lá, chứng minh cơ sở hạ tầng cáp của bạn có thể xử lý khả năng chịu nhiễm bẩn chặt chẽ hơn và hiểu rằng các công cụ quản lý của bạn cần bắt đầu thu thập số liệu thống kê FEC trước khi bạn thực sự cần chúng.

Nếu bạn là một người siêu tỷ lệ khi đọc bài viết này thì bạn đã vượt quá 400G cho các cụm GPU và đang tự hỏi làm thế nào 1.6T sẽ thực sự triển khai. Chúc may mắn với các vấn đề về nhiệt; Tôi sẽ đọc bài báo của bạn trong hai năm.

Bản thân các mô-đun đã trở nên đáng tin cậy hơn nhiều. Các vấn đề tồn tại ở mọi nơi khác: đầu nối bị hỏng, chế độ FEC bị định cấu hình sai, thiết kế nhiệt giả định đường bao nguồn của ngày hôm qua và các tổ chức hỗ trợ vẫn đang tìm cách khắc phục sự cố về tính toàn vẹn của tín hiệu PAM4. Các nguyên tắc cơ bản không mấy thú vị-làm sạch đầu nối, đo nhiệt độ, hiểu ngân sách FEC của bạn-quan trọng hơn những cuộc tranh luận về bảng thông số kỹ thuật từng có.