Tương lai của dữ liệu: Mô-đun quang 400g

 

 

Cuộc chiến về yếu tố hình thức Không ai nói về một cách trung thực

 

Hãy tham gia bất kỳ hội nghị mạng quang nào và bạn sẽ nghe thấy cuộc tranh luận về QSFP{0}}DD và OSFP được đóng khung dưới dạng so sánh kỹ thuật. Không phải vậy. Đó là một cuộc chiến chính trị được khoác lên mình những tờ thông số kỹ thuật.

QSFP-DD đã giành chiến thắng trong cuộc chiến về âm lượng trước khi bộ chuyển mạch 400G đầu tiên được xuất xưởng. Khả năng tương thích ngược với lồng QSFP28 có nghĩa là về mặt lý thuyết, mọi nhà khai thác mạng đều có thể nâng cấp mà không cần phá bỏ cơ sở hạ tầng hiện có. "Về mặt lý thuyết" đó là một công việc nặng nhọc-Tôi đã chứng kiến ​​các kỹ sư dành cả ngày cuối tuần để cố gắng làm cho phần sụn chuyển đổi cũ nhận ra các mô-đun mật độ-kép phù hợp về mặt vật lý nhưng hoạt động sai về mặt điện.

OSFP xuất phát từ ý tưởng của Arista với mục tiêu đơn giản: mô-đun lớn hơn, tản nhiệt tốt hơn, được thiết kế cho 400G ngay từ đầu thay vì buộc tám làn vào một lồng dành cho bốn làn. Tản nhiệt tích hợp xử lý 15-20 watt mà không tốn một giọt mồ hôi nào. QSFP-DD ở mức 12 watt? Đã đẩy giới hạn nhiệt khi triển khai mật độ cao.

Dù sao thì ngành vẫn chọn QSFP-DD. Khả năng tương thích chiến thắng. Luôn luôn có.

Nhưng đây là điều mà các bài báo so sánh hệ số dạng không bao giờ đề cập đến: sự khác biệt về công suất nhiệt tăng lên đáng kể trên quy mô lớn. Bộ chuyển mạch 32-cổng 400G được trang bị đầy đủ các mô-đun QSFP-DD sẽ tiêu hao khoảng 640 watt chỉ riêng quang học. Đó là trước công tắc ASIC, mặt phẳng điều khiển, quạt, nguồn điện. Chúng ta đang nói đến tổng công suất 1,5-2 kilowatt trong khung 1RU. Kỹ thuật luồng không khí cần thiết để giữ cho các mô-đun đó nằm dưới giới hạn nhiệt độ tiếp giáp trong thiết kế hàng không vũ trụ.

 

PAM4 khiến mọi thứ trở nên khó khăn hơn

 

Mọi người đều tôn vinh PAM4 vì đã tăng gấp đôi hiệu suất quang phổ. Không ai đề cập đến cơn ác mộng kỹ thuật mà nó tạo ra.

NRZ rất đơn giản. Hai cấp điện áp. Tín hiệu đại diện cho một hoặc một số không. Sơ đồ mắt của bạn có một lỗ mở. Nếu nó sạch, bạn là vàng.

PAM4 truyền hai bit cho mỗi ký hiệu bằng bốn mức biên độ. Ba lỗ mắt xếp chồng lên nhau. Mỗi mắt có chiều cao khoảng một-thứ ba so với mắt NRZ tương đương. Biên độ tiếng ồn sụp đổ. Đột nhiên mỗi milimet dấu vết PCB đều quan trọng. Mỗi via tạo ra sự phản chiếu. Mọi sự gián đoạn trở kháng giữa ASIC chủ và lồng mô-đun quang đều trở thành mối lo ngại về độ tin cậy.

Tôi đã dành sáu tháng để gỡ lỗi triển khai 400G trong đó các lỗi CRC ngẫu nhiên xuất hiện trên các cổng cụ thể. Nguyên nhân sâu xa? Một đầu nối hơi-không-thông số kỹ thuật trên bo mạch chủ đã tạo ra tổn thất phản hồi vừa đủ để làm hỏng mắt PAM4 thấp nhất. Hoàn toàn tốt cho lưu lượng 100G. Thảm họa cho 400G.

Phản ứng của ngành là FEC bắt buộc. Bạn không thể chạy quang học 400G PAM4 mà không sửa lỗi chuyển tiếp-BER thô đơn giản là vượt quá ngưỡng có thể sử dụng được. RS(544.514) tăng thêm độ trễ khoảng 300 nano giây. Không lớn. Nhưng hãy nói điều đó với cụm HPC đang chạy các công việc MPI trong đó mỗi micro giây có độ trễ đuôi đều ảnh hưởng đến thời gian hoàn thành công việc.

 

 

Silicon Photonics được cho là sẽ cứu chúng ta

 

Cao độ của quang tử silicon nghe có vẻ hoàn hảo trên giấy. Tận dụng hàng thập kỷ đầu tư vào nhà máy CMOS. Tích hợp bộ điều biến, bộ tách sóng quang và ống dẫn sóng vào một chip duy nhất. Đạt được tính kinh tế nhờ quy mô mà các thành phần InP và GaAs riêng biệt không bao giờ có thể làm được. Điện năng tiêu thụ giảm 20-30%. Chi phí cuối cùng đạt đến mức ngang bằng sau đó cắt giảm các phương pháp truyền thống.

Intel đã xuất xưởng hơn ba triệu bộ thu phát quang tử silicon 100G. Alibaba đã triển khai các mô-đun quang tử silicon 400G DR4 trên mạng đám mây của họ bắt đầu từ năm 2020. Công nghệ này hoạt động.

Nhưng quang tử silicon có một bí mật bẩn thỉu: nguồn sáng vẫn không thể là silicon.

Bạn cần một tia laser bên ngoài-thường là khuôn indium phosphide-được liên kết với PIC silicon hoặc được ghép nối qua sợi quang. Sự tích hợp lai đó làm tăng thêm độ phức tạp trong sản xuất. Năng suất bị ảnh hưởng. Lợi thế về chi phí mà mọi người đã hứa hẹn tiếp tục bị đẩy lùi bởi thế hệ khác.

Các công ty tăng gấp đôi số lượng tử quang học silicon cho 400G bao gồm một số người rất thông minh đang đặt cược rất đắt. Việc mua lại Luxtera và Acacia của Cisco có tổng trị giá 3,26 tỷ USD. Đó không phải là tiền ngân sách R&D. Đó là đầu tư cơ sở hạ tầng mang tính chiến lược.

Dữ liệu thị phần kể một câu chuyện phức tạp hơn. Theo LightCounting, các mô-đun quang tử silicon vẫn chiếm dưới 10% trong tổng số lô hàng 400G bất chấp sự cường điệu trong nhiều năm. Bộ thu phát dựa trên EML-truyền thống thống trị các ứng dụng DR4 và FR4. Quá trình chuyển đổi công nghệ đang diễn ra chậm hơn so với thông cáo báo chí đề xuất.

 

Bảng thông số ẩn chứa điều gì về phạm vi tiếp cận

 

Quy ước đặt tên của IEEE cho quang học 400G có vẻ hữu ích cho đến khi bạn thực sự cố gắng mua mô-đun.

400G-SR8: 100 mét qua cáp quang đa mode. Tám làn đường song song ở 850nm. Tốt cho các kết nối trong-giá đỡ. Kinh khủng cho bất cứ điều gì khác.

400G-DR4: 500 mét qua sợi quang-chế độ đơn. Bốn làn đường song song ở 1310nm. Công cụ phù hợp cho hầu hết các kết nối trung tâm dữ liệu.

400G-FR4: 2 km, chế độ đơn-, bước sóng CWDM được ghép kênh trên một cặp sợi quang. Sử dụng tia laser điều chế bên ngoài đắt tiền.

400G-LR4: 10 km. Sơ đồ bước sóng tương tự như FR4 nhưng có khuếch đại quang học để mở rộng phạm vi tiếp cận.

Đủ đơn giản. Ngoại trừ việc các nhà sản xuất liên tục chơi nhanh và lỏng lẻo với những chỉ định này.

Tôi đã thấy các mô-đun "tương thích với DR4" đạt được độ sâu 500 mét trong điều kiện phòng thí nghiệm và bị hỏng ở độ cao 300 mét với nhà máy sợi thực tế có độ suy hao đầu nối tăng nhẹ. Thông số kỹ thuật cho biết 500 mét với ngân sách liên kết 7dB. Phép toán diễn ra một cách hoàn hảo với giả định các kết nối nguyên sơ ở khắp mọi nơi. Thực tế bao gồm các đầu nối bị bẩn, các mối nối không hoàn hảo và các đường dẫn cáp đi qua trần nhà dài hơn một chút so với bản vẽ quản lý cáp đã chỉ ra.

Phạm vi phủ sóng FR4 2km nghe có vẻ đủ cho đến khi bạn kết nối các tòa nhà trong khuôn viên trường và khám phá đường dẫn cáp quang của bạn dài 2,3 km. Bây giờ bạn cần mô-đun LR4 với chi phí gấp ba lần hoặc bạn sáng tạo với khả năng khuếch đại hoặc bạn chấp nhận rằng liên kết này sẽ không thực sự hoạt động.

 

Quyết định DR4 so với FR4

 

Điều này thực sự quan trọng đối với việc triển khai thực sự và không ai giải thích rõ về nó.

DR4 sử dụng bốn sợi song song để truyền và bốn sợi để nhận. Tổng cộng có tám sợi. Đầu nối MPO-12 có bốn vị trí không sử dụng. Đạt tối đa 500 mét. Công suất tiêu thụ thường là 8-10 watt. Chi phí mô-đun khoảng 60% FR4 tương đương.

FR4 sử dụng ghép kênh phân chia bước sóng để đặt cả bốn làn trên một cặp sợi quang. Đầu nối LC song công. Đạt tối đa 2 km. Công suất tiêu thụ thường là 10-12 watt. Giá cao vì laser EML không hề rẻ.

Cấu trúc liên kết sợi xác định mọi thứ.

Trung tâm dữ liệu Greenfield với hệ thống cáp có cấu trúc mà bạn chỉ định? Sợi song song có ý nghĩa. Chạy cáp trung kế MPO giữa các hàng. Sử dụng DR4 ở mọi nơi. Chi phí quang học thấp hơn sẽ bù đắp cho sợi quang bổ sung.

Môi trường Brownfield với nhà máy sợi song công hiện có? FR4 hoặc bạn đang kéo cáp mới.

Môi trường hỗn hợp với một số hoạt động song song và một số nhà máy kế thừa song công? Chào mừng đến với cơn ác mộng về khả năng tương thích. Bạn sẽ kết thúc với cả hai loại mô-đun, kiểu đầu nối khác nhau và ít nhất một tủ trong đó ai đó đã sử dụng sai dây vá và mất bốn giờ để khắc phục sự cố khi cảnh báo "liên kết xuống".

 

Câu hỏi đột phá

 

Mô-đun DR4 400G-có bốn làn 100G. Mỗi làn hoạt động độc lập ở lớp quang. Điều này cho phép đột phá-kết nối một cổng chuyển mạch 400G với bốn thiết bị 100G riêng biệt bằng cách sử dụng cụm sợi đột phá.

Kinh tế nghe có vẻ hấp dẫn. Một cổng 400G. Bốn máy chủ 100G. Không cần thêm cổng chuyển đổi.

Thực tế phức tạp hơn.

Switch ASIC không phải lúc nào cũng hỗ trợ các cấu hình đột phá tùy ý. Một số nền tảng yêu cầu phần sụn cụ thể. Những người khác chỉ cho phép đột phá trên một số nhóm cổng nhất định. Một số triển khai đột phá trong phần cứng nhưng ngăn xếp phần mềm không hiển thị tùy chọn cấu hình.

Tồi tệ hơn: cáp đứt tạo ra cơn ác mộng hỗ trợ. Vấn đề là ở mô-đun 400G, cụm đột phá hay một trong bốn cổng thiết bị 100G? Việc khắc phục sự cố yêu cầu đổi cáp, kiểm tra từng chân một cách độc lập và cầu mong sự cố có thể tái diễn.

Tôi đã thấy các tổ chức tiêu chuẩn hóa 100G gốc ở mọi nơi một cách cụ thể để tránh sự phức tạp đột phá. Quang học có giá cao hơn. Mật độ cổng chuyển đổi bị ảnh hưởng. Nhưng sự đơn giản trong hoạt động sẽ thắng.

 

 

Thực tế tiêu thụ điện năng

 

Mỗi bảng dữ liệu mô-đun 400G đều liệt kê mức tiêu thụ điện năng. Những con số này chính xác về mặt kỹ thuật và thực tế là vô dụng.

QSFP-DD DR4 có thể có thông số kỹ thuật ở mức thông thường là 8,5 watt. Đó là bản vẽ mô-đun từ đường ray 3,3V của công tắc trong điều kiện hoạt động bình thường. Nó không bao gồm năng lượng bổ sung mà công tắc ASIC tiêu thụ để điều khiển tám làn PAM4 50G đó. Nó không tính đến chi phí quản lý nhiệt-quạt mạnh hơn, luồng khí bổ sung, có thể là khả năng làm mát bổ sung.

Với 32 cổng trên mỗi công tắc, sự khác biệt giữa mô-đun 8 watt và 12 watt sẽ cộng lại thành 128 watt. Điều đó không hề đơn giản khi bạn lập kế hoạch phân phối điện cho toàn bộ dãy giá đỡ.

Việc chuyển từ 100G lên 400G không làm tăng gấp bốn lần mức tiêu thụ điện năng trên mỗi cổng-mà hiệu quả đạt được nhờ tích hợp và cải tiến DSP sẽ giúp ích. Nhưng tổng công suất trên mỗi công tắc đã tăng lên đáng kể. Các trung tâm dữ liệu quy hoạch cơ sở hạ tầng điện và làm mát có mật độ khoảng 100G đang gặp phải những hạn chế về công suất khi nâng cấp lên 400G với toàn bộ dân số.

 

Khả năng tương thích không phải là nhị phân

 

Các nhà cung cấp thích tuyên bố "tương thích với tất cả các nền tảng chuyển đổi chính". Tuyên bố này có thể bảo vệ được về mặt kỹ thuật và thực tế là sai lệch.

Khả năng tương thích của mô-đun quang học không chỉ phụ thuộc vào sự phù hợp về mặt vật lý và tín hiệu điện. Giao thức DOM (Giám sát quang kỹ thuật số) khác nhau giữa các nhà cung cấp. Việc triển khai CMIS (Đặc tả giao diện quản lý chung) có đủ tính linh hoạt để hai triển khai "tuân thủ" có thể không tương thích với nhau một cách rõ ràng. Một số thiết bị chuyển mạch kiểm tra mã ID của nhà cung cấp và từ chối bật hoàn toàn các mô-đun không được nhận dạng.

Thị trường xám dành cho quang học 400G "tương thích" bùng nổ chính xác vì các mô-đun tên thương hiệu-có giá cao hơn 3-x lần so với các lựa chọn thay thế của bên thứ ba. Một số lựa chọn thay thế đó hoạt động hoàn hảo. Một số khác gây ra các vấn đề phức tạp chỉ biểu hiện theo các kiểu lưu lượng truy cập cụ thể hoặc sau khi chạy trong nhiều tuần.

Cá nhân tôi đã thử nghiệm các mô-đun 400G DR4 của bên thứ ba-đã vượt qua mọi phép đo tuân thủ trong phòng thí nghiệm và sau đó đưa ra các lỗi FEC không thể sửa được ở mức 2% lưu lượng truy cập trong tải sản xuất. Nhiệt độ bên trong mô-đun khi vận hành-băng thông cao liên tục vượt quá mức mà các thành phần quang học có thể xử lý. Mô-đun đã hoạt động. Cho đến khi nó không xảy ra.

 

800G có ý nghĩa gì đối với 400G

 

Quá trình chuyển đổi 800G đã được tiến hành. Hyperscalers đang triển khai 800G ngày hôm nay. Phần còn lại của ngành sẽ theo sau trong vòng 18-24 tháng.

Điều này không lỗi thời với 400G-các mô-đun sẽ xuất xưởng trong nhiều năm-nhưng nó làm thay đổi tính kinh tế.

800G sử dụng tám làn 100G thay vì tám làn 50G của 400G. Điều chế PAM4 tương tự, tốc độ ký hiệu trên mỗi làn cao hơn. Vật lý ngày càng khó hơn. Phong bì nhiệt đẩy tới 20-25 watt cho mỗi mô-đun. Lợi thế khoảng không nhiệt của OSFP trở nên phù hợp hơn ở các mức công suất này.

Quan trọng hơn, các mô-đun 800G có thể chia thành cấu hình 400G kép. Một mô-đun 800G-2xDR4 cung cấp hai liên kết 400G độc lập. Đối với các môi trường có yêu cầu hỗn hợp 400G và 800G, khả năng đột phá này giúp đơn giản hóa việc quản lý hàng tồn kho.

Các nhà điều hành trung tâm dữ liệu mà tôi nói chuyện chủ yếu giữ ở mức 400G cho kết nối-cột lá trong khi đánh giá 800G cho các kết nối cụm GPU nơi mật độ băng thông quan trọng nhất. Khối lượng công việc đào tạo AI với tất cả-đến-các kiểu giao tiếp thực sự gây căng thẳng cho các liên kết 400G theo cách mà lưu lượng truy cập bắc-truyền thống phía nam chưa bao giờ làm được.

 

Chân trời quang học đóng gói Co{0}}

 

Mọi người trong ngành đều biết CPO sắp ra mắt. Bộ thu phát quang tích hợp trực tiếp với ASIC chuyển mạch. Không có mô-đun có thể cắm nào cả. Mức tiêu thụ điện năng giảm từ 15 picojoule mỗi bit xuống còn 5 picojoule, có thể dưới 1 picojoule khi công nghệ phát triển.

NVIDIA đã công bố kế hoạch CPO cho phần cứng 2025/2026. Meta và Microsoft đã trình diễn các nguyên mẫu. OIF đang chuẩn hóa các giao diện.

Câu hỏi không phải là liệu CPO có xảy ra hay không. Vấn đề là liệu nó có diễn ra đủ nhanh để có ý nghĩa quan trọng đối với chu kỳ lập kế hoạch hiện tại của bạn hay không.

Tôi đọc: quang học có thể cắm được chiếm ưu thế trong ít nhất là năm 2028 đối với hầu hết các hoạt động triển khai. CPO có thể xuất hiện trong các bản dựng tùy chỉnh siêu tỷ lệ trước đó. Tính linh hoạt trong vận hành của-các mô-đun có thể tráo đổi nóng-khả năng thay thế một đầu quang bị hỏng mà không cần tắt công tắc-có ý nghĩa vô cùng quan trọng đối với các môi trường không có dự phòng N+1 ở mọi nơi.

Lập kế hoạch cho 400G và 800G có thể cắm ngay hôm nay. Ngân sách đánh giá CPO trong 3 năm. Đừng để các slide lộ trình của nhà cung cấp đẩy nhanh các mốc thời gian mà thực tế sản xuất không thể hỗ trợ.

 

Hướng dẫn thực tế thực sự có ích

 

Đối với các bản dựng mới: chuẩn hóa trên DR4 với cơ sở hạ tầng cáp quang song song. Tiết kiệm chi phí so với hợp chất FR4 trên hàng nghìn mô-đun. Lập kế hoạch cấp nguồn và làm mát ở mức 10 watt cho mỗi mô-đun ngay cả khi các thông số kỹ thuật hứa hẹn 8.

Để nâng cấp: hãy kiểm tra kỹ lưỡng nhà máy sợi hiện tại của bạn. Biết tổn thất đo được thực tế trên mỗi phân đoạn. Khám phá các vi phạm giới hạn DR4 400 mét trước khi thiết bị quang học của bạn đến.

Đối với cụm AI: 800G đã là câu trả lời đúng đắn. Nhu cầu băng thông biện minh cho phí bảo hiểm. Đừng-bước nửa chừng lên 400G nếu khối lượng công việc của bạn sẽ tăng nhanh hơn sau 18 tháng.

Dành cho mọi người: kiểm tra rộng rãi-hệ thống quang học của bên thứ ba trước khi triển khai số lượng lớn. Việc tiết kiệm chi phí là có thật. Những thất bại cũng vậy. Xác thực bằng các nền tảng chuyển đổi cụ thể của bạn dưới mức tải thực tế trước khi cam kết số tiền tồn kho.

Công nghệ này hoạt động. Hai mươi triệu mô-đun 400G và 800G được xuất xưởng vào năm 2024 là có lý do. Nhưng quá trình chuyển đổi từ 100G đòi hỏi phải chú ý đến các chi tiết mà các bảng thông số kỹ thuật và tài liệu tiếp thị dễ dàng bỏ qua. Vật lý không quan tâm đến tiến trình triển khai của bạn.