Ограниченная скорость в 1Gb на Esxi на картах 10Gb, почему?



@Mi11er

Доброго времени суток =)
Суть проблемы. Есть 2 сервера
1) HP DL360 Gen9 ( Установлен в LOM 10Gb SPF+ HP520 ) // ESXi 6.7 HP custom
2) HP DL380p Gen8 ( Установлена PCI-E HP NC552SFP ) // ESXi 6.5 HP custom
Коммутатор Mikrotik CRS 305 , подключено это дело такими DAC

по дискам:
На первом стоит RAID 1+0 на 6ти дисках SAS 300gb 15k
На втором , 3 массива , так же RAID 1+0 на 600gb 10k , разные конфигурации от 6 до 10 дисков.

Вроде все красиво, но вот беда. Скорость не более 1Gbit на картах.
Проверял через iperf , через vmotion и мониторинг карт на Esxi и тике .. Не более 1Gbit.

Теперь по настройкам
Настройки свитчей на гипервизорах
602e3572eaa27155240902.png
602e359915d80545924440.png

Сетевые карты на хостах ( такая же на втором )
602e35a0ea01e682757818.png

Статистика iPerf, сверху прогон по 1Gbit карте, второй прогон по 10Gbit, третий по 10Gbit В 2 потока.
602e35c3283ec469616379.png

по тику. Тут вроде тоже все просто. 2 порта, они в своем бридже, линки 10gbit
602e3e9c897d2213769982.png
602e3ea457139743526011.png

Куда копать, не знаю … Пробовал ставить MTU = 9000 ( есть мануалы в сети ) , не помогает.

Делалось все для vMotion … Но чет как то не радостно.


Решения вопроса 1



@dtmse

У вас Hardware offload на порту брижда sfp-sfpplus1 по каким-то причинам не активировался, поэтому данные свичевались процессором коммутатора, а не аппаратно свич-чипом. Насколько я помню, HW. offload в коммутаторах Микротик работает только для первого созданного бриджа, а у вас порты SFP+ в bidge2, возможно причина в этом. Если ether1 используется только для управления, попробуйте вывести его из бриджа и использовать независимо, а порты SFP+ перевести в bridge1.



2

комментария


Ответы на вопрос 1



@vvpoloskin Куратор тега Компьютерные сети

Может быть несколько проблем, вот только часть вариантов:

  • Пропускная способность vswitch
  • Некорректно встали драйвера на сетевухи
  • Медный кабель с наводками или вообще поврежден

В таких случаях проверять надо в режиме UDP, задав скорость 10G в ключе, и смотреть, в том числе packet drop.
Скорость поставить жестко 10GE, отключить автоопределение.

Надо локализовать проблему.

  1. Исключить микротик — соединить два сервера на прямую и проверить между ними скорость.
  2. Исключить vmware — загрузить серверы с чистыми линуксами, прогнать между ними скорость.
  3. Исключить DAC — подключить двумя обычными SFP и оптическим шнурком.

P. S. в вашем случае вообще похоже на то, что ваш микротик не пропускает больше гигабита (см Ethernet Test). То, что порты 10GE, не факт, что девайс пропустит эти 10GE.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *