exsi 安装

1.注意，DELL官网下定制版，一定要看到这个系统支持的server型号出现在支持列表里面，否则基本上会没网卡驱动。
2.尽可能单独分一块硬盘给esxi装系统（这个要在RAID卡里格式化出来），30GB就足足够用了。
3.exsi会提示评估版，这个问题自己搜索（~_^）。

Ubuntu安装

参考我的这篇CSDN：
https://blog.csdn.net/whstudio123/article/details/118990052

直通

1.电源要求额定700w以上，要不然带不动，我最开始用的一台dell工作站，635w额定电源，点不亮！
2.这块卡发热量挺大，且没有风扇，适合放服务器，散热会好些
3.这块卡自带双路，可以直通到 2 台虚拟机中，官方说法是双GPU设计

坑0：esxi 未处理的异常populatePCIDevices

使用ESXI6.5直通网卡/显卡后，虚机的设置无法再进行编辑，右击编辑后出现如下错误：

Cause: Possibly unhandled rejection: {}
Version: 1.34.2
Build: 16361878
ESXi: 6.5.0
Browser: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Safari/605.1.15

Exception stack:

populatePCIDevices@https://esxi/ui/scripts/main.js:373:28151
https://esxi/ui/scripts/main.js:374:14743
https://esxi/ui/scripts/main.js:428:16787
https://esxi/ui/scripts/main.js:326:23177
$digest@https://esxi/ui/scripts/main.js:326:28780
https://esxi/ui/scripts/main.js:326:30510
e@https://esxi/ui/scripts/main.js:325:10076
https://esxi/ui/scripts/main.js:325:11523

查询了下，说esxi界面的一个bug，到
https://flings.vmware.com/esxi-embedded-host-client
下载安装esxui-signed-12086396.vib即可解决。

安装方式如下：（进入维护模式，打开SSH远程操作）

[root@esxi01:~] esxcli software vib install -v /vmfs/volumes/Localdisk00/ISO/esxui-signed-12086396.vib 
Installation Result
   Message: Operation finished successfully.
   Reboot Required: false
   VIBs Installed: VMware_bootbank_esx-ui_1.33.1-12086396
   VIBs Removed: VMware_bootbank_esx-ui_1.34.2-16361878
   VIBs Skipped: 
[root@esxi01:~] 

无需重启，重新登录即可。

坑1

无法打开虚拟机 CentOS 7 K80 的电源。内存设置无效: 内存预留 (sched.mem.min) 应该等于内存大小 (16384)。 单击此处了解更多详细信息。

坑2

无法打开虚拟机 CentOS 7 K80 的电源。模块“DevicePowerOn”打开电源失败。 单击此处了解更多详细信息。

1.需要进入主板BIOS打开SR-IOV以及其他相关的虚拟化选项
2.物理机 (Dell R710) BIOS 中启用大于4G的内存映射 (Memory Mapped IO >4GB)
3.编辑虚拟机 - 虚拟机选项 - 引导选项 - 固件 - EFI (默认为 BIOS)
4.编辑虚拟机 - 虚拟机选项 - 高级 - 配置参数 - 编辑配置… – 点2次左上角的 [添加参数]，此时会在列表的尾部会出现 2 条显示为 “单击以编辑键” 条目，如图：

坑3

配置文件中缺少 pciPassthru0.id 条目。
虚拟机被删除、重新注册、恢复快照之后遇上此问题。解决办法是：编辑虚拟机 -> 删除直通设备 -> 保存 -> 编辑虚拟机->添加直通设备->保存！删掉后一定要先保存，如果删掉后马上添加，此问题继续存在！

经过以上配置，成功配置Nvidia Tesla K80 的直通

克隆虚拟机

导出OVF虚拟机

我们尝试了两种方法：
（1）网页导出：

但是，这里面导出的ovf文件只有3字节，而且新建虚拟机的时候无法下一步，所以就有了第二种方法/
（2）ovftools：
需用到的工具VMware OVF Tool（在网上下载）
vmware-ovftool-4.3.0-*-win.x86_64.msi
开始操作：
cd C:\Program Files\VMware\VMware OVF Tool

.\ovftool.exe vi://root@192.168.31.64/testwin10 D:\ovfbackup
运行后输入的用户名账户密码为ESXI主机root密码，输入后点击回车运行。
#“192.168.31.64”是ESXI主机的地址
#“testwin10”是虚拟机名称
#“D:\ovfbackup”是虚拟机OVF文件导出的路径

这样导出的OVF虚拟机是可以使用的

新建虚拟机

特别注意:新建的虚拟机中高级配置参数（就是我们加上的直通的这些参数和内存预留选项）都要重新的再写一遍，这个是导不过来的。

解决显卡空载功耗

sudo nvidia-smi -pm 1

sudo nvidia-smi -pm 0