我这里有五个网口+三个网桥。
其中0s25是主板自带网口作为管理网口使用，p7s系列四个网口中的3个将直接配给Openwrt使用。
vmbr0在初期配置时，为了方便接入管理网络，会按需提供给虚拟机。
vmbr20作为无网关内网，配合TrueNas提供网络存储。
vmbr30作为虚拟机的内网，以Lan接入OpenWrt的网络，完成上网。
本篇仅展示几大虚拟机的安装配置，以及Openwrt网络的部署测试，因为出门的时候忘记插另外的网线了。
下面几个安装其实是平行的，正确顺序应该是先OpenWrt —— TrueNas -TrueNas 挂网 —— centos = Windows 经OpenWrt访问TrueNas
Centos系统安装
这里安装一个centos系统，习惯来自于早期玩云服务器的时候，通过面板可以同时架设多种服务，并且优于Windows系统的开销。
这里为了调试方便，所以安装的Centos系统还是带GUI的，也就是有桌面的。后面稳定以后可以考虑启动时只引导命令行界面，节省开销。
名称随意，开机自启动一定不要勾。
---------------------------
如果启动过程失败，使用控制台的关机按钮是无效的，必须使用qm vmid stop 命令尝试关闭虚拟机，也就是当你的虚拟机在引导过程中找不到镜像时，它会一直循环启动。此时通过控制台的关机等命令无法使其停止。需要重启主机或者使用命令处理。
----------------
系统Centos7镜像，系统页默认，磁盘这里我使用回写，用目前系统的固态作为系统盘，反正32GB也够了。当然了，实际在系统里应该是20GB左右，里面有一个1024和1000的计算问题，还有一个涉及磁盘4k对齐的东西。
如上，CPU部分因为我是双处理器，所以勾选了NUMA，给了四个核心，类别这里保持默认的话， 就是虚拟处理器。因为我发现给Host的时候，反而觉得系统更慢了，不知道是心理作用还是其他问题导致的。
顺便这次来玩一下，我在截图之后，实际用的是两个插槽，两个核心。
内存这里直接给4096，也就是4GB。
网络这里先给网桥br0，先联网，后面创建openwrt之后再处理网口的部分。
模型一般用E1000或者默认。然后完成，到控制台启动。
正常是停在第二个，我们用方向键选第一个，直接安装。回车进入，然后等系统跑码。
下拉选择语言，然后继续。
红色的自动分区是需要进入菜单确认的，也就是确认一次。
点击完成会回到上一菜单，如果不确认的话，是无法进行下一步的。然后在软件选择这里选择带GUI 的服务器，
附加选项，可以都不要，如果你不了解的话，后面使用面板会自动跑需要的服务。然后完成回到上一界面，开始安装。
网络这里可以点进去，开启网卡，连接到网络。方便后面更新和安装。
安装时可以同步设置Root账户的密码，创建用户可以不用，最后首次进系统时会引导创建的。完成后需要重启
接受一下许可证然后就可以了。
这里是要创建一个非root账户强密码，然后就进入桌面了。左上角调出终端，就可以使用SSH命令行，但是要注意切换root账户。
在网络打通以后。就可以安装宝塔面板，做外部管理。至于公网端口转发有OpenWrt处理。
Openwrt
创建一个虚拟机，操作系统不使用介质，系统默认，磁盘删除，2核心，2GB。
使用PVE的Shell，不是虚拟机对应的Shell。
使用命令导入镜像：
qm importdisk vmID img disk
qm importdisk 102 /var/lib/vz/template/iso/openwrt-23.05.3-x86-64-generic-ext4-combined-efi.img local-lvm
建议1.在安装时再上传镜像到PVE，因为任务结束窗口可以看到路径/var/lib/vz/template/iso/openwrt-23.05.3-x86-64-generic-ext4-combined-efi.img。 因为我是准备安装系统到local-lvm所以最后是local-lvm。自由发挥。
这样就是成功了导入之后在硬件下面会多出一个未使用的磁盘，做一些处理：总线改为SATA、SSD仿真、丢弃。然后添加。
调整一下引导顺序，顺序拖动也可以只保留sata0也可以。结束要点左侧OK，右侧Reset是恢复设置。
选项——引导顺序——编辑开机上电
回车进入，开始安装
跑码到最后不动之后，按回车，会跳出下方正常的LOGO和信息。
使用vi编辑器修改网络设置，以连接到网页前端。
这里必须使用vi编辑了，因为ssh也不知道IP，可能默认就是192.168.1.1。
vi /etc/config/network
光标移动到IP这里，然后按键盘 i 键，之后可以使用退格键删除并正常输入内容。
修改后，按Esc键，并输入 :wq 退出即可。这里的冒号也是要输入的！！！
退出到root后，按reboot 重启openWrt重启后前端访问ip，即可进入OpenWrt前端画面
默认密码就是：password
这里因为是默认密码，所以提示你重新修改，不过没关系，可以等中文界面调出来之后再处理。选择上方 network —— interface ，然后现在只有一个网口，也就是我们的默认网桥。其他需要用的网口后面添加。这里需要点进edit菜单查看有没有设置网关。没有网关的话是连接不到外网的，自然也就没办法拉取软件包了。
只填网关，然后保存。
有些还需要再常规设置里面添加DNS服务地址。
Advanced Settinngs
输入DNS后，需要点击右侧加号才是被添加，否则保存没有效果。可以填默认的网关IP。
保存后需要点击保存并应用，才会生效。修改镜像源地址
此时已经可以通过前端访问，所以使用WinSCP修改镜像源文件，比vi编辑器要方便很多。
SCP登录时，如果SFTP协议提示错误，切换SCP就好了或者其他协议。
找到 /etc/opkg/distfeeds.conf 文件
双击打开，使用# 号注释默认的源，因为一般访问不到。然后粘贴国内的源地址。这里要注意版本。
我用的是23.05.3，所以镜像地址的releases后面要填对应的23.05.3。如果有人看到这个贴子的时候，版本已经迭代了，这里要注意修改版本号。
如果是魔改版本或者修改到后面还是无法连接和更新，可以先在浏览器输入部分网址，逐层检查是否存在你所需要的版本或者对应的文件夹。注意拼写错误。
然后在控制台执行opkg update 更新软件包
更新完成就可以去软件包里面修改汉化了。
汉化
回到前端面板，进入 System - Software 先点击右侧的Update lists
关闭该页面后使用下载并安装，输入：luci-i18n-base-zh-cn 。点击确定安装。
左侧输入框是查找，右侧输入框是查找并安装确定并安装
安装后点击上方的： Log out 退出并登录，此时变为中文界面。
密码的话，什么时候修改都可以。
主题包随意
主题包需要下载单独的ipk文件，所以考虑网络环境，自己随意。
然后安装 luci-compat包和luci-lib-ipkg 包
下载ipk包
上传安装。
安装完成后退出刷新，UI就变了。
之后对磁盘进行扩容
先安装block-mount工具
安装之后重启系统，重启之后左侧多了一个挂载点菜单。
PVE创建硬盘给到OpenWrt
10GB左右就足够了，如果做下载机，或者其他需要大磁盘的场景，可以在后续配合TrueNas使用网络存储，不必要赋予很大的磁盘给系统。
硬盘选在同一个存储下。
添加硬盘之后这里是黄色的，需要冷关闭才能使用，reboot是不起作用的，我们先安装好磁盘工具，然后再重启。
在控制台执行： opkg update
opkg install cfdisk fdisk e2fsprogs lsblk
安装之后重新上电，然后使用 fdisk -l 可以查看磁盘。
这里的/dev/sdb 就是我们刚刚添加的存储。
先用fdisk 创建一个新分区 fdisk /dev/sdb
这里第一次输入n，然后会引导向下，后面不输入内容，直接回车向下确认直到再次出现Command 输入 w 保存。
格式化新分区， 分区是 /dev/sdb1
mkfs.ext4 /dev/sdb1
操作之后回到前端，在挂载点菜单，点击生成配置按钮。下拉菜单
然后在下面的挂载点可以看到刚刚的sdb1，如果一时找不到，可以看设备容量就可以分辨了。UUID是唯一的。
点击右侧编辑按钮，勾选已启用，并挂载为根文件系统使用。
复制下面的命令，并改为对应的/dev/sdb1
mkdir -p /tmp/introot
mkdir -p /tmp/extroot
mount --bind / /tmp/introot
mount /dev/sdb1 /tmp/extroot
tar -C /tmp/introot -cvf - . | tar -C /tmp/extroot -xf -
umount /tmp/introot
umount /tmp/extroot
先前端保存并应用。
然后到后台Shell执行。这里的PVE后台是无法粘贴的，所以可以用WinSCP的： 命令 - 在Putty中打开，启用Putty终端粘贴。
粘贴后会马上执行，执行之后reboot重启系统，扩容就完成了。
在概览下面就可以看到存储空间了。
TrueNas 安装
和前面大同小异，先创建虚拟机，然后选择系统，类别保持Linux。镜像官网就有，官网是支持开源免费的。但是这里的内存确实要8GB起步，运行起来之后有一些缓存。
https://www.truenas.com/ 国内直开，没有问题。
英文不好的话， 去用Edge浏览器添加完成后在硬件里面，直接添加硬盘。就是按你最大容量划定硬盘。
不要想着阵列卡直通，除非你的阵列卡上的硬盘只给TrueNas用。如果是和系统的固态盘同时用的阵列卡。这里如果做直通，会导致PVE出现问题。需要重装。
这里的硬盘2就是，我的三块机械硬盘组的阵列。
这里第二块盘11176，是由于单位不同导致的。在PVE是12TB，然后是11.9TB，这里11176最后TrueNas显示10.9TB。这里除了1000MB = 1GB和1024MB = 1GB的换算以外，好像还跟对齐方式有关系，用4k对齐，和用512b划分也会产生偏移数值。4k和512b有个0.4的系数要乘进去。
硬盘的特别说明
以12TB举例，创建的时候，先给一个差不多的大小，按10TB * 1000 给定磁盘大小。因为你在创建的时候，如果超出磁盘容量，那么不会提示报错，但是创建之后，这个虚拟机不会显示，其实就是创建失败了。
所以先创建成功，然后再硬件里面去修改。
选中这个磁盘，使用上面的磁盘操作——调整大小。
注意这里说的是增量大小，也就是现有基础上，再增加多少容量。
这里我为了测试，我添加10000，这肯定是不会成功的。
这个时候，会提示错误。主要看最后一句话，只有255可用。我的10000在这是，姑且认为就是2560000。
所以就按实际情况，去砍，砍你的增量。10000不行，就5000，4000，1800，以此类推。直到你的容量能够添加成功。然后去查这个磁盘还剩多少。
回到你的PVE节点，看磁盘。
你分配出去多少，就用了多了，所以最后剩1GB，就无所谓了。随着你增量的添加，这个地方的可用数会压缩的更少。所以你的后续增量的数值也要变小。
回到正文
这里等待倒计时就好了，这里输入1或者高亮B好像都没有作用，反正我没得到反馈。就等自动下去。
这里输入数字就可以选择了，1.是安装或更新，2是Shell命令行，3是重启，4是关机。
关机在你安装结束之后会用到。安装结束之后，自动重启，但是这时候你的启动ISO还在，所以重启之后还会进到这个画面里。因为这个启动阶段的重启，用VM是无法关机的。除非用qm Stop。这里用4先关机，然后移除ISO再启动就正常进系统了。
这里用空格键，选择硬盘，选择之后前面的中括号内会有星号表示。就安装在32G里面。10.9是我的阵列。
这里就默认的bios，因为你的启动选项里面也是bios。改UEFI的话，要有efi启动磁盘，不太会，所以没有这样安装。
正常启动之后默认是没有配置IP的。要手动配置。
根据选项，选择1，配置网络接口。这里我只给分配了一个网卡，所以就一个接口，多接口的，建议去看其他文章。
这里选择1，然后会列出接口1）em0。输入1，确定选择em0。
然后是先询问是否要Remove这个接口，输入n。
再次询问是否需要DHCP，因为当时我的OpenWrt还没有处理，所以没有DHCP，这里我选择n，先手动填入IP地址，利用其他虚拟机的相同网桥实现互通。
再次询问你配置IPv4地址，这里输入y
输入之后，会提示Interface name： 这里是让你给这个接口起个名字。随便写。
IPv6结束之后，如果询问你IPv6，可以输入n，最后退出流程。配置之后可以重启一下。
当然了，如果你了解IPv6，也不需要看我这个帖子了。
写IP的时候可以直接xxx.xxx.xxx.xxx/24 这样就省去一次输入子网掩码的过程。
，
作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～
