迷你主机也能跑大模子？零刻SER9上手初测
发布日期：2024-11-18 15:19 点击次数：179
零刻SER9的外不雅无须多讲，雷同Mac mini的CNC一体成型铝合金筹画确乎捏眼。无开孔筹画的完完全全一体化机身了。之前SEi14上的温度阐明依然零碎OK的，笔者关于此次SER9的阐明好使很有信心的。来到机器正面，从左至右分裂为电源开关，撤废CMOS开孔，3.5mm的音频插孔，USB4接口和USB 3.2 Gen2接口。与SEi14对比，大略看到多了4个开孔，这个应该就是在GT系列上的阵列麦克风。
雷同的底部进风，雷同的纵向加高背面散热开孔。接口情况亦然完全一致：1DP+1HDMI，多添加了1个USB-A接口，一个USB4接口和一个3.5mm复合音频接口。背面的接口筹画比拟前代愈加紧凑，何况愈加靠拢主机底板，雷同使用了转接板进行彭胀。
零刻从这代产物运行的新筹画改为了底部进气，取消了原有的侧面进风风说念筹画，两侧的撑持棱柱亦然提高了进气面的高度，散热开孔总共这个词在底面铺开。这种筹画大略使进风量和进风面积大幅擢升，在大略保证处理器散热的同期，更高效地匡助硬盘/网卡散热。
拆机依然原汁原味的四颗螺丝，只不外此次要先撬开螺丝上的橡胶垫。规定拧下四颗螺丝后，直接纳拢橡胶提手就大略将底板取下了。四个胶垫的面胶齐很泄露，唯有一个略有翘边。建议官方在包装中多提供一些对应橡胶垫尺寸的双面胶，关于需要通常更换硬盘/内存的用户来说，更为得当。
掀开底板之后就是里面的防尘网了，确乎与先前的筹画不同。这个开孔密度的防尘网确乎不会影响进气，从能保证这台机器散热着力。后头实测中也发现，这台机器拷机功耗满载的情况下，电扇声息还莫得环境杂音高，中央空调内机产生的杂音径直把这台机器的杂音压没了。与SEi14不同的是SER9为了保证核显性能，遴荐了高频LPDDR5X内存，空下来的位置正值被内置的这组发声单位挤占。
拆下防尘网后可以看到里面结构莫得变化，背板出气孔作念了风说念导流。两个硬盘位上则是遮掩了一整块的散热装甲，替代了原先的隔板小电扇直吹筹画。而背板的部分接口能看到是转接出来的，发声单位则是转接后固定到防尘网，与GT系列是换取的决策。
拆下硬盘的散热装甲后可以看到，其下原配了一张2280规格的M.2硬盘和一张2230规格的AX200无线网卡。与SEi14的里面竖立换取，终于作念成了像GT系列一样的并行双硬盘位，而不是像曩昔那样需要单独转接，举座性更好了。
自带硬盘的主控是Phison群联，依然一如既往的英睿达OEM硬盘。本来的可拆卸内存则是换成了32G LPDDR5X，毕竟札记本便条也就5600MT/s，板载则是能将频率拉倒7500MT/s，由频率擢升带来的核显性能擢升依然不小的。
AI 9 HX370是一颗12C24T的的处理器，同架构大小中枢均支柱超线程技能，其中包含4个Zen5大中枢（最大睿频5.1GHz）和8个Zen5c小中枢（最大睿频3.3GHz）。诚然一切要以实测性能言语，Cinebench R20的获利为8613pts，16线程下象棋测试则是65.91倍P3，31638千步/s的获利。CPU-Z的的基准测试中，则是单核与多核性能齐嘛Ultra7 155H秒了。关于大部分用户而言，这个性能完全是多余的。
SER9这颗AI 9 HX370的基础功耗是28W，零刻径直将功率拉到了54W和65W两个档位。可以通过BIOS进行功耗切换，参预BIOS后遴荐「Advanced」选项卡，参预「OEM Features Management」退换「PowerLimit Setting」选项，退换为「Balance Mode」均衡时势就是54W，退换为「」Performance Mode就是65W。
测试时的环境温度是26℃。默许建立下径直进行CPU单拷操作，能看到封装功率大略保管在54W傍边，温度则是拉到了78.4℃傍边。不外CCD温度应该是软件读取传感器有问题，径直到了150℃，这个数据莫得采信真理。在CPU单拷情况下，正常职责距离完全听不到电扇的声息，环境噪声完完全全压过了迷你主机，杂音适度水平零碎高。
SEi 14默许是两条16G 5600MHz的DDR5内存，可以看到内存时序和频率为7500CL46，AIDA64自带的Cache &Memory Benchmark读、写、拷贝获利分裂为100135MB/s、100769MB/s、88400MB/s，蔓延为126.8ns。高蔓延是LPDDR板载高频率的代价，诚然骨子使用中完全无感，后续的GPU测试就能昭彰了。
与先前产物线换取，硬盘依然一块1T的镁光P3。规定续写在5GB/s傍边，4K单线程读写速率在73MB/s和220MB/s傍边。算是个可以的获利。需要更高容量的用户，双硬盘位拆机径直加一条固态就够了，莫得更换原硬盘的必要。
再来看图形方面的测试，软件基准这部分测试均以分拨4G显存的情况，3D Mark 11中Time Spy测试获利为轮廓4128，图形分数3726，处理器分数10658，与桌面端GTX 1650及GTX970的获利接近。
3D Mark 11中Fire Strike测试获利为轮廓7223，图形分数7884，物理分数22322，麇集分数2770，与桌面端GTX 1050Ti的获利接近。
到游戏基准测试这部分，咱们就需要退换分拨给核显的内存了。退换位置在「Advanced」标签也中掀开「AMD CBS」选项，参预后连续掀开「NBIO Common Option」选项，就大略通过「Dedicated Graphics Memory」退换给核显分拨的显存了。
《古墓丽影：阴影》的基准测试，分辨率1920*1080分辨率下，预设退换为中等，开启DX12后，平均帧率大略达到53帧，这个恶果指定是能爽玩了。
《黑传闻：悟空》的基准测试中，分辨率设定为为2560*1440，画质设定为中。可以看到54W功耗、4G显存设定下的最低帧阐明略差，唯有27帧。其他设定下的帧数阐明齐很可以，如若切换到1080P分辨率的话帧数测度还能涨个40%。
2.尝试部署大模子AI出图就不说了，径直整合包再调试下就能调用了。确乎很少有东说念主尝试腹地部署大模子，毕竟大部分东说念主提供和需要的数据并莫得什么守秘性，喂给在线大模子也就喂了。但像笔者这种，有的时候需要处在万古分莫得收罗，但还需要处理相应的数据原料，确乎有部署腹地大模子的必要。何况更大参数目对显存的需求是实打实的，内存如何也比显存低廉。是以正值从SER9这颗AI 9 HX370尝试下腹地部署大模子，不外此次的部分依然依然使用CPU推理运算的，后头需要进行单独的一些操作来保证显卡调用。虚浮无物，先来部署环境，第一个要下载装配的是git，点击下载承接。
然后需要下载装配ollama，你可以把这个领悟为llama的使用框架，点击下载承接。
装配完成后需要拉取llama 11b镜像，输入「ollama run llama3.1:8b」。真贵这里的下载速率跟你的收罗环境关关系，如若这个下载速渡过慢的话，需要尝试一些科学技能。如若上头说的这些不解白，依然等之后装配和使用国产大模子部分的内容，这些的装配应该齐还OK。
在高歌行时势下，咱们就能忽视第一问了，大略正常恢复问题了，何况可以看到依然使用CPU进行的推理。
关于往往用户而言，高歌行确乎依然有些不浅薄的,尤其是需要上传文献喂数据时，咱们需要装配Chatbox来转动为图形化操作。图形化下载装配Chatbox,点击下载承接。
装配完成后Chatbox中点击建立遴荐模子，下拉后就能看到Ollama了。何况有其他好多模子可供遴荐，后续装配其他的框架也能通过Chatbox进行图形化处分。
完成可视化后，再来把刚才的问题问一遍，依然雷同CPU拉满的情况。在输出完之后，再让大模子多一轮输出，将恢复的内容细化，保证关联度的情况下输出速率也还算OK。诚然这还不算长文本，也不是多轮输出，骨子的强度还没上来。
再来生成段冒泡排序的代码试试，输出速率依然很OK的,CPU全核也径直吃满了。诚然，这问就莫得进行陆续发问了，比及后头退换好大略使用核显进行推理就，再来尝试下大批险阻文关联情况下的输出性能了。调用显卡进行推理，需要下载AMD HIP SDK在内的一堆软件，然后退换相应建立，这步就晚些再商量了。
3.总结AI 9 HX370统统是移动端最强处理器了，32G内存分出8G作念显存，开个1080P分辨率中低殊效畅玩3A亦然没什么压力的。即就是之后有更深一步的欺诈，需要更强的AI性能，也大略将显存径直拉满。不外话又说追念，毕竟内存是板载焊死唯有32G，打游戏开到24G内存+8G显存是填塞，但跑AI就只可开到16G内存+16G显存，距离搞更大规模的大模子还差点真理，如若能有更大内存的竖立就好了，毕竟内存再贵，也比显存低廉不是。
如若合计此篇著述对您有匡助的话，还请多多点赞、保藏驳斥。这里是老锅，咱们下期相逢！