哎课程英语，大家有没有发现，这两年的技术趋势和前几年有很大的不同？

AI大模型已经成为科技圈的抢手货。

用户日益增长的需求推动了AI技术的演进，随着大型语言模型的应用场景增多，它们开始在我们的生活中扮演越来越重要的角色。

特别是在休闲娱乐和实际工作中深圳英文，大型语言模型的应用越来越普遍，它们凭借自然的语义能力、强大的数据处理能力和执行复杂任务的高效性英文幼儿，为用户带来了前所未有的便捷文学英语，甚至是人们以前无法想象的数字陪伴感。

然而随着大型语言模型的快速普及，大型云模型的局限性也逐渐显现出来。

网速慢、成本高、以及备受争议的数据隐私问题，都不是人们可以轻易忽视的问题，最重要的是，建立在各种制度和伦理之上的云端审计体系，进一步限制了大型语言模型的自由。

本地部署似乎为我们指明了一条新的道路。

随着本地大模型需求的增多，今年以来Github和Huggingface上也涌现出不少相关项目学英语菲律宾，经过一番研究，我也找到了一种简单的本地部署大模型的方法。

那么，本地部署对于我们的 AI 体验来说是锦上添花还是重大提升呢？

顺着肖磊的脚步去看看吧。

01 本土大牌模式到底是什么？

在我们开始之前，请允许我先闲聊几句。

好吧，有些读者可能还是不太明白“局部大模型”的意思，不知道它是什么意思。

简而言之，总结一下。

现阶段比较流行的大模型应用，比如国外的ChatGPT、Midjourney，以及国内的文心易言、科大讯飞、KIWI等，基本上都是依靠云端服务器来实现各类服务的AI应用。

（图片来源：温馨一言）

它们可以实时更新数据，与搜索引擎集成，而不需要占用自己的计算机资源英语多少钱，将所有的计算过程和负载放在远程服务器上，自己只需要享受结果就行了。

也就是说绍兴英语，有网络了，真是太棒了。

但一旦断网，这些依赖云端的AI服务就只能在键盘上打出“GG”了。

相比之下，本地大模型自然是着眼于在设备本地实现AI智能。

除了不用担心服务器崩溃带来的问题之外，也更有利于保护用户的隐私。

毕竟大模型是在自己的电脑上运行的，所以训练数据直接存放在电脑里排名英文，肯定比上传到云端让服务器计算要放心，也省去了各种伦理道德的云端审计。

然而，目前在计算机上构建大型本地模型并不容易。

对设备要求较高是原因之一，毕竟局部大模型需要把整个计算过程和负载放在你自己的电脑上，不但会占用你电脑的功能，还会让电脑长期处于中高负载下运行。

第二…

从 Github/Huggingface 上众多的项目来看，要达到这个目的基本需要有编程经验，最起码需要安装很多运行时库徐州英语，在控制台里执行一些命令行和配置。

你们别笑，对于这么众多的网友来说，这也确实很不容易。

那么有没有什么本地应用更“一键式”，只要设置并运行就可以开始对话呢？

它确实存在外教天津，Koboldcpp。

02 如果使用得当哪好英语，即使是新手也可以处理大型局部模型

简单介绍一下，Koboldcpp 是一个基于 GGML/GGUF 模型的推理框架学英语好吗，底层结构和 llama.cpp 一样，使用纯 C/C++ 代码，不需要任何额外的依赖库，甚至可以直接通过 CPU 运行进行推理。

（图片来源：PygmalionAI Wiki）

当然，那样会非常慢。

要使用 Koboldcpp文学英语，您需要前往 Github 并下载您需要的应​​用程序版本。

当然我也会贴出相应的百度盘链接，方便大家查看。

Koboldcpp 目前有三个版本。

koboldcpp_cuda12：目前最理想的版本，只要有GTX 750以上显卡就可以使用，模型推理速度最快。

koboldcpp_rocm：该版本适用于AMD显卡，基于AMD ROCm开放软件栈，同规格下推理时间约为N卡版本的3~5倍。

koboldcpp_nocuda：这个版本只用CPU进行推理，功能非常精简泉州外教，即便如此英语资源，在同等规格下，推理时间仍然是N卡版本的10倍以上。

（图片来源：Github）

打开软件后，首先可以关注一下Presets选项。

在软件首页的Presets中，有多种不同的模式可以选择，包括旧版N卡、新版N卡、A卡、Intel显卡等等。

默认情况下，如果不设置任何参数，CPU将只用于OpenBLAS进行快速处理和推理，肯定会很慢。

作为N卡用户收费标准英文，我选择了CuBLAS，仅适用于Nvidia GPU。可以看到我的笔记本显卡已经识别了。

（图片来源：雷科技）

对于没有Intel显卡的用户，可以使用CLblast，这是OPENCL推出的一款可用于生产环境的开源计算库，它最大的特点就是强调通用性，至于性能方面文学英语，我没做过详细的测试。

主页上需要调整的另一个区域是上下文大小。

为了得到更好的上下文体验，最好调整为4096学英语合肥，当然，越大能记住的上下文就越多，但推理的速度也会受到明显影响。

（图片来源：雷科技）

再往下就是加载大型模型的部分。

目前大型开源模型主要从huggingface.co下载，如果没有能力输出到海外，也可以从国内的HF-Mirror镜像站点或者modelscope社区下载。

就我个人使用经验，推荐两款不错的局部大模型：

因果LM-7B

这是基于LLaMA2，基于Qwen的模型权重训练的局部大模型，它最大的特点就是原生支持中文。显卡显存8G以下的用户建议下载CausalLM-7B，8G以上的用户可以下载CausalLM-14B，效果更佳。

（图片来源：modelscope）

MythoMax-L2-13B

这是一款母语为英语的大型机型，文学性很强，可以根据要求输出流畅、可读性强的小说文本，缺点是需要输入英文才能获得理想的输出内容，建议普通消费者使用MythoMax-L2-13B。

如果你只想使用大型语言模型，则不需要调整其他部分，只需点击Start，你选择的模型就会加载到本地。

一般来说，你必须先为大型模型部署一个前端，然后才能使用它。

不过Koboldcpp最大的特点是它在llama.cpp的基础上增加了多功能的Kobold API端口。

该端口不仅提供额外的格式支持、稳定的扩散图像生成、良好的向后兼容性，而且还提供简化的前端 – Kobold Lite – 具有持久的故事、编辑工具、保存格式、内存、世界信息、作者注释、角色和场景定制。

基本上，界面看起来像这样。

（图片来源：雷科技）

功能也非常简单。

更别说人工智能和新的对话了，只需要点击上方的“场景”文学英语 AI时代外教托福，构建大型本地模型的成本正在快速下降，就可以快速开始新的对话场景或者加载相应的人物卡。

（图片来源：雷科技）

像这样，加载出你有的AI对话场景。

“保存/加载”也一目了然。您可以随时保存当前对话并加载并继续。

在“设置”中，您可以调整一些AI对话选项。

（图片来源：雷科技）

其中，Temperature代表对话的随机性，数值越高，生成的对话就越不可控，甚至有可能超出人物设定的范围。

重复惩罚。它可以抑制对话的重复性，并使AI减少重复讲话。

Amount to Gen. 是生成对话长度的上限，上限越高，耗时越长。关键是实际体验中，生成限制过高会导致AI胡言乱语，个人不建议把这个值调到240以上。

MaxCtx.Tokens.是能反馈给大模型的关键词上限，数据越高，上下文越接近英文短期，生成速度就会越慢。

完成设置后，你就可以和Todd Howard进行一场热忱的交谈了。

（图片来源：雷科技）

无法继续对话？

点击左下角的聊天工具，让大模型根据你之前的文字自动生成回复，以推进对话。

（图片来源：雷科技）

您是否回答了错误的问题，或者对话是否走向了错误的方向？

点击右下角的聊天工具补习学英语，不仅可以反复生成AI问答，甚至可以编辑自己的回复，以确保对话不会偏离主题。

当然英文短期，除了对话之外，Kobold Lite 还有更多的可能性。

你可以将它接入AI语音和AI绘图的端口，这样在对话过程中，就可以自动调用AI语言对生成的文字进行配音，也可以随时调用AI绘图外教排名线上学英语，绘制出当前两人对话的场景。

除此之外幼儿英文，您甚至可以使用更高级的 SillyTarven 前端在对话中嵌入 GIF 和 HTML 内容。

当然，这一切都是以后的故事了。

03 结论

好的，这就是部署大型本地模型的教程。

文中提到的软件和大模型我都上传到百度网盘了，有兴趣的读者可以去查阅。

就我这半年来的体验来看，目前局部大模型的特点依然是“可玩性高”。

只要你的配置足够，你就可以把大型语言模型、AI语音、AI绘图和2D数字人连接在一起，打造出属于自己的本地数字人。看着屏幕上栩栩如生的AI人物，让人有种《玲珑有致的实验体》般的恍惚感。

但这类开源大模型通常数据滞后，所以在专业知识上会有明显的不足，经测试大部分知识库都到2022年中旬，而且没办法调用外网资源，在辅助办公、查找资料时会有很大局限性。

我认为理想的大语言模型体验应该是端云交互的。

也就是说，我可以用自己的大模型在本地构建自己的知识库，但是当我需要时效性强的信息时，可以借助互联网的力量来获取最新的信息。这样既可以保护个人数据的隐私，又可以有效解决开源大模型信息滞后的问题。

至于当地角色的交流，如果你有兴趣的话……

我给雷科技做一张人物卡怎么样？

本文来自微信公众号“雷科技”（ID：leitech），作者：雷科技，经授权36氪发布。