Article Detail

内容详情

围绕文章主旨、阅读节奏与信息层次进行优化,让读者进入正文前就能快速理解主题重心与阅读价值。

8GB显卡跑起27B模型,他打算退订ChatGPT详情展示图

8GB显卡跑起27B模型,他打算退订ChatGPT

MK体育 - MK体育官网首页 · MK SPORTS 639 阅读 约 5.5 分钟

今日体育资讯,由MK体育整理:

一张当年为打游戏买的8GB显卡,现在跑着一个27B参数的模型。

更反常识的是,跑它的理由不是"折腾着玩",而是这位用户打算因此停掉每月20美元的ChatGPT订阅。

他的判断依据很具体:ChatGPT订阅里那些真正在干活的部分——保存好的固定任务配置、调节模型思考强度、丢文件进去做综合——本地这套方案都能对上。

而本地模型过去常被当成"只有聊天框的私密版",其余能力一概缺席。

27B模型怎么塞进8GB卡 关键在压缩方式。

加州理工研究人员创办的初创公司PrismML在7月发布了Bonsai 27B,它是阿里开源模型Qwen 3.

6 27B的压缩版本。

他使用的1-bit版本把每个权重存成约1.

125比特,而不是16比特,整体比完整模型小约14倍——这是它能跑在小卡上的几乎唯一原因。

PrismML的做法是把压缩放进训练过程,而不是等模型训练完再压。

他认为这正是它不像多数被重度压缩的模型那样"行为失常"的原因。

整个模型能完整装进显卡,还留有余量,上下文可以推到30-40k。

用预设替代自定义GPT ChatGPT的自定义GPT本质是保存好的配置,内含指令和参考文件,适合反复出现的固定任务。

OpenAI将于12月11日停用自定义GPT,Plus用户已经无法新建,目前该套餐上最接近的替代是Projects。

本地这边的对应物,更多取决于运行器而非模型本身。

LM Studio把它叫预设,每个预设保存一段系统提示词,以及采样设置。

这些恰恰是ChatGPT不让你碰的部分:温度决定用词多大程度冒险;

Min P会剔除比模型首选词概率低得多的候选,让偏"热"的预设保持连贯,而OpenAI即便对使用API的开发者也不提供这一项。

他的头脑风暴预设调得偏热,Min P开到0.

05;

围绕严格规则搭建的预设则用低得多的温度,Bonsai在这类设置下最贴合指令。

偏热且关掉Min P的预设,回复几轮之后规则就开始松动。

预设不像GPT那样能携带参考文件,文档仍需单独附到会话里,多一道手续——不过本地AI的每件事都多一道手续。

思考模式与强度滑块 ChatGPT Plus的聊天框里有Instant、Medium、High三档思考滑块,决定模型答题前思考多久。

Bonsai默认开启思考,但这不一定是好事:思考会吃掉他30K上下文的一部分,并拖慢每次回复。

而在ChatGPT那边,这些开销发生在OpenAI的服务器上,他此前从不需要考虑。

他通常在多步问题上才打开思考,比如比较两份手机合约在优惠价到期后24个月的总花费。

PrismML的所有基准测试都是在开启思考的情况下跑的,所以其宣传的质量以开启为前提;

关掉后损失多少他说不准,但数学能力似乎最先掉队。

开启思考时,Bonsai在有唯一正确答案、但需要几步推导的任务上表现最好,比如数学或成套规则。

遇到难题,ChatGPT的High档大概率仍会赢。

Bonsai的优势在于推理过程在运行器里全程可读;

而OpenAI并未公布Plus用户能发多少条Thinking消息才会被切到别的模型。

文件与截图 往ChatGPT里丢文件足够简单,Plus允许每三小时上传80次。

LM Studio支持把.

about image

docx、.

pdf、.

txt直接拖进对话:能装进上下文的文件整份进入,更长的则走检索,只有看起来相关的片段送到模型面前——在30K上下文下,他的多数长文件都是这个待遇。

文档是Bonsai的强项。

它基于的Qwen3.

6本就为长文件设计,每四层使用一次常规注意力来抓取精确细节,埋在页面中段的日期和金额不容易丢。

租约里的某一条款、银行来信,都能被讲成大白话,而且它比他的9B模型更能记住哪句话出自哪一节。

图像稍弱。

视觉部分是单独一块4-bit组件,随模型一起加载,同样被压得很狠。

读截图里的文字没问题,不算糟糕,但细节小的地方会有些松。

自定义GPT还剩不到一个月寿命,他电脑上的预设会比它活得久——考虑到这一切跑在多年前为游戏买的显卡上,这件事本身有点奇怪。

他说自己并非要抛弃ChatGPT,只是当Bonsai能接下大部分核心功能,继续付费就没多大意义了。

特别

关注MK体育,了解更多体育资讯。

觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

Search
热点新闻
不查不知道,原来这些都是潜伏在中国的日本货,全都赚的盆满钵满
不查不知道,原来这些都是潜伏在中国的日本货,全都赚的盆满钵满

编辑|乔 你早上用碧柔洗脸。 给娃换上妙而舒纸尿裤。 顺手灌一瓶养乐多。 周末带孩子去买库洛米、HelloKitty的手办。 你以为这是地地道道的中国式生活。 可翻开这些牌子的底细,母公司三个字都写着:日本。 不查不知道,它们在中国闷声扎根了二三十年,早把触角伸进了千家万户。 只是最近这两年,有人赚得更猛,有人却突然栽了大跟头。 你家卫生间,藏着半个日本 洗脸的碧柔、娃用的妙而舒、女生用的乐而雅—

从国家队退役才7天,C罗官宣重大决定,原来他早给自己留了退路
从国家队退役才7天,C罗官宣重大决定,原来他早给自己留了退路

自从C 罗正式宣告告别葡萄牙国家队后,网上便议论纷纷。 谁也没想到,这位被无数人捧为足坛传奇人物的运动员,竟突然官宣结束了自己长达 23 年的国脚征程。 而就在官宣退役消息曝出后没多久,球迷们都好奇C罗接下来会选择怎样的道路。 很多人以为,卸下国家队重担之后,他会慢慢淡出赛场、享受生活。 可仅仅七天过去,一则重磅官宣让所有人恍然大悟,原来,这位传奇球星早就为自己铺好了后路。 文|图图 看图文更过瘾

江苏女排一枝独秀领跑联赛!四强、中游、保级梯队格局清晰
江苏女排一枝独秀领跑联赛!四强、中游、保级梯队格局清晰

三轮联赛打完,各队的实力层次已经慢慢拉开,江苏女排明显独一档,剩下四强名额的争夺悬念不小,中游队伍各有短板,福建、河南则要为保级苦战。 江苏女排是目前联赛最强的队伍。朱晋谊补齐接应位置之后,两翼进攻变得均衡,更难得的是板凳厚度惊人,替补队员放到别的队伍都有主力水准。当然江苏也不是毫无隐患,唐欣一传起伏偏大,会连带影响进攻节奏;吴梦洁偶尔会出现进攻阶段性断电,这两点是后续强强对话里需要稳住的地方。

特朗普落地深圳赴会,白宫三巨头全带上了,马斯克也来见证历史
特朗普落地深圳赴会,白宫三巨头全带上了,马斯克也来见证历史

11月18日下午,美国总统特朗普乘专机落地深圳,来出席亚太经合组织第三十三次领导人非正式会议。 人还没下飞机,随行名单先在网上传开了。国务卿鲁比奥、财政部长贝森特、商务部长卢特尼克、贸易代表格里尔、国家经济委员会主任哈塞特,再加上白宫办公厅主任米勒,15名以上高官一起出发。 企业家这边,最扎眼的名字是马斯克。 不少人第一眼看到名单就感慨:这哪是普通出访,简直把美国负责外交、钱袋子和贸易产业的整套班

11月20日:中青赛决赛山东泰山取胜,终结中国足球小将此前3胜1平交手优势,冠军悬念
11月20日:中青赛决赛山东泰山取胜,终结中国足球小将此前3胜1平交手优势,冠军悬念

从2019年到2022年,中国足球小将与山东泰山U系列梯队的六次正式交手,构成了国内青少年青训领域一组极具代表性的对战样本。 前五次碰面,中国足球小将交出了三胜一平一负的战绩,总比分15比7占据明显优势, 直到2022年11月26日中青赛决赛,此前多次被大比分击败的山东泰山完成零封,以1比0拿下冠军, 直接终结了对手此前保持的对战优势,也让这一组持续三年的青训对抗走到了一个关键转折点。 这场决赛的