硬件限制通常首先遇到的问题?内存。



让我们拆解不同模型规模的规格。运行7B到13B参数的模型通常需要16到32GB的内存。提升到20B参数,你大约需要48到64GB。对于像120B这样的大型模型,准备120GB或更多。

事情是这样的——我们在硬件设置上投资了$15k ,现在几乎可以部署任何模型。这是真正的能力。令人鼓舞的是?随着市场的成熟和硬件的普及,这些成本应该会下降。更多的人将有能力在本地运行大型模型,而不必破费。
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 6
  • 转发
  • 分享
评论
0/400
假设性清算vip
· 8小时前
花15k就想进场?等等,120B模型一开始就要120G显存,这健康因子太危险了。后面成本下降?说得容易,真的吗?
回复0
Liquidity_Surfervip
· 8小时前
我能玩任何模型了,但这15k花得值不值还真说不好
回复0
gas_fee_therapyvip
· 8小时前
15k真的不算啥了,主要看能跑什么模型值不值
回复0
MeaninglessApevip
· 8小时前
15k砸下去就能随便跑模型了,这才叫玩家啊
回复0
社群潜伏者vip
· 8小时前
15k真的不便宜啊...一般人玩本地部署还是得等硬件价格再跌跌
回复0
StakeWhisperervip
· 9小时前
15k砸下去就能随便跑模型,这买卖值不值啊…我还在用16G的破机器摸鱼呢
回复0
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)