最新动态
科技博主阑夕:大模型不光卷价格 还要卷并发
2024-05-26 07:00  浏览:202

豆包通用模型lite-4k/32k,千tokens推理输入售价0.3厘;通义千问qwen-long,千tokens推理输入售价0.5厘;百度文心ERNIE Speed、ERNIE Lite,宣布免费。

针对近期的大模型降价狂潮,科技博主阑夕发文称:行业里说千Tokens价格,光低价还不够,吞吐量太小的话,再便宜也用不了多少。如果只是把价格降下去,吞吐还是小水管,那真是降了个寂寞。

以下是阑夕微博主要观点:

豆包大模型打响价格战已经过了一个星期,山雨欲来的效果还是挺明显的,同行要么跟着一起降价,要么开始写小作文阴阳,特别热闹。

有比较急的,拿以前云雀模型的限流指标和模型单元价格来算,暗戳戳说豆包实际使用价格要高。等火山引擎官网把不同版本、不同规格的销售方案全部亮了出来,不管是预付费还是后付费都确实是击穿地板的底价标准,瞬间打脸回去。

豆包模型定价,最值得关注的是把TPM(每分钟token数)提到80万,比同行(一般是10万到30万tokens)高几倍。如果对话文本小,RPM(每分钟请求数)上限1万,能支持的并发量是同行(一般是60到120,轻量版是300到500)的几十倍。其他大模型要不要跟?

行业里说千Tokens价格,光低价还不够,吞吐量太小的话,再便宜也用不了多少。如果只是把价格降下去,吞吐还是小水管,那真是降了个寂寞。

(关于免费)大模型的算力烧钱主要在训练端,推理端的成本其实是每年都有几十倍优化空间的。但再怎么优化,也不可能优化到0。

足够便宜,但依然能赚钱,由此促成应用/商用市场的规模增长,包括OpenAI在内的主流大模型开发商,都是这么一个思路,可以不讲武德,但是商业规律还是得敬畏的。

不管怎么说,大模型toB还在做大蛋糕的阶段,有更多公司一起解决企业入局的成本门槛,也都算是共赢吧。

    以上就是本篇文章【科技博主阑夕:大模型不光卷价格 还要卷并发】的全部内容了,欢迎阅览 ! 文章地址:http://www.glev.cn/quote/5411.html 
     行业      资讯      企业新闻      行情      企业黄页      同类资讯      网站地图      返回首页 歌乐夫移动站 http://www.glev.cn/mobile/ , 查看更多