焦虑的火山引擎,不愿再苦等字节跳动的大语言模型

40 多个大模型千帆过尽後,最具大语言模型土壤地位的中国科技公司字节跳动,仍然没有公布自研大语言模型的进度表。

所有人都在关心字节跳动开发大语言模型的进展,它却沉默不语,最新消息只是辟谣140万美元天价年薪挖角OpenAI团队研发成员的传闻。但字节跳动对大语言模型如此低调,更显出旗下火山引擎有多张扬。

粗暴的计算题

与所有云端厂商一样, 大语言模型竞争是存在感不强的火山引擎现在最想讲的故事。不久前火山引擎第一场发表会,总裁谭待抛出一番「七成大语言模型使用者都在火山引擎」言论,但因没有同行做过统计,於是不自研大语言模型的火山引擎,突然成为离众人最近的一朵云。

「七成大语言模型客户」这说法像极飞书「先进企业,先用飞书」口号,第一次出现在火山引擎发表会的MiniMax就是後者希望建立的「先进企业」标竿,这拥有三个自研foundation model(基础模型),短短四个月完成Glow──针对大众的AI虚拟社交App──的目标百万用户团队,是业界人士看好中国少数能完成大语言模型甚至AGI的新创之一。

MiniMax显然是七成中最重要的客户,但谭待发言露出明显仓促感:「等MiniMax把大语言模型做好,我们会和他们一起开发对外服务。」换句话说,火山引擎招揽大量大语言模型客户合作的想法很像AWS,尽可能在研究早期拉拢客户,再等着会否出现下一个Stability.ai或Anthropic。

只不过这「七成」中,也不乏崑仑万维这种市场警告多次的「先进企业」。

崑仑万维4月10日宣布推出大语言模型「天工」3.5,喊着「对抗ChatGPT」、「中国第一个真正实现智慧涌现」的国产大语言模型口号,首次直播展示时却发生表格统计这种低阶错误,且一直遭市场怀疑有蹭ChatGPT炒作之嫌,3月和4月连续收到深交所关注函和监管函。但股价近月翻了一倍。

中国大语言模型概念股的早期泡沫随着AI一起出现,东方财富「ChatGPT」区块2月初只有29支股票,短短两个月就超过60支。

「早期」本身就代表不确定性,火山引擎强调的「七成」更像空中楼阁。谭待解释这数字怎麽来的也很简单:「火山引擎的大语言模型客户数为分子,以市面某大语言模型名单当分母,结果就是70%。」

但多少公司转瞬即逝,又有多少能为火山引擎增长背书,现在都没有答案,甚至因火山引擎力推多云架构,是否只要部分使用火山引擎者就算云上部署大语言模型的客户,都不清楚。

火山引擎在急什麽?

即便知道现在做计算题太简单粗暴也为时尚早,火山引擎也要把握空窗期。一方面是竞争越发激烈的云端市场,火山引擎不算老人也不算新人,但想当中国「第四朵云」显然遥遥无期。

中国企业级SaaS市场规模从2018年开始三年近50%增速,火山引擎2020年上场,从SaaS层产品和行销端进入市场,并几年内快速建立形象:

2021年火山引擎第一次发表云端基础、影片及内容行销、数据中台、开发中台、人工智慧等五大类78项服务全系列产品。这年火山引擎地位几乎与抖音、飞书等平行,也是第一次触及IaaS级云端服务。

高升至字节跳动六大BU一年後,2022年火山引擎云端服务涉及领域确定为金融、汽车、消费、文娱、医疗、通讯传媒六大行业,基於云端底座推出一系列产品解决方案, 企业上云与智慧行销为核心方向。

也是2022年开始,火山引擎开始细化「影音云、内容云」等SaaS产品,并用「火种计画」、「灯塔计画」等招揽新长尾使用者。但这场围绕SaaS的快速布局,艾瑞谘询报告显示,中国SaaS市场规模增速2021年就降至不到40%,隔年进一步跌到9.5%。

虽然中国IaaS+PaaS市场增速近年同步放缓,但2022上半年仍维持超过30%增速,代表中国云端市场仍以IaaS+PaaS为主。SaaS先行,IaaS+PaaS跟进策略切入云端市场的火山引擎,三年过去却没有预期增长快速。

IDC的2022下半年中国云端市场调查,阿里云、腾讯云、华为云、中国电信及AWS合计在中国IaaS及IaaS+PaaS市占率里就占约73%,火山引擎只是藏在不到三成的「Others」内。

中国核心云端商,阿里云有最完整产品布局,且占据中小企业云端市场;华为云的政界领域优势明显;腾讯云背後有微信靠山,且火山引擎最擅长的影音解决方案领域,2021年就涵盖中国90%此类用户。

三年後,火山引擎的模样仍不够清楚。

而火山引擎的定位问题在整个字节跳动ToB策略上弹跳,ToB业务几乎都是从服务字节跳动本身业务开始讲故事,如飞书:

也如火山引擎:

这故事前期逻辑顺畅,字节跳动的效率标签也够有说服力,但字节跳动本身属性及业务形态自然为火山引擎预设了框架,而现在框架变成桎梏。火山引擎早期选择SaaS层服务避开基础设施苦战,是出发时优势,云端原生技术及数据驱动的技术路线也经字节跳动大量验证──以前是头条,现在是抖音。

但这引发火山引擎更大焦虑:困境背後是字节跳动这家公司的变化,越来越像完全由抖音驱动的网路公司。这深刻塑造火山引擎业务,是成就也是限制。

仅四年就突破6亿日活跃用户的抖音今天是字节跳动几乎所有新业务(直播、电商、本地生活等)的起点,同样影响火山引擎产品运算方向,如侧重行销能力的汽车云,应付影音化需求的SaaS产品视频云,强调内容创作到行销及经营全流程的内容云等。

但火山引擎从抖音出发的产品策略并没有太多优势。

「除非火山引擎有跨越时代的云端技术,且恰好有很多公司需要,不然我们不会破坏现在稳定的云端架构。」某国企技术部经理去年对媒体表示。他看衰火山引擎的原因就是网路属性太强,这回答恰好打中字节跳动ToB业务错位的痛点。

火山引擎目前主要客户仍来自网路业,无论最近推动的内容云或视频云,或字节跳动推崇的A / B测试DataTester,本质上火山引擎服务完全针对网路企业云端服务,是基於字节跳动的网路公司背景,但云端市场有更多传产客户。更泥泞的云端服务场景,如生产时只要求效率,没有太多网路公司视角的技术驱动精英逻辑,只有务实、谨慎和巨大转移成本。

对更「传统」的云端需求来说,火山引擎的效率标签没那麽重要,甚至字节跳动都是没有太多参考价值的公司──跳出纯网路公司框架,火山引擎才能解放,许多同行都能证明。对手纷纷以各种云端业务以外集团业务深入敌阵,火山引擎的ToB领域却缺少後发者的着力点。

当火山沿用字节跳动一切toB业务逻辑:体内孵化验证,然後推向市场,却发现放眼望去,字节跳动ToC业务,教育版图短期难扩,游戏业务进展不顺,TikTok云端限制重重,除火山引擎外的五个BU死了四个,还是抖音独大。

景况似乎陷入死循环,与依赖抖音取得云端计算的优势相比,今日火山引擎显然更期待大语言模型的彻底改革。但就像缺席发表会的字节跳动大语言模型,中国早进入AI大战,字节跳动却迟未推出明确的大语言模型技术和商业模式。

过去字节跳动以扁平化组织和快速反应着称,现在看来动作迟缓到难以想像。因字节跳动已彻底不同:两年前业务线BU化改革後,字节形成不再扁平的结构,在中国各新业务增长困境下,逐渐演化成以大抖音为超级核心的单脚模式,无论重点开拓的本地生活战线,还是并购的外部团队,以及遇到困境的现有业务,寻找解套方法时,都只能靠抖音有高大壁垒的成熟业务,和流量为核心的既有资源。

待在堡垒继续挖宝的诱惑有多大,快速行动抓住充满挑战的新机遇的动力就有多低。看着微软Azure和OpenAI相互成全、阿里云和百度云争相用自家大语言模型吸引新客户,火山引擎哪怕仓促,也要用简单粗暴的计算题定位自己,透过「催熟」外部代表性路线来刷存在感,因它知道只能靠自己抓住机会了──别人的延迟满足,就是自己的时不再来。…

半导体行业专题报告:大算力时代的先进封装投资机遇

(报告出品方/作者:中信建投,刘双锋,范彬泰)

核心观点:

1、应用:大算力应用如高性能伺服器(HPC)和自动驾驶(ADAS)取代手机/PC成为新一轮半导体周 期驱动力,後摩尔定律时代高端封装工艺迭代成为新的发展趋势。以台积电下游应用来看,HPC的收入增速 从2020年Q3超过手机後保持持续领先,对应的营收占比在在2022年Q1首次超过手机成为台积电下游第一大应用,相比 之下封测厂商在高价值量的运算类电子占比仅为16%。我们认为随着大算力需求提升,先进封装替代先进位程成为降低 单位算力成本的最佳方案,进而拉高运算电子在封测厂商的价值量。

2、工艺:以Chiplet为代表的2.5D/3D封装形式成为大晶元标配,TSV/RDL/Fan-out等高端封装技术带 来封装环节价值占比提升。半导体价值量的增长下游从手机/PC向高算力的HPC和ADAS转移,封装工艺开始向 Chiplet为代表的2.5D/3D封装转移,从封装工艺流程来看,晶圆代工厂基於制造环节的的优势扩展至TSV工艺,封测厂参 与较多的是RDL和Fan-out等封装工艺,随着高算力晶元整体封测市场扩容,封测厂商逐步扩大2.5D和3D封测布局。

3、市场:全球晶圆代工龙头台积电打造全球2.5D/3D先进封装工艺标杆,未来几年封装市场增长主要受 益於先进封装的扩大。目前先进封装营收规模最大是晶圆代工龙头台积电,预计2022年先进封装贡献了53亿美元, 全球封测龙头日月光和安靠都推出了3D封测工艺平台,积极抢占先进封装的份额。预计2027年先进封装市场规模增至 651亿美元,2021-2027年CAGR达到9.6%,先进封装成为大算力时代封装厂商新的增长动能。

一、应用:手机封装工艺->汽车封装工艺->HPC

2022年海外与中国大陆的逻辑类IC封测厂商实现双位数增长

2022年全球海外前十大封测厂商营收合计达到277亿美元,yoy 9%,逻辑IC封测和测试厂商成长明显,DDIC类封测 公司受到行业周期下滑较多。 2022 年中国大陆前十大封测厂商营收合计达到765亿元人民币,yoy 14%,逻辑IC封测和专业测试厂商实现大幅增长。

2022年Q1开始HPC超越手机成为半导体第一大需求驱动力

2020年第三季度台积电HPC的收入增速首次超过手机应用後持续保持领先,营收占比也在2022年第一季度超过智 能手机,成为逻辑晶元领域最重要的成长驱动力。 2020年第三季度开始,汽车电子领域增速持续走高,在台积电所有下游应用领域中保持最高的成长速度。

HPC封装价值并未流向OSAT厂商,主要由晶圆代工厂承接

全球封测厂商排名前两位的是日月光投控与安靠,按照下游应用占比来看,手机依然是封测领域占 比最高的,营收占比高达40-50%,与晶圆代工龙头台积电的晶圆代工应用占比匹配。 计算领域日月光与安靠的营收占比均为16%,明显低於HPC领域晶圆代工环节超过40%的营收占 比,可见HPC领域的封测并未由OSAT厂商承接,而是留在台积电等聚焦先进位程代工的晶圆厂体 内。

ChatGPT引领算力新时代,HPC封装成OSAT厂商必争之地

2019年开启的5G手机浪潮推动了射频(RF)封装工艺向SiP和AiP/AOP领域发展,摄像头升级也拉 动了CIS的封装需求爆发。 随着5G手机渗透率逐步饱和,伺服器(HPC)需求成为半导体行业新的驱动力,不同於智能手机追 求轻薄和微缩的追求,伺服器晶元更注重算力提升,以Chiplet为代表的2.5D和3D封装工艺成为封装 需求的重要引擎。

汽车晶元封装趋势:Fan-out、SiP等先进封装需求增长…

ICLR 2023 – 解决VAE表示学习问题,北海道大学提出新型生成模型GWAE

机器之心专栏

机器之心编辑部

日本北海道大学提出 Gromov-Wasserstein Autoencoders(GWAE),将变分自编码器 Variational Autoencoder (VAE) 重写为数据和表示之间的最优传输的灵活表徵学习框架。

学习高维数据的低维表示是无监督学习中的基本任务,因为这种表示简明地捕捉了数据的本质,并且使得执行以低维输入为基础的下游任务成为可能。变分自编码器(VAE)是一种重要的表示学习方法,然而由於其目标控制表示学习仍然是一个具有挑战性的任务。虽然 VAE 的证据下界(ELBO)目标进行了生成建模,但学习表示并不是直接针对该目标的,这需要对表示学习任务进行特定的修改,如解纠缠。这些修改有时会导致模型的隐式和不可取的变化,使得控制表示学习成为一个具有挑战性的任务。

为了解决变分自编码器中的表示学习问题,本文提出了一种称为 Gromov-Wasserstein Autoencoders(GWAE)的新型生成模型。GWAE 提供了一种基於变分自编码器(VAE)模型架构的表示学习新框架。与传统基於 VAE 的表示学习方法针对数据变数的生成建模不同,GWAE 通过数据和潜在变数之间的最优传输获得有益的表示。Gromov-Wasserstein(GW)度量使得在不可比变数之间(例如具有不同维度的变数)进行这种最优传输成为可能,其侧重於所考虑的变数的距离结构。通过用 GW 度量替换 ELBO 目标,GWAE 在数据和潜在空间之间执行比较,直接针对变分自编码器中的表示学习(如图 1)。这种表示学习的表述允许学习到的表示具有特定的被认为有益的属性(例如分解性),这些属性被称为元先验。

图 1 VAE 与 GWAE 的区别

本研究目前已被 ICLR 2023 接受。

方法介绍

数据分布和潜在先验分布之间的GW目标定义如下 :

这种最优传输代价的公式可以衡量不可比空间中分布的不一致性;然而对於连续分布,由於需要对所有耦合进行下确界,计算精确的 GW …

该来的还是来了,微软考虑 Bing Chat 加入广告

AI 进展虽然飞快,但人类赚钱的慾望绝对不会输。随着使用者越来越多,微软开始「探索」Bing Chat 生成回应加入广告。嗯,应该可以略过吧,拜托。

微软今日表示,正在探索 Bing Chat「协助」合作品牌创造收益的可能,虽然形式还未确认,但基本概念就是在 Bing Chat 产生的回应里,让用户看广告。

「我们最近与内容商沟通,思考如何流量中找到意义和收益,目前有些初步点子。」微软官方部落格表示,页面跳出悬浮视窗并含连结是其一,另外 Microsoft Start 夥伴,对话视窗旁边露出丰富的广告内容,也是另一种可能。

从部分用户回馈看,微软甚至也在生成回答置入广告。当用户询问二手车相关问题,Bing Chat 会说最便宜的车价为某某二手车行。换言之,如果你买微软广告,网页不仅会现身搜寻结果,还可能出现 Bing Chat 对话内容,这对行销人来说,无疑是一大诱因。

追根究柢,网路之所以能成为产业,很大部分功劳来自广告收益,我们虽然都讨厌被广告轰炸,但不得不承认,这是多数网站存活的原因。广告主最看重的就是流量,因此当 ChatGPT 和 Bing Chat 从 Google 手上抢回大把流量时,出现广告就是必然的结果。

往好处想,广告现在还没对所有人开放,或许还在测试阶段,可用最乐观的思维,期待微软能想出较不恼人的跳广告方式。但往坏处想,当人工智慧回答也受广告影响时,很可能会对我们造成更深远的冲击。

当广告内容还是手游、背包、鞋子与交友网站时,这冲击可能不明显,但当广告内容涉及政治、历史和医疗时,事情就会变严重了。

  • That was fast! Microsoft slips ads into AI-powered Bing Chat

【场料】平玩 10G Mesh 无线 Router TP-Link XE200 单只成本低

一讲到 WiFi 6e,价钱可平可贵,但贵的功能绝对够各位用上一段时间。其中较为高阶的 6e AXE 11000 更可以拥有 10Gbit WAN port,理论只要用家安装 10G 上网就可以接近用尽无线的 AXE 11000 速度。不过要拥有此规格的 Router 当然也价值不菲,其中最顶级规格就只有 Netgears RBKE962 一款,而且其必须购买两只的套装才可在主机提供上 10G WAN port,所以门槛就非常之高。因此近日 TP-Link 就睇准机会,在近期推出只需 $4,599 的 AXE 11000 Mesh Router Deco XE200,当中卖点自然就是拥有 10G WAN port 以及 AXE 11000,而且直购 2 …

马斯克传 2018 年提收购 OpenAI 遭拒,反悔未兑现 10 亿美元投资

推出爆款人工智慧聊天机器人 ChatGPT 的人工智慧公司 OpenAI 24 日被特斯拉、Twitter 执行长马斯克(Elon Musk)呛不再开源,并已过渡成一个闭源盈利性组织。

24日晚间,外媒 Semafor 发布了相关文章,整理了马斯克与 OpenAI 执行长 Sam Altman 之间的爱恨情仇。

2018 年的不欢而散,10 亿美元投资未兑现

消息人士称,马斯克以 OpenAI 在人工智慧上的进展严重落後 Google 为由,在 2018 年初提出想要掌控 OpenAI 并亲自营运的方案,但 Altman 及其他共同创办人拒绝了马斯克的提议,当时担任技术长的 OpenAI 共同创办人 Greg Brockman 反对马斯克的收购、Sam Altman 在 2018 年增加了总裁的头衔。

马斯克与 …

Google 发现假冒 ChatGPT 插件 会窃取用户 Facebook 帐户

ChatGPT 是目前科技界最热门的话题,很多人都会想借用 ChatGPT 帮手找资料、处理文件甚至编写程式等等。但亦有不法之徒假借 ChatGPT 之名来作案,最近 Google 就发现有人抄袭了另一个着名 Chrome 浏览器插件 ChatGPT for Google,虽然这假冒的 ChatGPT for Google 同样会有 ChatGPT 功能,但用户在使用该插件的时候,有机会被窃取 Facebook 用户 Cookie,黑客可以藉此使用用户身份登入 Facebook 帐户,轻则会被开启完全访问权限,让广告可以无孔不入的烦扰你,重则有可能会被窃取信用卡及其他重要的个人资讯。

根据报导指,这款被指有问题的冒牌 ChatGPT for Google 插件是由一个叫 Productivity 的不知名开发公司所推出,连产品图示和介绍都和正品开发商 chatgpt4google.com 推出的同名插件做得一模一样,所以大家在搜寻时,有机会被误导并下载有问题的插件,据知目前约有 10,000 位用户已下载冒牌版本,Google 呼吁曾安装 ChatGPT for Google 的用户应立即删除,同时要清除浏览器的所有 …

Google 前员工组新创攻 AI 聊天机器人,创投大咖注资

随着人工智慧(AI)话题愈趋火热,由科技巨头 Google 前员工成立的新创公司 Character.AI 已获知名创投企业安德森霍罗维兹(Andreessen Horowitz)等投资人重金挹注,估值站上 10 亿美元、跻身「独角兽」之列,志在开发客制化、个人化的 AI 聊天机器人。

CNBC、纽约时报等媒体报导,Character.AI於23日宣布,已在由安德森霍罗维兹主导的新一轮融资中筹得1.5亿美元资金,使其估值达到10亿美元。Character.AI是由Google前员工Noam Shazeer和Daniel De Freitas共同创立,他们过去曾负责打造Google对话模型LaMDA的架构,但2021年从Google离职、自立门户。

Character.AI发表声明指出,公司的技术将可「让使用者打造完全客制化、个人化并有着鲜明性格和价值的AI夥伴」。

自AI聊天机器人ChatGPT一炮而红以来,AI俨然成为科技业兵家必争之地。微软(Microsoft)甫於本月16日发表全新Microsoft 365 Copilot服务,将AI助手Copilot与旗下产品整合,可望为文书作业带来颠覆性变革。Google也自22日起在英、美推出自家AI聊天机器人Bard的试用版。

纽约时报指出,尽管科技业面临银行业危机、裁员的坏景气,萌芽中的AI新创公司反倒行情火热,吸引创投大举投资。

安德森霍罗维兹由美国矽谷创投界名人安德森(Marc Andreessen)成立,过去曾大举投资加密货币金融服务Web3、音频社交媒体Clubhouse等。安德森霍罗维兹合夥人Sarah Wang指出,Character.AI正在推动生成式AI飞速进化,有潜力改写人们在日常生活中与科技互动的方式。

(本文由 MoneyDJ新闻 授权转载;首图来源:shutterstock)…

微软称GPT-4将会很快发布,该模型拥有更强大的理解能力

ChatGPT、Bing AI等人工智慧的表现可以说是甚为亮眼,而它们的背後都依靠着同一个语言模型作为支撑——GPT-3.5。当然,Bing AI所用的GPT-3.5还比ChatGPT的更先进一点,微软将其称之为普罗米修斯模型,它经过优化,能够更好地与Bing搜索引擎相结合。而更令人惊喜的消息是,更先进的GPT-4将会在下周(2023年3月19日後)正式发布。

根据Windows Central的报道,该消息是由微软德国的CTO,Andreas Braun在一场名为AI in Focus – Digital Kickoff(聚焦AI——数字化开始)的活动中发布的,因此真实性是可以得到确认的。翻译後,他的具体回答如下:

「我们将会在下周发布GPT-4,这是我们所拥有的一个能提供完全不同可能性的多模态模型,比如说在视频方面。」

多模态模型指的是能够接受多种方式的输入并进行处理和输出,比如说,你能给AI发送一张图,然後让AI看图写话,又或者说反过来,告诉AI自己想要一个什麽样的图片或视频,让AI生成一份(这跟当前的AI出图不同,用自然语言即可)。跟现时的GPT-3.5相比,这可以说是一个相当巨大的进步,因为无论是ChatGPT还是Bing AI,现在都只能接受文字输入,直白一点说就是只能听懂人话。

考虑到谷歌最近也公布了它自己的多模态模型PaLM-E,并有着相当不错的表现,我们也可以把GPT-4的发布当成是来自OpenAI,以及微软的回击。至於GPT-4到底有多强,我们只能在发布当天一探究竟了。…

居家旅行好帮手,美军越来越多单位使用机器狗进行巡逻任务

自从美国空军在 2020 年首度引入机器狗进行基地防卫任务後,三年来逐渐有更多单位开始采用这种半自动、可持续 24 小时巡逻侦查任务的装备来进行基地防御。

波士顿机械(Boston Dynamics)和幽灵机械(Ghost Robotics)的机器狗产品最初在 2020 年由美国空军佛罗里达廷戴尔空军基地(Tyndall Air Force Base)驻紮的第 325 警卫中队引进。

由於机器狗产品可搭载各种不同的光学、热显像和声音感测器等装备,除了基本的装备拖运工作外,协助警卫队巡守广大的基地周遭环境成为更重要的任务,目前已有多个空军和太空军基地都使用机器狗协助基地安保。

位於内华达州内利斯空军基地的第 621 突发应变团(Contingency Response Group)也同样采用 Ghost Robotics 的 Vision 60 系列机器狗,与部队共同进行战斗演习,模拟反夺回基地任务。

此外,除了战斗和巡逻任务外,北达科他州迈诺特空军基地的空中国民兵第 5 核生化中队,近期也开始采用机器狗进行第一线的危险探测任务,减少人员和军犬直接暴露在有害物质的情况。

卡纳维尔角的甘乃迪太空发射基地目前也正在使用机器狗,除了基地防卫外,气候探测、灾难快速反应和爆裂物处理等,都取代了以往必须使用人力进行的任务,降低人力负担跟危险性。

海岸防卫队和海军在夏威夷也开始使用机器狗,进行爆裂物处理、基地巡逻等任务。

目前仅有陆军和海军陆战队尚未传出机器狗的运用案例,陆军虽然有采购两组 Boston Dynamics 产品进行评估,并对机器狗的发展潜力相当有兴趣,但目前由於机器狗行进运作噪音仍然太大,且电池续航力仍然有限,对於需要进行长距离侦查、隐密行动等任务的陆军和陆战队来说帮助不大。

不过未来若是电力、运作噪音和 AI 发展解决上述问题的话,可预见机器狗或各种类型的机器人载具将会快速进驻所有美军单位,有如《战地风云 2042》一般的场景将很快实现。…