AI 领域沉睡的巨人,到 2027 年微软产品结合 AI 可增千亿美元收入

监於 AI 相关估值飙升,华尔街投资者相信微软可成为这一领域领导者,该公司在 Chat-GPT3 发布前位居 AI 领域主导地位。分析师认为,微软产品结合 AI 意味着到 2027 年,可能会替该公司增加 1,000 亿美元收入。

Azure 平台与 Office 365 过去 4 年帮微软增加了近 1,000 亿美元收入,期间股价升值 180%,当时市场还不了解这 2 项业务收入潜力,但微软已领先投入。外界相信历史会随着 AI 新市场登场重演,不应低估 AI 对微软未来各业务线销售增长的影响。

微软也曾被媒体称为沉睡的 AI 巨人,认为他们已准备好为该市场服务,包括从文本中建立图像、减少开发人员需要编写的代码量、帮助机器人像人类一样思考行动等,到 2027 年,可能增加的额外 1,000 亿美元收入很大部分是拥有一套 AI 直接影响的生产力产品。

据《Forbes》报导,微软可以靠 AI …

数学论证GPT-4不是随机鹦鹉:真如此的话整个宇宙都会坍缩

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

对於ChatGPT的工作原理,一个常见的解释是根据统计学规律预测下一个词。

但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论:

若是如此,所需的信息量足以让整个宇宙都坍塌成黑洞。

这一数据量是50000^8000,根据贝肯斯坦上限(Bekenstein bound)原理,如果把这些信息分配到空间当中,所需要的信息密度已经远超宇宙能承受的最大值。

而这仅仅是把数据存储起来的消耗,更不必说还要进行运算了。

而ChatGPT与单纯统计预测的区别,可以做这样的类比:

如果天文学家通过历史观测记录推算出月食的周期,这可以算是统计学。

但当他们总结出牛顿万有引力定律的时候,就已经超越了统计学。

什麽是「随机鹦鹉」

一个流传很广的说法,所谓大语言模型实际上相当於一个「随机鹦鹉」——

与我们观察其输出时的情况相反,语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起,根据概率生成文本,但不清楚文字背後的任何含义,就像一个随机的鹦鹉。
出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big

这对过去的语言模型,或许确实成立。

比如曾经流行的n-gram演算法。

比如当我们在搜索引擎中进行搜索时,出现的联想词就能用此方法实现。

具体来说,下面的三行文本中,第一行纯粹是随机生成,第二行考虑了单词在英语中整体的出现概率,第三行则考虑了单词在前一个词後面出现的概率。

n = 0: RECEIVE

焦虑的火山引擎,不愿再苦等字节跳动的大语言模型

40 多个大模型千帆过尽後,最具大语言模型土壤地位的中国科技公司字节跳动,仍然没有公布自研大语言模型的进度表。

所有人都在关心字节跳动开发大语言模型的进展,它却沉默不语,最新消息只是辟谣140万美元天价年薪挖角OpenAI团队研发成员的传闻。但字节跳动对大语言模型如此低调,更显出旗下火山引擎有多张扬。

粗暴的计算题

与所有云端厂商一样, 大语言模型竞争是存在感不强的火山引擎现在最想讲的故事。不久前火山引擎第一场发表会,总裁谭待抛出一番「七成大语言模型使用者都在火山引擎」言论,但因没有同行做过统计,於是不自研大语言模型的火山引擎,突然成为离众人最近的一朵云。

「七成大语言模型客户」这说法像极飞书「先进企业,先用飞书」口号,第一次出现在火山引擎发表会的MiniMax就是後者希望建立的「先进企业」标竿,这拥有三个自研foundation model(基础模型),短短四个月完成Glow──针对大众的AI虚拟社交App──的目标百万用户团队,是业界人士看好中国少数能完成大语言模型甚至AGI的新创之一。

MiniMax显然是七成中最重要的客户,但谭待发言露出明显仓促感:「等MiniMax把大语言模型做好,我们会和他们一起开发对外服务。」换句话说,火山引擎招揽大量大语言模型客户合作的想法很像AWS,尽可能在研究早期拉拢客户,再等着会否出现下一个Stability.ai或Anthropic。

只不过这「七成」中,也不乏崑仑万维这种市场警告多次的「先进企业」。

崑仑万维4月10日宣布推出大语言模型「天工」3.5,喊着「对抗ChatGPT」、「中国第一个真正实现智慧涌现」的国产大语言模型口号,首次直播展示时却发生表格统计这种低阶错误,且一直遭市场怀疑有蹭ChatGPT炒作之嫌,3月和4月连续收到深交所关注函和监管函。但股价近月翻了一倍。

中国大语言模型概念股的早期泡沫随着AI一起出现,东方财富「ChatGPT」区块2月初只有29支股票,短短两个月就超过60支。

「早期」本身就代表不确定性,火山引擎强调的「七成」更像空中楼阁。谭待解释这数字怎麽来的也很简单:「火山引擎的大语言模型客户数为分子,以市面某大语言模型名单当分母,结果就是70%。」

但多少公司转瞬即逝,又有多少能为火山引擎增长背书,现在都没有答案,甚至因火山引擎力推多云架构,是否只要部分使用火山引擎者就算云上部署大语言模型的客户,都不清楚。

火山引擎在急什麽?

即便知道现在做计算题太简单粗暴也为时尚早,火山引擎也要把握空窗期。一方面是竞争越发激烈的云端市场,火山引擎不算老人也不算新人,但想当中国「第四朵云」显然遥遥无期。

中国企业级SaaS市场规模从2018年开始三年近50%增速,火山引擎2020年上场,从SaaS层产品和行销端进入市场,并几年内快速建立形象:

2021年火山引擎第一次发表云端基础、影片及内容行销、数据中台、开发中台、人工智慧等五大类78项服务全系列产品。这年火山引擎地位几乎与抖音、飞书等平行,也是第一次触及IaaS级云端服务。

高升至字节跳动六大BU一年後,2022年火山引擎云端服务涉及领域确定为金融、汽车、消费、文娱、医疗、通讯传媒六大行业,基於云端底座推出一系列产品解决方案, 企业上云与智慧行销为核心方向。

也是2022年开始,火山引擎开始细化「影音云、内容云」等SaaS产品,并用「火种计画」、「灯塔计画」等招揽新长尾使用者。但这场围绕SaaS的快速布局,艾瑞谘询报告显示,中国SaaS市场规模增速2021年就降至不到40%,隔年进一步跌到9.5%。

虽然中国IaaS+PaaS市场增速近年同步放缓,但2022上半年仍维持超过30%增速,代表中国云端市场仍以IaaS+PaaS为主。SaaS先行,IaaS+PaaS跟进策略切入云端市场的火山引擎,三年过去却没有预期增长快速。

IDC的2022下半年中国云端市场调查,阿里云、腾讯云、华为云、中国电信及AWS合计在中国IaaS及IaaS+PaaS市占率里就占约73%,火山引擎只是藏在不到三成的「Others」内。

中国核心云端商,阿里云有最完整产品布局,且占据中小企业云端市场;华为云的政界领域优势明显;腾讯云背後有微信靠山,且火山引擎最擅长的影音解决方案领域,2021年就涵盖中国90%此类用户。

三年後,火山引擎的模样仍不够清楚。

而火山引擎的定位问题在整个字节跳动ToB策略上弹跳,ToB业务几乎都是从服务字节跳动本身业务开始讲故事,如飞书:

也如火山引擎:

这故事前期逻辑顺畅,字节跳动的效率标签也够有说服力,但字节跳动本身属性及业务形态自然为火山引擎预设了框架,而现在框架变成桎梏。火山引擎早期选择SaaS层服务避开基础设施苦战,是出发时优势,云端原生技术及数据驱动的技术路线也经字节跳动大量验证──以前是头条,现在是抖音。

但这引发火山引擎更大焦虑:困境背後是字节跳动这家公司的变化,越来越像完全由抖音驱动的网路公司。这深刻塑造火山引擎业务,是成就也是限制。

仅四年就突破6亿日活跃用户的抖音今天是字节跳动几乎所有新业务(直播、电商、本地生活等)的起点,同样影响火山引擎产品运算方向,如侧重行销能力的汽车云,应付影音化需求的SaaS产品视频云,强调内容创作到行销及经营全流程的内容云等。

但火山引擎从抖音出发的产品策略并没有太多优势。

「除非火山引擎有跨越时代的云端技术,且恰好有很多公司需要,不然我们不会破坏现在稳定的云端架构。」某国企技术部经理去年对媒体表示。他看衰火山引擎的原因就是网路属性太强,这回答恰好打中字节跳动ToB业务错位的痛点。

火山引擎目前主要客户仍来自网路业,无论最近推动的内容云或视频云,或字节跳动推崇的A / B测试DataTester,本质上火山引擎服务完全针对网路企业云端服务,是基於字节跳动的网路公司背景,但云端市场有更多传产客户。更泥泞的云端服务场景,如生产时只要求效率,没有太多网路公司视角的技术驱动精英逻辑,只有务实、谨慎和巨大转移成本。

对更「传统」的云端需求来说,火山引擎的效率标签没那麽重要,甚至字节跳动都是没有太多参考价值的公司──跳出纯网路公司框架,火山引擎才能解放,许多同行都能证明。对手纷纷以各种云端业务以外集团业务深入敌阵,火山引擎的ToB领域却缺少後发者的着力点。

当火山沿用字节跳动一切toB业务逻辑:体内孵化验证,然後推向市场,却发现放眼望去,字节跳动ToC业务,教育版图短期难扩,游戏业务进展不顺,TikTok云端限制重重,除火山引擎外的五个BU死了四个,还是抖音独大。

景况似乎陷入死循环,与依赖抖音取得云端计算的优势相比,今日火山引擎显然更期待大语言模型的彻底改革。但就像缺席发表会的字节跳动大语言模型,中国早进入AI大战,字节跳动却迟未推出明确的大语言模型技术和商业模式。

过去字节跳动以扁平化组织和快速反应着称,现在看来动作迟缓到难以想像。因字节跳动已彻底不同:两年前业务线BU化改革後,字节形成不再扁平的结构,在中国各新业务增长困境下,逐渐演化成以大抖音为超级核心的单脚模式,无论重点开拓的本地生活战线,还是并购的外部团队,以及遇到困境的现有业务,寻找解套方法时,都只能靠抖音有高大壁垒的成熟业务,和流量为核心的既有资源。

待在堡垒继续挖宝的诱惑有多大,快速行动抓住充满挑战的新机遇的动力就有多低。看着微软Azure和OpenAI相互成全、阿里云和百度云争相用自家大语言模型吸引新客户,火山引擎哪怕仓促,也要用简单粗暴的计算题定位自己,透过「催熟」外部代表性路线来刷存在感,因它知道只能靠自己抓住机会了──别人的延迟满足,就是自己的时不再来。…

Google Pixel 7a 评测:应有尽有的小高阶智慧机

Google 的 Pixel A 系列手机自从 Pixel 3a / 3a XL 世代推出以来,便一直以极高的性价比,占有一席之地。早些年的机种侧重在提供与正规 Pixel 系列相当的相机体验,不过在去年的 Pixel 6a 世代上,Google 选择了不升级相机,而是将 6a 的处理器升级到了与其他 Pixel 6 系列兄弟相同的 Tensor 处理器。这虽然保证了 6a 具备与其他兄弟们相同的 AI 机能,但其 12.2MP 的镜头难免显出了老态。

而在 Pixel 7a 上,Google 选择了鱼与熊掌都不放弃,在采用了 Pixel 7 系列的 Tensor G2 …

半导体行业专题报告:大算力时代的先进封装投资机遇

(报告出品方/作者:中信建投,刘双锋,范彬泰)

核心观点:

1、应用:大算力应用如高性能伺服器(HPC)和自动驾驶(ADAS)取代手机/PC成为新一轮半导体周 期驱动力,後摩尔定律时代高端封装工艺迭代成为新的发展趋势。以台积电下游应用来看,HPC的收入增速 从2020年Q3超过手机後保持持续领先,对应的营收占比在在2022年Q1首次超过手机成为台积电下游第一大应用,相比 之下封测厂商在高价值量的运算类电子占比仅为16%。我们认为随着大算力需求提升,先进封装替代先进位程成为降低 单位算力成本的最佳方案,进而拉高运算电子在封测厂商的价值量。

2、工艺:以Chiplet为代表的2.5D/3D封装形式成为大晶元标配,TSV/RDL/Fan-out等高端封装技术带 来封装环节价值占比提升。半导体价值量的增长下游从手机/PC向高算力的HPC和ADAS转移,封装工艺开始向 Chiplet为代表的2.5D/3D封装转移,从封装工艺流程来看,晶圆代工厂基於制造环节的的优势扩展至TSV工艺,封测厂参 与较多的是RDL和Fan-out等封装工艺,随着高算力晶元整体封测市场扩容,封测厂商逐步扩大2.5D和3D封测布局。

3、市场:全球晶圆代工龙头台积电打造全球2.5D/3D先进封装工艺标杆,未来几年封装市场增长主要受 益於先进封装的扩大。目前先进封装营收规模最大是晶圆代工龙头台积电,预计2022年先进封装贡献了53亿美元, 全球封测龙头日月光和安靠都推出了3D封测工艺平台,积极抢占先进封装的份额。预计2027年先进封装市场规模增至 651亿美元,2021-2027年CAGR达到9.6%,先进封装成为大算力时代封装厂商新的增长动能。

一、应用:手机封装工艺->汽车封装工艺->HPC

2022年海外与中国大陆的逻辑类IC封测厂商实现双位数增长

2022年全球海外前十大封测厂商营收合计达到277亿美元,yoy 9%,逻辑IC封测和测试厂商成长明显,DDIC类封测 公司受到行业周期下滑较多。 2022 年中国大陆前十大封测厂商营收合计达到765亿元人民币,yoy 14%,逻辑IC封测和专业测试厂商实现大幅增长。

2022年Q1开始HPC超越手机成为半导体第一大需求驱动力

2020年第三季度台积电HPC的收入增速首次超过手机应用後持续保持领先,营收占比也在2022年第一季度超过智 能手机,成为逻辑晶元领域最重要的成长驱动力。 2020年第三季度开始,汽车电子领域增速持续走高,在台积电所有下游应用领域中保持最高的成长速度。

HPC封装价值并未流向OSAT厂商,主要由晶圆代工厂承接

全球封测厂商排名前两位的是日月光投控与安靠,按照下游应用占比来看,手机依然是封测领域占 比最高的,营收占比高达40-50%,与晶圆代工龙头台积电的晶圆代工应用占比匹配。 计算领域日月光与安靠的营收占比均为16%,明显低於HPC领域晶圆代工环节超过40%的营收占 比,可见HPC领域的封测并未由OSAT厂商承接,而是留在台积电等聚焦先进位程代工的晶圆厂体 内。

ChatGPT引领算力新时代,HPC封装成OSAT厂商必争之地

2019年开启的5G手机浪潮推动了射频(RF)封装工艺向SiP和AiP/AOP领域发展,摄像头升级也拉 动了CIS的封装需求爆发。 随着5G手机渗透率逐步饱和,伺服器(HPC)需求成为半导体行业新的驱动力,不同於智能手机追 求轻薄和微缩的追求,伺服器晶元更注重算力提升,以Chiplet为代表的2.5D和3D封装工艺成为封装 需求的重要引擎。

汽车晶元封装趋势:Fan-out、SiP等先进封装需求增长…

ICLR 2023 – 解决VAE表示学习问题,北海道大学提出新型生成模型GWAE

机器之心专栏

机器之心编辑部

日本北海道大学提出 Gromov-Wasserstein Autoencoders(GWAE),将变分自编码器 Variational Autoencoder (VAE) 重写为数据和表示之间的最优传输的灵活表徵学习框架。

学习高维数据的低维表示是无监督学习中的基本任务,因为这种表示简明地捕捉了数据的本质,并且使得执行以低维输入为基础的下游任务成为可能。变分自编码器(VAE)是一种重要的表示学习方法,然而由於其目标控制表示学习仍然是一个具有挑战性的任务。虽然 VAE 的证据下界(ELBO)目标进行了生成建模,但学习表示并不是直接针对该目标的,这需要对表示学习任务进行特定的修改,如解纠缠。这些修改有时会导致模型的隐式和不可取的变化,使得控制表示学习成为一个具有挑战性的任务。

为了解决变分自编码器中的表示学习问题,本文提出了一种称为 Gromov-Wasserstein Autoencoders(GWAE)的新型生成模型。GWAE 提供了一种基於变分自编码器(VAE)模型架构的表示学习新框架。与传统基於 VAE 的表示学习方法针对数据变数的生成建模不同,GWAE 通过数据和潜在变数之间的最优传输获得有益的表示。Gromov-Wasserstein(GW)度量使得在不可比变数之间(例如具有不同维度的变数)进行这种最优传输成为可能,其侧重於所考虑的变数的距离结构。通过用 GW 度量替换 ELBO 目标,GWAE 在数据和潜在空间之间执行比较,直接针对变分自编码器中的表示学习(如图 1)。这种表示学习的表述允许学习到的表示具有特定的被认为有益的属性(例如分解性),这些属性被称为元先验。

图 1 VAE 与 GWAE 的区别

本研究目前已被 ICLR 2023 接受。

方法介绍

数据分布和潜在先验分布之间的GW目标定义如下 :

这种最优传输代价的公式可以衡量不可比空间中分布的不一致性;然而对於连续分布,由於需要对所有耦合进行下确界,计算精确的 GW …

SmarTone 推 4 日装「漫游数据多日通」 支援航空漫游兼买第二套起有回赠

复活节假期快开始,准备进入旅游旺季,出游的朋友一定要准备漫游数据。若你是 SmarTone 用户又准备去台湾日本泰国等地的话就要留意,它们推出 4 日装「漫游数据多日通」,支援航空漫游之余,如买第二套或以上会有回赠。

SmarTone 推出的全新 4 日装「漫游数据多日通」计划, $128 即可於 15 个亚太地区享 4 日无限上网。另外,客户於 4 月 30 日前购买「漫游数据多日通」(亚太区) 计划,第二套起可享 8 折回赠。如以购买 2 套 4 日装计划、共 8 日计算,平均每日收费低至 $28.8。「漫游数据多日通」计划可享无限上网,以及每天首 1GB 全速数据,此服务亦支援指定航班航空漫游服务。会去长少少时间的朋友,可选择 7 日装 「漫游数据多日通」计划 ,同样覆盖 15 个亚太地区,收费为 $198,加购第二套起亦可享 8 折回赠。以购买 …

该来的还是来了,微软考虑 Bing Chat 加入广告

AI 进展虽然飞快,但人类赚钱的慾望绝对不会输。随着使用者越来越多,微软开始「探索」Bing Chat 生成回应加入广告。嗯,应该可以略过吧,拜托。

微软今日表示,正在探索 Bing Chat「协助」合作品牌创造收益的可能,虽然形式还未确认,但基本概念就是在 Bing Chat 产生的回应里,让用户看广告。

「我们最近与内容商沟通,思考如何流量中找到意义和收益,目前有些初步点子。」微软官方部落格表示,页面跳出悬浮视窗并含连结是其一,另外 Microsoft Start 夥伴,对话视窗旁边露出丰富的广告内容,也是另一种可能。

从部分用户回馈看,微软甚至也在生成回答置入广告。当用户询问二手车相关问题,Bing Chat 会说最便宜的车价为某某二手车行。换言之,如果你买微软广告,网页不仅会现身搜寻结果,还可能出现 Bing Chat 对话内容,这对行销人来说,无疑是一大诱因。

追根究柢,网路之所以能成为产业,很大部分功劳来自广告收益,我们虽然都讨厌被广告轰炸,但不得不承认,这是多数网站存活的原因。广告主最看重的就是流量,因此当 ChatGPT 和 Bing Chat 从 Google 手上抢回大把流量时,出现广告就是必然的结果。

往好处想,广告现在还没对所有人开放,或许还在测试阶段,可用最乐观的思维,期待微软能想出较不恼人的跳广告方式。但往坏处想,当人工智慧回答也受广告影响时,很可能会对我们造成更深远的冲击。

当广告内容还是手游、背包、鞋子与交友网站时,这冲击可能不明显,但当广告内容涉及政治、历史和医疗时,事情就会变严重了。

  • That was fast! Microsoft slips ads into AI-powered Bing Chat

【场料】平玩 10G Mesh 无线 Router TP-Link XE200 单只成本低

一讲到 WiFi 6e,价钱可平可贵,但贵的功能绝对够各位用上一段时间。其中较为高阶的 6e AXE 11000 更可以拥有 10Gbit WAN port,理论只要用家安装 10G 上网就可以接近用尽无线的 AXE 11000 速度。不过要拥有此规格的 Router 当然也价值不菲,其中最顶级规格就只有 Netgears RBKE962 一款,而且其必须购买两只的套装才可在主机提供上 10G WAN port,所以门槛就非常之高。因此近日 TP-Link 就睇准机会,在近期推出只需 $4,599 的 AXE 11000 Mesh Router Deco XE200,当中卖点自然就是拥有 10G WAN port 以及 AXE 11000,而且直购 2 …

马斯克传 2018 年提收购 OpenAI 遭拒,反悔未兑现 10 亿美元投资

推出爆款人工智慧聊天机器人 ChatGPT 的人工智慧公司 OpenAI 24 日被特斯拉、Twitter 执行长马斯克(Elon Musk)呛不再开源,并已过渡成一个闭源盈利性组织。

24日晚间,外媒 Semafor 发布了相关文章,整理了马斯克与 OpenAI 执行长 Sam Altman 之间的爱恨情仇。

2018 年的不欢而散,10 亿美元投资未兑现

消息人士称,马斯克以 OpenAI 在人工智慧上的进展严重落後 Google 为由,在 2018 年初提出想要掌控 OpenAI 并亲自营运的方案,但 Altman 及其他共同创办人拒绝了马斯克的提议,当时担任技术长的 OpenAI 共同创办人 Greg Brockman 反对马斯克的收购、Sam Altman 在 2018 年增加了总裁的头衔。

马斯克与 …