贾佳亚传授：模子没必要一味求年夜！优化神经元毗连方式一样是智能跃升的「要害暗码」丨GAIR 2025

12月12日，第八届 GAIR 全世界人工智能与呆板人年夜会在深圳正式拉开帷幕。

本次年夜会为期两天，由GAIR研究院与雷峰网结合主理，大作院士任引导委员会主席，杨强院士与朱晓蕊传授任年夜会主席。

作为 AI 产学研投界标杆嘉会，GAIR自2016年开办以来，始终苦守 “传承+立异” 内核，是 AI 学界思惟接力的阵地、技能交流的平台，更是中国 AI 四十年成长的精力家园。已往四年年夜模子驱动 AI 财产加快厘革，岁末年头 GAIR 践约所致，以高质量不雅点碰撞，为行业与公共出现AI时代的前沿洞见。

本次峰会之上，中国香港科技年夜学讲座传授、冯诺依曼研究院院长，IEEE Fellow贾佳亚传授亲临现场，为预会者们带来了一场出色纷呈的开场陈诉。

贾佳亚传授于会上先是回首了冯诺依曼研究院建立先后，其领导相干团队从事的一些AI研究以和取患上的结果。此中本年的一些最新技能结果，此前均未于公共场所正式披露：

一、2023年，发布了LongLoRA技能，成为全世界第一个32K长文本上下文理解年夜模子技能；

二、2024年，推出 Mini-Gemini—— 该平台于 GitHub 上收成超 3000 个 Star，且为其时开源社区中机能最强的模子。其以文字体系为基础，融入多模态理解能力，可实现高机能图象理解与推理式图片天生；

三、本年，推出 Mini-Gemini 新版本，该版本新增完备中文语音体系，撑持长视频理解、无样本音色克隆和跨语言天生，解决中文语音体系杂乱的痛点。

此外，智能图象天生编纂技能结果丰硕：ControlNeXt轻量化操作可实现图象气势派头转换、动效天生等。

同时，研究院新推出了全世界领先的智能图象天生编纂同一体系DreamOmni2，有望成为于开源体系里独一能跟Nano Banana对于齐的体系。据相识，Nano Banana的研发投入了10万张卡，投资范围超50亿$，而DreamOmni2仅由2论理学生主导，用500张卡、耗时半年便完成开发。

回首已往三年的研究摸索，贾佳亚提出要害思索：

一、年夜模子智力是综合多因素成果：神经元数目不代表更智慧，更主要的是神经之间的毗连方式，包括年夜脑皮层的繁杂度，以和年夜脑与其他器官的共同水平等。

二、是以将来年夜模子成长有两个要害要点：当前Sacling Law是基本成长标的目的，但年夜模子成长需聚焦“改善神经元毗连方式”，让其于划一数目的神经上变患上更智慧。从初期的卷积神经收集，到厥后的Transformer，都是于转变神经元的毗连方式。

三、将来人工智能成长的两年夜重心：一是练习要领要从一次性进修转为像人同样的持续进修，二是要联合呆板人、机械臂等作为人工智能的感知载体，填补当前AI无实体的短板。

四、AI与年夜模子的将来成长模式：会走向感知呆板与终身进修联合的练习模式，该成长将于将来五到十年连续性发生，并会带来巨猛进步。

如下是贾佳亚院长演讲的出色内容，雷峰网(公家号：雷峰网)作了不转变原意的收拾与编纂：

各人午时好，我从事计较机视觉研究跨越20多年，2000年进入中国香港，到此刻20多年的时间。去年我从港中文转到了港科年夜，咱们成立了冯诺依曼研究院，研究院是本年5月份揭牌，成了中国香港里程碑式的AI成长事务，包括中国香港特区当局财务司司长，见证了咱们的揭幕。

于短短半年的时间中，咱们约请了许多专家及带领对于冯诺依曼研究院举行了拜候，看了咱们许多的研究及进展，各人感觉很高兴，感觉这应该是中国香港将来成长患上最快、最领先的AI团队。

于这个团队中，咱们有年夜概跨越30位的年青传授于从事AI的各项研究。今天我就花点时间给各人先容一下我基本没有于公共场所讲过的一些年夜型技能。

2023年，咱们本身发布了LongLoRA技能，这是全世界第一个32K长文本上下文理解年夜模子技能。

可以想象一下，2023年，虽然ChatGPT3.5已经经有了许多年夜模子的能力，但许多年夜模子不具有长问答的能力，你只能问它一个很简短的问题，它回覆你的问题长度没措施跨越50字或者100字，这是2023年的状况。其时我的学生以敏锐的嗅觉，察觉到了这个问题。

咱们发布这个模子以后，于全球获得了许多的存眷及影响力，厥后于整个范畴中，所有的年夜模子最先鞭策长文本上下文理解。咱们终究可让年夜模子于人类汗青上第一次最先读一本书，并对于这本书的内容举行阐发，于此以前，没有任何的年夜模子可以或许真正读一部很是长的文本并举行总结及归纳的，年夜概有四万多个Token、两到三万字，它举行了回覆。

但咱们其实不满意，咱们又提出了Mini-Gemini，这是GitHub上跨越3000个Star的一个年夜产物。其时咱们基在了文字体系，插手了咱们的多模态理解能力，咱们但愿可以或许做到很是强悍的图象理解能力及推理式图片天生。Mini-Gemini是去年发布的，其时应该是整个开源社区傍边最强悍的模子。

它可以做许多工作，给各人举几个例子。本年，咱们不满意在去年的版本，咱们做了一个新的版本。假如对于人工智能或者多模态体系感兴致的可以运用一下这个模子，它插手了音色克隆技能，于现有的开源年夜模子傍边，不具有完备的中文语音体系，而这个模子具有完备的中文语音体系。

给各人举几个例子。它可以干甚么事？它可以读一个超长的音频及个性化的音色，好比它可以看30分钟长的TVB News或者新闻联播，然后它可以把新闻联播里所有的内容举行归纳总结，用户可以发问任何有关长视频的问题，它的回覆是可以基在语音的。

这是一个清华的公然课，90分钟的时长，每个想学年夜模子的学生想看这个视频，长短常难熬难过的工作，由于内容很长，需要各人专注的时间也很长。咱们做了一个视频的理解，但愿用一个Attention机制，用户看完这个视频以后，你可以问它任何问题，然后年夜模子可以经由过程这个问题去回覆所有的内容。好比，它可以用马斯克、周杰伦、川普的声音给你举行回覆。这是一个完备的中英文音色，于当前阶段很是详细、有效的中文语音库存。

咱们还有可以做音色克隆，这是无样本进修，你不需要于输入的时辰插手，我只输入了年夜概2秒钟的周杰伦的音色，它就能够复制出来。再好比邓紫棋、太乙真人的音色，它是主动的，文字输入进去，语音就输出出来了，音色可以本身调治及天生。这就是年夜模子确当前阶段，一方面它可以塑造出很是多创造性的工作，另外一方面也能够用它做许多差别的工作。

别的，可以用它做跨音色、跨语言的工具，好比有一个讲座，要求你用英文来举行讲座，但你的英文其实不好，或者者需要你用法文，怎么办？就用它来天生就能够了。

于这个历程中，咱们也能够输入一些很是成心思的其他音色，这里咱们输入了网红马宝国的音色，然后让他读了一段很是正经的文章。这一段的话很是难念，各人可以测验考试，中国许多开源模子是读欠好这段话的。此刻它已经经全数开源了，各人可以于网上做测验考试。

咱们以前为何做这件工作？由于咱们发明于整个市场中，英文体系做患上很是强盛，而中文体系一直做患上很是杂乱，咱们但愿成为第一个把中文语音体系做患上比力完备及完整的团队，这是咱们做这个工作的初志之一。

再给各人看看咱们做患上很是成心思的创造性事情，很是直接，可以拿来做很是成心思的创造性效果。

好比各人可以输入图象，这个叫ControlNeXt，它可以天生完备的、真正的、天然图象的表达，包括卡通图象，或者者是任何情势的图象表达。咱们可以把一张图象酿成任何的气势派头，好比版画气势派头或者中式气势派头。

我的一个学生很是但愿看到静态图片可以或许舞蹈，让它可以或许动起来，咱们用了一个简朴的模子就做了这个工作，ControlNeXt长短常轻量化的操作，不需要预练习，也不需要你有5张卡或者10张卡，你只需要有一个体系，就能够实现以上所有功效。

别的它还有可以做超等分辩率，之前拍摄患上很是恍惚的图片，均可以用它变清楚。这不是咱们做出来的，是咱们放出来这个体系以后，其他海内高校团队用这个体系做的测验考试，发明它于超分方面的能力很是强悍，以是咱们也把这个成果借鉴过来了。

这是咱们最新出的全世界领先智能图象天生编纂同一体系（DreamOmni2），它强盛到，我感觉是于开源体系里独一能跟Nano Banana对于齐的体系。各人知道，Nano Banana用了10万张卡，投资范围于50亿$以上。咱们这个体系年夜概就是2论理学生，用了500张卡，于半年以内就做出来了。

这个体系的能力之强悍，证实了这个世界上于现有的AI研究中是绝对于的智慧制胜。假如你的团队有一个智慧的人，可能一小我私家能干一百小我私家的活。它的功效很是强悍，这个体系叫DreamOmni2，它可以做告白设计、图象编纂、虚拟试衣、一键美容、转变光照、产物设计，它的许多功效甚至比Nano Banana还有强悍。

这是外部媒体对于这个事情的报导，各人都感觉很震撼。一个很难的事情，就是把图里的这盏油灯换成下面的这只狗。之前用photoshop，需要很长的时间。此刻只需要说一句话，请将第一张图里油灯换成第二张图的狗，很快就能够完成，它可以做局部替代、局部光照姿态的交融。

这也是统一个例子，“请将第一张图里的汉子替代成第二张图的女士。”，现实长短常难的，它触及到每个像素级的编纂及修改。右侧就是咱们做出来的成果，可以看到它于效果上到达了专业美工三天才能干的工作，咱们只花了年夜概10秒钟，就实现了这个功效。

再好比这张图上面小孩子哭的心情颇有意思，我只是想把这个小孩子的心情转移到上一张图里，这是一个很是抽象的动作，但它也能够完成，这长短常抽象观点的转移，年夜模子中的文本理解、图象理解、像素编纂等范畴，都具备极年夜的挑战性。这是一个很难的问题，咱们找到了措施把这个问题解决了，也发表了论文，这也是开源的体系，各人可以测验考试修改，可以测验考试去玩。

再好比这张图，我想把这个女士的发型转变一下，也是可以的，甚至连耳饰的样式都很相似，申明年夜模子对于像素级的精准理解到了极致的状况，这长短常难做的贸易化水准的事情。

它还有可以更衣服，好比你拍了张照片，你想知道这个衣服你穿戴合分歧适，此刻各人城市举行网购，试衣服是很难的，不成能网上试衣服。之前试衣服，要报酬编纂，此刻咱们可以“一键试衣”，也就一句话：把第一张图里的衣服替代成第二张图里的样子，就完成为了，是一张很是天然的图象，质量到达了很是高的田地。

还有有一些很是抽象观点的交融，好比上面这张猫的图片，你很是喜欢，可是你只想转变这张图的光芒、色采漫衍，这件工作长短常难做的，对于人而言，这都长短常抽象的观点，可是咱们这个体系，可以一键把光芒这件工作举行理解，可以或许把猫的照片，从一个妖冶的清晨搬到一个歌厅里。

再好比你喜欢这张衣服，但不喜欢它的纹路，这又长短常难做的一件工作，由于你转变的不单单是更衣服，而是不更衣服，仅转变材质，这件工作可不成以做？也是可以的。假如到达云云精准的编纂状况，你可以想象，这于全球将有没有限的可能性，不论是中国还有是美国，我想绝年夜部门的设计师都面对着掉业，由于所有的工作城市被电脑替换失。

再好比你有一辆很是好的跑车，但你感觉跑车的颜色欠好看，你直接对于它说：把第一张图里的车换成第二张图里的鼠标外不雅，假如你觉得这个效果满足，你再去4S店换你的车衣就行了。

再好比这个杯子，不转变样式，只转变成下图霓虹灯的样子，这也长短常难的工作，体系对于文字的理解已经经到了极致的状况，它可以区别出来甚么是文字，甚么是纹路，电脑的理解已经经比人更深刻了。

咱们也能够做女式的包包，之前需要设计师去设计图象的外不雅，此刻你只需要把图象输入进去，就能够把纹路换成你想要的设计。这都因此前彻底做不到的工作，无论你用甚么年夜模子，无论用开源的、闭源的，无论一个月花一万美刀还有是一万万美刀，你都是做不到的，咱们这个月才完成这个工作。

再好比，你可让一匹站着的匹马坐下，你也能够把一个雕像从玉的材质酿成年夜理石的材质。

再好比把这只狐狸从最右侧的质感，酿成最左侧水的样子，也是可以完成的（中间图效果），它可以酿成很是真实、透明的、水材质的狐狸。

当你想把这个白叟的姿式从左侧的捂脸姿式，酿成右侧的握手姿式，可不成以？也是可以做的，中间图片就是出现的效果，可以看到他的其他部门都不会发生转变。

这是咱们这个月跟千问、GPT-4o、Nano Banana做的比力，于许多评测上咱们逾越了Nano Banana，这是不可思议的工作，由于咱们只用了它的万分之一的资源，到达了这个效果。人类的将来，许多时辰不见患上要拼资源或者者拼谁有钱，有许多智慧人能力于这个历程中杀出来，用起码的资源实现最美丽的效果。

不仅云云，咱们还有可以把有两只于打拳的猫换成哈士奇于打拳。常常被许多人二创的《甄嬛传》，咱们可以对于这种视频再次举行二次创作，好比酿成呆板人给皇后捏肩。

咱们还有可以对于图象、视频的天生做6~20倍的加快。你可以想象，这可以帮全球节省几多资源。这个技能上了以后，对于在每个体系而言，可以节省95%的能源。

咱们获得了很是多的声誉及承认，获得了许多海内外媒体对于咱们的报导及承认。

于Hugging face上，咱们有很是多的援用量。这是黄仁勋其时来咱们试验室观光时拍的图片，它可以辨认出来谁是黄仁勋，下面这张图可以辨认出来哪些是人、哪些是呆板。

末了跟各人做个总结。此刻年夜模子的路径对于不合错误？这是我于这三年时间内很是深度的思索。

一方面，咱们感觉年夜模子有很是强的创造力。另外一方面，咱们感觉年夜模子会孕育发生许多幻觉。一方面，咱们感觉年夜模子长短常高智商的。可是他又会犯许多过错。于初期的时辰，他不会数数，可能会给人类天生 6 个手指头，一些很简朴的操作他会犯错，但一些很难的操作他也能够做到，这是为何？

各人知道，人是很智慧的，人是世界上最智慧的动物，但世界上比人的年夜脑神经元更多的动物是甚么？像年夜象、鲸鱼，他们脑神经中的神经元比人类要多，但它们没有比人更智慧。各人看着年夜象的脑壳那末年夜，神经元的总量必定是比人类多的。但神经元的数目其实不代表着它更智慧，由于智力是一个综合、多因素的成果，以是不仅是数目，更主要的是神经之间的毗连方式，包括年夜脑皮层的繁杂度，以和年夜脑与其他器官的共同水平等等。

此刻的年夜模子，于一起高歌大进，沿着更年夜、更强的标的目的走的时辰，咱们需要从另外一个角度思索，年夜模子做患上更年夜这件工作，只是它此中的一个因素。别的一个因素是神经元的毗连方式。包括我的团队，咱们所有学生以和所丰年轻传授做的工作，咱们思量的就是怎样改善神经元的毗连方式，让划一神经数目的年夜脑变患上更智慧。

这两个要点都很是主要，起首，Scaling Law 是基本标的目的，可是咱们研究职员，或者者说咱们的业界及学术界此刻做的工作是：思量怎样转变神经元的毗连方式，让它于划一数目上变患上更智慧，这二者咱们都于做。

以前 Transformer 或者卷积神经收集，都是于转变神经元的毗连方式。最早的计较机视觉咱们叫卷积神经收集，到厥后的 Transformer，说到底，他们并无于转变神经元的数目巨细，他们转变的是毗连方式，也就是转变每个神经元及别的一个神经元之间的毗连方式，这个转变是天崩地裂翻天覆地的，让整个年夜模子的智能晋升了年夜概1万倍。

信赖咱们将来继承摸索，还有会有比 Transformer 更好的架构，可以或许把智能再晋升 1 万倍。

将来，整小我私家工智能成长的重心是练习要领。练习要领是甚么意思？此刻年夜模子的练习是一次性的，一次性学完1万亿到10万亿参数，而它将来的进修方式应该像人同样，持续进修，像课程同样，从小学一直进修到年夜学，这才是真实的进修方式，而不是像此刻如许让它一次性学完，这是咱们于研究历程中获得验证的一个例子。

别的，今天咱们看到许多传授讲的呆板人，咱们于整个范畴里，包括投资界比力热点的呆板人、机械臂，这是将来人工智能真实的载体。此刻的人工智能是彻底没有载体的，它是一个虚拟的年夜脑，它没有勾当装配，它不克不及像人同样经由过程手臂、经由过程四肢去理解这个世界。

但将来假如插手了呆板人的节制，人工智能的成长会愈来愈像人。而此刻年夜模子及人之间真实的差距还有是相称年夜的。我认为人工智能的将来成长重心是：一个是转变练习要领，另外一个是感知载体。

我感觉AI与年夜模子必然会走向感知呆板与终身进修联合的练习模式，这也是将来咱们所有的学生、年青人以和企业界将来成长的重心。而这个成长不会那末快，于将来五到十年的历程中城市连续性发生，但它的发生必然是不成防止的，同时必然会带来巨年夜的前进。

这就是我今天带来的分享，谢谢。雷峰网雷峰网

雷峰网原创文章，未经授权禁止转载。详情见转载须知。