在面对不同行业的不同需求时★✿✿，什么参数量的大模型才是正确的选择★✿✿；当前大模型无法解决的幻觉★✿✿，不同领域又要如何应对……

　　作为一家长期致力于大模型研发的人工智能研究机构★✿✿，智源研究院如何看待这一阶段大模型的挑战★✿✿，又会如何应对这波 AIGC+ 大模型浪潮？

　　当下我们看到的更多是现象级 AI 应用凯发k8国际娱乐官网★✿✿，譬如 AIGC 文生图凯发k8国际娱乐官网★✿✿、类 ChatGPT 多任务生成模型等★✿✿，但更重要的是冰山之下的技术栈★✿✿。

　　为了完整体现林咏华的思考★✿✿，在不改变原意的基础上★✿✿，量子位对演讲内容进行了编辑整理★✿✿，希望能给你带来更多启发★✿✿。

　　中国 AIGC 产业峰会是由量子位主办的行业峰会★✿✿，近 20 位产业代表与会讨论★✿✿。线+★✿✿，线 万★✿✿，得到了包括 CCTV2★✿✿、BTV 等在内的数十家媒体的广泛报道关注★✿✿。

　　大模型不仅要追求创新性★✿✿，还要直视未来 10 年在产业落地过程中形成的新挑战★✿✿，包括参数量的选择★✿✿、训练数据等★✿✿。

　　AI 浪潮在此前数十年三起三落★✿✿，去年 大模型 +AIGC 的发力★✿✿，又激发 AI 浪潮从谷底冲至巅峰★✿✿。

　　过去几个月★✿✿，媒体对 ChatGPT 的解读已经很充分★✿✿，而底层大模型是这一切的基座★✿✿。随着 GPT-4 的发布★✿✿，ChatGPT 构建在预训练模型之上的对话式生成模型能力得到一个很大的跃进傻子苏玛丽完整版全文免费阅读★✿✿，就不在这里赘述★✿✿。

　　大模型的确出现了强大的泛化能力和涌现能力★✿✿。它能通过人类不同专业领域的考试★✿✿，例如在美国大学预修课程 AP 考试中★✿✿，GPT-4 在 15 门考试获得 9 门 A★✿✿、4 门 B★✿✿，完全达到美国大学本科生的水平★✿✿；在十多种不同领域的专业考试中已超过人类平均水平★✿✿。

　　这也导致了 大炼大模型 现象的产生★✿✿，伴随有两个重要趋势★✿✿：一是模型参数越来越大★✿✿，从 1 亿参数到万亿参数的模型已经出现★✿✿；另一个是模型正在从单模态变成多模态★✿✿。

　　第一★✿✿，参数量的选择★✿✿。到底多大的参数量可以支持我们的应用需求？是要追求千亿模型★✿✿、还是百亿模型就够？

　　第二★✿✿，海量的训练数据★✿✿。具体需要有多少训练数据才足够 喂饱 一个百亿或者千亿模型★✿✿，又有多少信息可以传递到下游任务？

　　第四★✿✿，大模型持续学习和定点纠错能力★✿✿。如何让超大规模的模型用较低成本继续学习新的知识★✿✿、吸纳新的信息？当发现模型输出有错时★✿✿，如何对基础模型做到定点纠错？

　　当下我们看到的是现象级 AI 应用★✿✿，譬如 AIGC 文生图★✿✿、类 ChatGPT 多任务生成模型等★✿✿，但更重要的是冰山之下的技术栈★✿✿。

　　一方面★✿✿，是各类重要的预训练模型★✿✿，包括语言预训练模型★✿✿、视觉通用模型★✿✿、跨模态模型等★✿✿；另一方面★✿✿，对这些模型进行预训练的方法★✿✿，包括数据集★✿✿、处理数据集的工具和大模型评测方法都至关重要★✿✿。

　　此外★✿✿，也离不开最下面的 AI 大模型系统技术傻子苏玛丽完整版全文免费阅读★✿✿，包括对训练框架做并行优化★✿✿、做平台调度优化★✿✿、甚至用不同架构的 AI 加速芯片支持大模型训练和推理★✿✿，都需要投入★✿✿。

　　我们打造并开源了包括语言★✿✿、视觉★✿✿、图文跨模态★✿✿、文生图在内的多个预训练大模型★✿✿，开放了中文等多个语言的上百个数据集及数据工具★✿✿，并联合多个研究队伍★✿✿、多家厂商一起★✿✿，共同打造了 AI 基础大模型的评测系统★✿✿。

　　为了对 AI 大模型进行系统深入的研究★✿✿，我们自建了九鼎 AI 大模型智算平台★✿✿，包括英伟达和多种国产 AI 芯片集群★✿✿，以针对大模型训练进行多任务优化★✿✿。

　　过去 10 年★✿✿，AI 快速发展★✿✿，开源开放的作用不容忽视★✿✿，我们也不断站在前人的肩膀上继续前行★✿✿。

　　作为中立★✿✿、非营利研发机构★✿✿，智源一直在大模型技术发展中保持开源开放的态度★✿✿，围绕大模型从底向上技术体系★✿✿，把所有重要技术都通过开源与产业共享★✿✿。

　　FlagOpen 正是我们和多家企业★✿✿、高校共同倾力打造的大模型开源技术体系★✿✿，可以类比为大模型领域的 Linux★✿✿。

　　其中★✿✿，最核心的是 FlagAI 大模型算法★✿✿、模型及工具一站式开源项目★✿✿，包括智源自有的 悟道 系列大模型★✿✿、以及各种全球流行的大模型新算法★✿✿。

　　我们通过代码整合和结构优化★✿✿，为不同的大模型算法搭建统一的 pipeline★✿✿，并与众多主流的并行训练优化技术进行整合★✿✿，以提升大模型算法的可用性★✿✿、降低大模型开发者的门槛★✿✿。

　　大模型预训练中的数据很重要★✿✿，因此我们也开源了一整套 FlagData 数据工具开源项目★✿✿。FlagData 中的数据清洗★✿✿、过滤★✿✿、压缩还有分析等能力★✿✿，可以帮助开发者高效搭建流程★✿✿，促进产业发展★✿✿。

　　此外★✿✿，FlagEval 是面向基础大模型的评测开源项目傻子苏玛丽完整版全文免费阅读★✿✿，而 FlagPerf 则是针对各种 AI 芯片的评测开源项目★✿✿，当前我们也正联合多个厂商一起★✿✿，共同进行 AI 系统尤其是大模型的开源评测★✿✿。

　　在构建大模型开源技术体系的过程中★✿✿，智源致力于携手多个厂商团队★✿✿，打造支持不同深度学习框架和异构芯片的软件体系★✿✿。

　　随着 GPT-4 发布★✿✿，多模态已经成为大模型的下一个制高点凯发k8国际娱乐官网★✿✿，而多模态模型十分依赖文图跨模态预训练基础模型的性能★✿✿。

　　一直以来★✿✿，多语言文图基础模型的发展受制于训练数据★✿✿，即多语言文图训练数据量太少★✿✿。例如★✿✿，在最流行的 LAION-5B 文图数据集中★✿✿，英文的文图对数据达到 95% 以上★✿✿，而中文等语言数据太少了凯发k8国际娱乐官网★✿✿。

　　智源的 AltCLIP 多语言文图表征模型★✿✿，就针对多语言做了一系列算法创新★✿✿，使得只用很少的数据就能构建出多语言的文图预训练大模型★✿✿，并在所有语言上的性能达到 SOTA★✿✿。

　　目前★✿✿，AltCLIP-m9 已经支持包括英文★✿✿、中文在内的九种语言★✿✿，近期还将发布更多语言的版本★✿✿，希望帮助更多国家用本土语言实现文图方面的跨模态应用★✿✿。

　　去年★✿✿，我们基于自研的 AItCLIP-m9★✿✿，开源了全球第一个多语言文图生成大模型 AItDiffusion-m9★✿✿。

　　用不同的语言来描述★✿✿，它生成的图会有些不同★✿✿，例如用俄语输入一个女孩的描述★✿✿，大家可以看到女孩的头像是俄罗斯风格的★✿✿，而用阿拉伯语描述一篮水果★✿✿，生成的花篮就是阿拉伯风格的★✿✿。

　　普通视觉模型★✿✿，一般只能做到几十种物体的高质量识别和分割★✿✿，但在开放领域如在我们的生活世界里★✿✿，肯定不止几十种物体★✿✿，而这也是自动驾驶等领域需要考虑的问题★✿✿。

　　EVA 通用视觉编码模型★✿✿，能够在超过 1000 个不同类别的长尾实例分割数据集 LVIS 上★✿✿，大幅突破现有业界最优的性能傻子苏玛丽完整版全文免费阅读★✿✿。

　　另一项重要工作★✿✿，是我们在今年开源的通用视觉解码器 Painter★✿✿。Painter 有两大突破★✿✿：

　　一方面★✿✿，它真正意义上实现了一个统一多种下游视觉任务的视觉模型★✿✿，包括分类★✿✿、目标识别★✿✿、分割★✿✿、关键点检测等★✿✿，在实现复杂视觉任务上方便了不少★✿✿；

　　另一方面★✿✿，它首创了在视觉领域的 In-context learning★✿✿，打破了当前依赖文本语言进行提示学习的单一性★✿✿，未来将有可能为我们带来更多 AI 的可能性★✿✿。

　　在未来人工智能大模型时代★✿✿，大多数企业不会自己从头训练一个模型★✿✿，而会选用别人的模型★✿✿，因此评测一定会成为推动大模型发展的关键★✿✿。

　　但在高难度的视觉 - 语言组合理解任务上★✿✿，目前业界最好的这批跨模态语言模型也只能拿到 10 分上下的水平★✿✿，距离人类的 80 分★✿✿、90 分相差很远★✿✿。

　　因此★✿✿，智源在 FlagEval 大模型评测开源项目中★✿✿，发布了当前最为完整的文图多模态大模型评测项目★✿✿，涵盖 12 种语言 7 大任务凯发k8国际娱乐官网★✿✿，包括刚才的低★✿✿、中★✿✿、高三种难度★✿✿。

　　从过去的传统 AI 模型评测集★✿✿，到 2022 年斯坦福提出的 HELM（一个以理解能力评测为主的★✿✿、针对语言大模型的整体系统化评测集）★✿✿，再到语言生成能力★✿✿、认知能力★✿✿、乃至人类思维能力等模型智能水平评测★✿✿，如果持续推进下去凯发k8国际娱乐官网★✿✿，整个评测系统一定会发生翻天覆地的变化凯发k8国际娱乐官网★✿✿。

　　今年傻子苏玛丽完整版全文免费阅读★✿✿，智源牵头和 30 多家企业★✿✿、高校共同打造大模型技术基座★✿✿，并做面向大模型的支撑平台和评测技术★✿✿。这里包括数据集及数据平台★✿✿、基础大模型技术评估体系及评测系统★✿✿，还有开源开放的算法系统★✿✿。

　　我们希望能尽快开放一套适合大模型评测的平台★✿✿，并邀请更多团队来参与评测★✿✿、或是参与评测系统的构建★✿✿。

　　智源作为人工智能领域的新型研发机构★✿✿，自 2020 年确定大模型研究战略方向以来★✿✿，不仅深耕大模型研究★✿✿，在过去两年推出全球领先的悟道大模型系列★✿✿，而且也更加关注技术栈的开源开放★✿✿，目标是协同更多开发者★✿✿、企业和高校★✿✿，一起打造适合国内甚至全球的大模型技术基座★✿✿。

　　目前★✿✿，智源已经聚集了一批全球技术领先的大模型研究团队★✿✿，希望更多人工智能领域的有志之士加入我们★✿✿，从底层的技术栈到先进的大模型傻子苏玛丽完整版全文免费阅读★✿✿，我们共同创造卓越★✿✿。

　　同时★✿✿，智源也坚持开放创新★✿✿，希望通过跟整个产业的开源共创★✿✿，共同打造大模型的全栈技术★✿✿，谢谢大家★✿✿！凯发k8娱乐人工智能★✿✿，凯发k8一触即发★✿✿！能源产业★✿✿，k8凯发★✿✿。