Artwork

内容由OnBoard!提供。所有播客内容(包括剧集、图形和播客描述)均由 OnBoard! 或其播客平台合作伙伴直接上传和提供。如果您认为有人在未经您许可的情况下使用您的受版权保护的作品,您可以按照此处概述的流程进行操作https://zh.player.fm/legal
Player FM -播客应用
使用Player FM应用程序离线!

EP 37. 对话Deepmind, 英伟达大语言模型专家(下):多模态大模型解读,亲历OpenAI,AI的挑战与未来

1:06:01
 
分享
 

Manage episode 374555669 series 3373195
内容由OnBoard!提供。所有播客内容(包括剧集、图形和播客描述)均由 OnBoard! 或其播客平台合作伙伴直接上传和提供。如果您认为有人在未经您许可的情况下使用您的受版权保护的作品,您可以按照此处概述的流程进行操作https://zh.player.fm/legal

近3小时的硅谷AI重磅嘉宾现场对谈,下集光速奉上!如果你还没有听过上一期,赶紧去补课!

Hello World, who is OnBoard!?

简单介绍一下这次Monica 期待已久的嘉宾组合! 两位都在OpenAI工作过的技术大牛,包括Nvidia资深研究员 Jim Fan, 除了对生成式agents 和机器人的具身智能有深度研究外,他的Twitter 连 Jeff bezos 都关注,是AI领域全球范围内的顶级大V。另一位嘉宾戴涵俊,Google Deepmind 的资深研究员,也是 Google 新一代大语言模型的深度参与者。最后,兼任主持和嘉宾的硅谷上市公司华人高管,硅谷徐老师, 每次来 Onboard! 串台都大受好评。

这是三个小时播客的第二部分。上一期的内容,我们深度讨论了最近AI领域最火的话题,Generative Agents, 生成式代理。这一期更是精彩纷呈,包含了AI领域更多核心话题,包括多模态大模型的研究进展,具备具身智能 embodied AI 的机器人如何打造,AI对saas的影响,我们对未来AI的商业和社会畅想等等。真的是非常尽兴的讨论,你也可以拿起笔记本做笔记了。

几位嘉宾都是长期在美国工作生活,夹杂英文在所难免,不接受抱怨。Enjoy!

嘉宾介绍

  • Jim Fan(推特:@DrJimFan),Nvidia 高级 AI 研究科学家,曾在OpenAI工作,Stanford PhD 李飞飞实验室
  • 戴涵俊(推特:@hanjundai),Google Deepmind 资深研究员,深度参与 Google 大语言模型项目,曾在OpenAI工作,Georgia Tech PhD
  • 硅谷徐老师(推特:@h0wie_xu),硅谷连续创业者、人工智能高管、斯坦福商学院客座讲师,「科技早知道」主播 |微信公众号:硅谷云| AI博客:howiexu.substack.com
  • 主持:Monica(推特:@Monica_XieY):美元VC投资人,前 AWS 硅谷团队+AI创业公司打工人,公众号:M小姐研习录 (ID: MissMStudy) 主理人 | 即刻:莫妮卡同学

我们都聊了什么

01:55 为什么 Jim 觉得 Llama 2 作为语言模型,对于多模态模型和机器人有重大推动

05:24 Hanjun 解读多模态大模型的两种实现方式

07:47 多模态大模型只是解锁了新的场景,还是能更大提升大模型本身的智能?如何理解大模型的智能?

12:34 为什么说机器人的多模态问题更有挑战?

16:35 处理多模态训练数据有哪些难点?

18:12 大模型训练还需要哪些工具?Infra/tooling 有哪些机会?

19:51 亲历OpenAI 的经历回顾和感受:2016-2020,OpenAI 都发生了什么

25:11 OpenAI 近年的发展,哪个时刻震撼了你?

34:20 为什么说 Evaluation 是大语言模型最被低估的挑战之一?

39:54 未来1年和未来10年,你最期待人工智能领域带来什么?

46:17 我们自己和下一代应该如何为未来做准备?

59:33 有趣的 closing 和未来展望:被 Jeff Bezos 关注是什么感觉?!

我们提到的内容

重点词汇

  • RLHF (Reinforcement Learning with Human Feedback): 人类反馈的强化学习 - 一种AI模型通过人类反馈与传统的强化学习结合来学习的方法。
  • Fine tuning: 微调 - 在特定的数据集上进一步训练预训练的机器学习模型,使其适应特定任务的过程。
  • Hallucination: 幻觉 - 在AI中,指的是模型生成不在输入中的信息,可能导致输出不准确。
  • Multi-modal model: 多模态模型 - 能够理解和处理多种类型数据(如文本、图像和声音)的模型。
  • Auto regressive model: 自回归模型 - 一种统计模型,它使用一个变量的过去值来预测其未来值。
  • Diffusion model: 扩散模型 - 用于描述信息、疾病或创新等东西如何在群体中传播的模型。
  • Tokenize: 分词 - 将文本分解成更小的部分(如单词或子词)的过程,通常在文本处理或自然语言处理中使用。
  • Intuitive physics: 直观物理 - 人类对物理现象的直观理解,例如物体如何移动或互相碰撞。
  • Embodied AI: 具体化的人工智能 - 通过物理或虚拟的身体与环境互动的AI系统,例如机器人或虚拟代理。
  • CVPR (Computer Vision and Pattern Recognition): 计算机视觉和模式识别 - 专门研究计算机如何“看”并从图像或视频中理解内容的领域。
  • Walkaround: 绕行 - 解决问题或障碍的方法

欢迎关注M小姐的微信公众号,了解更多中美软件、AI与创业投资的干货内容!

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励!

如果你能在小宇宙上点个赞,Apple Podcasts 上给个五星好评,就能让更多的朋友看到我们努力制作的内容,打赏请我们喝杯咖啡,就给你比心!

有任何心得和建议,也欢迎在评论区跟我们互动~

  continue reading

15集单集

Artwork
icon分享
 
Manage episode 374555669 series 3373195
内容由OnBoard!提供。所有播客内容(包括剧集、图形和播客描述)均由 OnBoard! 或其播客平台合作伙伴直接上传和提供。如果您认为有人在未经您许可的情况下使用您的受版权保护的作品,您可以按照此处概述的流程进行操作https://zh.player.fm/legal

近3小时的硅谷AI重磅嘉宾现场对谈,下集光速奉上!如果你还没有听过上一期,赶紧去补课!

Hello World, who is OnBoard!?

简单介绍一下这次Monica 期待已久的嘉宾组合! 两位都在OpenAI工作过的技术大牛,包括Nvidia资深研究员 Jim Fan, 除了对生成式agents 和机器人的具身智能有深度研究外,他的Twitter 连 Jeff bezos 都关注,是AI领域全球范围内的顶级大V。另一位嘉宾戴涵俊,Google Deepmind 的资深研究员,也是 Google 新一代大语言模型的深度参与者。最后,兼任主持和嘉宾的硅谷上市公司华人高管,硅谷徐老师, 每次来 Onboard! 串台都大受好评。

这是三个小时播客的第二部分。上一期的内容,我们深度讨论了最近AI领域最火的话题,Generative Agents, 生成式代理。这一期更是精彩纷呈,包含了AI领域更多核心话题,包括多模态大模型的研究进展,具备具身智能 embodied AI 的机器人如何打造,AI对saas的影响,我们对未来AI的商业和社会畅想等等。真的是非常尽兴的讨论,你也可以拿起笔记本做笔记了。

几位嘉宾都是长期在美国工作生活,夹杂英文在所难免,不接受抱怨。Enjoy!

嘉宾介绍

  • Jim Fan(推特:@DrJimFan),Nvidia 高级 AI 研究科学家,曾在OpenAI工作,Stanford PhD 李飞飞实验室
  • 戴涵俊(推特:@hanjundai),Google Deepmind 资深研究员,深度参与 Google 大语言模型项目,曾在OpenAI工作,Georgia Tech PhD
  • 硅谷徐老师(推特:@h0wie_xu),硅谷连续创业者、人工智能高管、斯坦福商学院客座讲师,「科技早知道」主播 |微信公众号:硅谷云| AI博客:howiexu.substack.com
  • 主持:Monica(推特:@Monica_XieY):美元VC投资人,前 AWS 硅谷团队+AI创业公司打工人,公众号:M小姐研习录 (ID: MissMStudy) 主理人 | 即刻:莫妮卡同学

我们都聊了什么

01:55 为什么 Jim 觉得 Llama 2 作为语言模型,对于多模态模型和机器人有重大推动

05:24 Hanjun 解读多模态大模型的两种实现方式

07:47 多模态大模型只是解锁了新的场景,还是能更大提升大模型本身的智能?如何理解大模型的智能?

12:34 为什么说机器人的多模态问题更有挑战?

16:35 处理多模态训练数据有哪些难点?

18:12 大模型训练还需要哪些工具?Infra/tooling 有哪些机会?

19:51 亲历OpenAI 的经历回顾和感受:2016-2020,OpenAI 都发生了什么

25:11 OpenAI 近年的发展,哪个时刻震撼了你?

34:20 为什么说 Evaluation 是大语言模型最被低估的挑战之一?

39:54 未来1年和未来10年,你最期待人工智能领域带来什么?

46:17 我们自己和下一代应该如何为未来做准备?

59:33 有趣的 closing 和未来展望:被 Jeff Bezos 关注是什么感觉?!

我们提到的内容

重点词汇

  • RLHF (Reinforcement Learning with Human Feedback): 人类反馈的强化学习 - 一种AI模型通过人类反馈与传统的强化学习结合来学习的方法。
  • Fine tuning: 微调 - 在特定的数据集上进一步训练预训练的机器学习模型,使其适应特定任务的过程。
  • Hallucination: 幻觉 - 在AI中,指的是模型生成不在输入中的信息,可能导致输出不准确。
  • Multi-modal model: 多模态模型 - 能够理解和处理多种类型数据(如文本、图像和声音)的模型。
  • Auto regressive model: 自回归模型 - 一种统计模型,它使用一个变量的过去值来预测其未来值。
  • Diffusion model: 扩散模型 - 用于描述信息、疾病或创新等东西如何在群体中传播的模型。
  • Tokenize: 分词 - 将文本分解成更小的部分(如单词或子词)的过程,通常在文本处理或自然语言处理中使用。
  • Intuitive physics: 直观物理 - 人类对物理现象的直观理解,例如物体如何移动或互相碰撞。
  • Embodied AI: 具体化的人工智能 - 通过物理或虚拟的身体与环境互动的AI系统,例如机器人或虚拟代理。
  • CVPR (Computer Vision and Pattern Recognition): 计算机视觉和模式识别 - 专门研究计算机如何“看”并从图像或视频中理解内容的领域。
  • Walkaround: 绕行 - 解决问题或障碍的方法

欢迎关注M小姐的微信公众号,了解更多中美软件、AI与创业投资的干货内容!

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励!

如果你能在小宇宙上点个赞,Apple Podcasts 上给个五星好评,就能让更多的朋友看到我们努力制作的内容,打赏请我们喝杯咖啡,就给你比心!

有任何心得和建议,也欢迎在评论区跟我们互动~

  continue reading

15集单集

所有剧集

×
 
Loading …

欢迎使用Player FM

Player FM正在网上搜索高质量的播客,以便您现在享受。它是最好的播客应用程序,适用于安卓、iPhone和网络。注册以跨设备同步订阅。

 

快速参考指南