OpenAI直播发布第12天好消息o3来了坏消息还不能用
大家好,我是木易,一个持续关注AI领域的互联网技术产品经理,国内Top2本科,美国Top10 CS研究生,MBA。我坚信AI是普通人变强的“ 外挂 ”,所以创建了“AI信息Gap”这个公众号,专注于分享AI全维度知识,包括但不限于 AI科普 , AI工具测评 , AI效率提升 , AI行业洞察 。关注我,AI之路不迷路,2024我们一起变强。
今天是OpenAI连续12天直播发布会的 第12天 。关于OpenAI本次的宣传“噱头”详情,可以看我这篇文章: 活动预告:明天起OpenAI将开启连续12天的直播发布!
本系列将在每个工作日持续更新,为小伙伴们带来第一手的更新解读,敬请关注。
一图看懂今天的发布

接下来正文开始。
Day 12 发布内容
今天是OpenAI直播的第12天,也是最后一天。
不出意外的还是出了意外,OpenAI今天的发布依旧是在“画饼”,但是个“好饼”。
OpenAI今天发布了2个新模型: o3 和 o3-mini 。从这两个名字也能看出来,这是 o1 系列的后继模型,也就是 o1 的升级版本,本质上是一个 推理模型 。

为什么说这是个“好饼”?
因为 o3 太强了,性能怪兽,拥有超过人类的智商(推理能力)。来看一下 o3 的战绩。在 SWE-bench Verified 基准测试上, o3 准确率高达71.7%,比 o1 提升超过20%。在 Codeforces 竞赛编程平台上, o3 的 ELO 评分接近2727,超过了绝大多数人类程序员,包括 OpenAI 自己的首席科学家Yakov,仅次于少数顶尖选手( ELO 3000以上)。在 美国数学奥林匹克选拔考试(AMIE) 中, o3 取得了96.7%的惊人准确率。在 GPQA Diamond 这个博士级难度的科学问答基准测试中, o3 获得了87.7%的准确率,远超 o1 (78%),甚至超过了人类博士专家在其专业领域的平均水平(约70%)。
为什么说这是在“画饼”?
因为现在不能用,属于是发布了,但又没完全发布。目前的 o3 还处于安全测试阶段。据OpenAI CEO Sam Altman的表示, o3-mini 计划于2025年1月底正式推出, o3 则在更后面。目前,OpenAI已经开放了 安全测试的申请通道 ,从今天起到2025年1月10日,研究人员和开发者可以申请参与早期测试,以帮助改进模型的安全性和可靠性。
题外话。
其实昨晚Sam Altman就在为 o3 的发布造势了,先是发布了一条内容是“ho ho ho”的帖子,几十分钟后又改为了“oh oh oh”(3个o),表示这是明天发布内容的线索。


跳过 o2
这次直播发布活动的第一天才发布的满血版 o1 ,今天最后一天直接跳到 o3 了?

今天的直播中提到,为了尊重合作伙伴“Telica”,避免名称冲突,OpenAI放弃了“o2”的命名。所以,跨了一步直接到 o3 。
o3 基准测试表现
准确率达到了71.7%的 SWE-bench Verified ,主要测试真实软件任务,作为对比, o1 仅有48.9%。
Codeforces ELO,竞赛编程测试, o3 得分2727,作为对比, o1 是1891。本场直播的主持人Mark得分2500分左右。

在美国数学奥赛(AIME 2024)的测试中, o3 取得了高达96.7%的准确率。博士级别的GPQA Diamond测试,则取得了87.7%的准确率。

接下来这个更是重磅。前沿数学基准测试(Frontier Math Benchmark):由Epic AI开发,被认为是当前最困难的数学基准测试,包含未发表且非常难的数学问题。目前所有模型的准确率都低于2%,而 o3 在高测试时间(高算力)设置下,准确率超过了 25 %。

o3 mini 基准测试表现
所谓的 o3-mini 可以参考 o1-mini ,就是小版本的 o3 ,主打性能和成本的平衡,俗称:又便宜又好用。
o3-mini 支持低、中、高三种不同的推理计算选项,可以根据不同的使用场景,灵活调整模型的思考时间。可以看到,在Codeforces ELO测试中,中等思考时间下的 o3-mini 表现就已经超过了满血版本的 o1 。

在AMIE 2024数据集上, o3-mini (low) 的表现与 o1-mini 相当,而和前面的测试一样, o3-mini (medium) 的表现已经开始优于满血版 o1 。
响应速度(延迟)就更不用说, o3-mini 的延迟显著低于 o1-mini ,其中 o3-mini (low) 的延迟甚至可以与 GPT-4o 媲美,低于1秒,实现了近乎实时的响应。

o3 安全测试申请
目前的 o3 还处于早期安全测试阶段,并且该测试面向公众开放申请。需要注意的是,申请截止日期是2025年1月10日。
申请地址 :https://openai.com/index/early-access-for-safety-testing/
Day 12 完整版直播视频
OpenAI 12天直播发布回顾
OpenAI于12月5日开启“12天发布季”,本系列将在每个工作日持续更新,为小伙伴们带来第一手的更新解读,敬请关注。
日期
发布关键词
详细解读文章
🌟 Day 1
满血版 o1 · ChatGPT Pro 新套餐
📖 满血版o1,200美元/月的ChatGPT Pro新套餐!
✨ Day 2
强化学习微调 (RFT)
📖 o1+强化学习微调=定制化推理模型!
🎥 Day 3
文生视频模型 Sora
📖 Sora文生视频模型真的来了?!
🖌️ Day 4
ChatGPT Canvas
📖 ChatGPT Canvas全面升级,免费开放!
🍎 Day 5
Apple Intelligence
📖 ChatGPT+Siri=新Apple Intelligence!
🎄 Day 6
视频聊天 · 屏幕共享 · 圣诞模式
📖 ChatGPT视频聊天、屏幕共享和圣诞语音包!
🚀 Day 7
ChatGPT Projects
📖 ChatGPT推出Projects,本周最强功能!
🔍 Day 8
ChatGPT Search
📖 ChatGPT Search全面升级,免费开放!
💡 Day 9
o1 API · Realtime API · 偏好微调
📖 o1 API正式发布,实时API升级,偏好微调PFT!
📞 Day 10
电话直拨ChatGPT · WhatsApp支持
📖 电话直拨ChatGPT,最鸡肋的功能,来了!
💻 Day 11
版权声明:
作者:小火箭shadowrocket
链接:https://www.shadowrocket888.vip/391.html
来源:小火箭官网
文章版权归作者所有,未经允许请勿转载。


共有 0 条评论