替换
查找内容:
替换为:
全部替换
插入链接
链接网址:
链接显示标题:
请选择网址类型
点我插入链接
插入文件
文件名称:
文件显示标题:
请选择文件类型
点我插入文件
发现错误 发表观点

原文内容

反馈意见

提交 正在提交..... 反馈历史

复制下面的地址分享给好友

确定 正在提交.....
train

你好,

关闭
提交 重做 重新开始 关闭
跳转
  • 新建同级
  • 新建子级
  • 删除
  • 重命名
选择收藏夹
新建收藏夹
公开

取消 确定

1. 基本信息
姓名:
企业:
职位:
联系方式:
邮箱:
2. 请在此填写您的问题,我们将优先安排答疑
提交

报名成功!
课程观看链接如下:
请添加课程助理微信,获得更多信息:
确认
确定
取消 确认

识林

  • 知识
  • 视频
  • 社区
  • 政策法规
    • 国内药监
    • FDA
    • EU
    • PIC/S
    • WHO
    • ICH
    • MHRA
    • PMDA
    • TGA
  • 研发注册
    • 概览
    • 监管动态
    • 研究专题
  • 生产质量
    • 概览
    • 监管动态
    • 各国GMP
    • 中国GMP
    • 中国GMP指南
    • GMP对比
    • 检查缺陷
    • 研究专题
  • 主题词库
  • 帮助中心
  • 关于识林
    • 识林介绍
    • 识林FAQs
    • 功能介绍
    • 团队诊断
    • 联系我们
  • 30天免登录

    忘记密码?

【周末杂谈】数据 → 信息→知识→智慧

首页 > 资讯 > 【周末杂谈】数据 → 信息→知识→智慧

页面比对

出自识林

【周末杂谈】数据 → 信息→知识→智慧
页面比对
笔记

2025-03-09

跳转到: 导航, 搜索

从数据“蒸馏”到智慧的这条路,会越走越窄?

关于真实数据(real data)与合成数据(synthetic data)的讨论,是说用来训练大模型的真实世界数据,能用的已经用的差不多了。以后,大模型的训练会越来越依靠自己产生的数据,即所谓合成数据。随着芯片速度的不断提升,大模型产生数据的速度,会越来越高。合成数据的量会越来越大。但与真实数据不同,合成数据的质量偏低,难有原创性。

这可以理解。设想如果真实数据是由一组二维空间(平面)的向量所组成。那么这些向量的所有线性叠加,都是平面上的向量,不会有任何垂直于平面的分量,也就是不会产生三维向量。无论这组中有多少向量,即无论数据量多大,都不会产生立体向量。若视从平面到立体的跨越为“原始创新”的话,则对这个例子而言,大数据中的“大”,没意义。当然,这是个极端例子。

这让笔者想起常见的“数据-信息-知识-智慧”金字塔。新数据未必产生新信息,新信息未必生成新知识,新知识未必升华到新智慧(如下图左上角的灰色三角形所示)。如果说做AI的目的,是获得智能(智慧)的话,那从数据到智慧的这条路,会是越走越窄的,因为要从很大量的数据中,才能“蒸馏”出智慧来。

最近看到来自美国纽约的Alphacution Research Conservatory公司画的“数据-信息-知识-智慧”金字塔(如下主图所示)显示从数据到智慧的这条路,不仅是越走越窄,而且收窄的越来越快。如果说三角形的金字塔,显示的是从真实数据到智慧的“蒸馏”,中间那个顶部细尖的弯曲三角形也许更形象地显示了未来从真实数据和合成数据的混集中“蒸馏”出智慧的路会变得越发难走。这是因为,合成数据产生的速度会越来越高于真实数据产生的速度。也就是大模型的训练集中,会有越来越大的比例来自合成数据。这预示着大模型的功效会逐渐进入收益递减的成熟期。

问题是:这个成熟期距今有多远?

作者:榆木疙瘩

识林®版权所有,未经许可不得转载

取自“https://login.shilinx.com/wiki/index.php?title=%E3%80%90%E5%91%A8%E6%9C%AB%E6%9D%82%E8%B0%88%E3%80%91%E6%95%B0%E6%8D%AE_%E2%86%92_%E4%BF%A1%E6%81%AF%E2%86%92%E7%9F%A5%E8%AF%86%E2%86%92%E6%99%BA%E6%85%A7”
上一页: 世界罕见病日,FDA_动荡中,业界呼吁合理改革
下一页: 【识林新文章】IND_代谢研究,临床迎检,ICH_稳定性新动向,EMA_注册申报梳理,环境监测回顾操作手册,中印检查缺陷分析等
相关内容
热点新闻
  • ICH 发布新 Q1 稳定性指南...
  • 【直播】25年4月全球法规月报...
  • 【识林新文章】中国无菌附录对...
  • 【识林新工具】AI知识助手,AI...
  • VHP(过氧化氢蒸汽)的“脆弱...

 反馈意见

Copyright ©2011-2025 shilinx.com All Rights Reserved.
识林网站版权所有 京ICP备12018650号-2 (京)网药械信息备字(2022)第00078号
请登录APP查看
打开APP