无线高清手术摄像系统
亚洲城官方登录入口
【新智元导读】为训练AI模型，纽约州立大学的一名教授Brenden Lake，竟让自己不到2岁女儿头戴相机收集数据！要知道，Meta训Llama 3直接用了15万亿个token，如果Lake真能让AI模型学习人类幼崽，从有限的输入中学习，那LLM的全球数据荒岂不是解决了？
绝了，为了训练AI模型，一位纽约州立大学的教授，竟然把类似GoPro的相机绑在了自己女儿头上！
肯定不是！科学家们发现，蹒跚学步的人类儿童，大脑就像海绵吸水一样，能迅速形成一个连贯的世界观。
咱们都知道这样的故事：把一个幼年的孩子扔进一个语言文化完全不同的国家，不出几个月，ta对于当地语言的掌握可能就接近了母语水平。
如今训模型的各大公司，快把全世界的数据给薅空了。因为LLM的学习，需要的是从网络和各个地方挖掘的天文数字级的文本。
虽然目前语言学家和儿童专家对于儿童究竟如何习得语言，并未达成一致，但Lake十分确信：使LLM更有效率的秘诀，就藏在儿童的学习模式里！
因此，Lake开展了这样一项研究项目：研究儿童在学习第一句话时所经历的刺激，以此提高训练LLM的效率。
这就有了文章开头的一幕——他们把类似GoPro的相机绑在了这些孩子的头上，包括Lake的女儿Luna。
Lake解释道，他们的模型试图从孩子的角度，将视频片段和孩子的照顾者所说的话联系起来，方式类似于OpenAI的Clip模型将标注和图像联系起来。
另外，Lake团队的模型还可以根据GoPro镜头的训练数据和照顾者的音频，将场景的图像作为输入，然后输出语言来描述这个场景。
乍一听，是不是还挺简单的？就是让模型像人类儿童一样，学会将口语和在视频帧中所观察到的物体相匹配。
甚至还有更抽象的情况，比如我们给孩子牛奶，但牛奶是装在不透明的杯子里，这就会导致关联非常松散。
因而，Lake解释说：这个实验并不是想证明，我们是否可以训练模型将图像中的对象与相应的单词相匹配（OpenAI已经证明了这一点）。
相反，团队想要做的是，希望知道模型是否可以只用儿童可用的稀疏数据级（稀疏到难以置信的程度），就能真的学习识别物体。
如果Lake团队的实验成功，或许全世界共同面临的LLM数据荒，就有解了——因为那时，训练LLM根本就不需要那么多的数据！
我认为我们的关注点，不该局限在从越来越多的数据中训练越来越大的LLM。是的，你可以通过这种方式让LLM具有惊人的性能，但它已经离我们所知道的人类智能奇妙之处越来越远……
研究发现，模型能够将被试说出的各种单词和短语，与视频帧中捕获的体验联系起来——只要呈现要给单词或短语，模型就能回忆起相关图像。这篇论文已经发表于Science。
毕竟，它只有60小时左右的带标注的演讲，这仅仅是一个儿童在两年内所习得经验的百分之一。而团队还需要更多的数据，才能搞清什么是可学习的。
仅分析与照顾者话语相关的视频片段，仅仅是镜头以每秒5帧的速度转化为图像，只凭这些，AI并没有真正学会什么是动词，什么是抽象词，它获得的仅仅是关于世界样子的静态切片。
因为它对之前发生了什么、之后发生了什么、谈话背景都一无所知，所以很难学习什么是「走」「跑」「跳」。
如果我们能够建立一个真正开始习得语言的模型，它就会为理解人类的学习和发展开辟重要的应用程序，或许能帮我们理解发育障碍，或儿童学习语言的情况。
人类儿童如何褪去对这个世界的懵懂无知，习得知识？这个「黑箱」的奥秘，不仅吸引着教育学家们的不断求索，也是困于我们每个人心底关于个体智慧来处的追问。
韩国科幻作家金草叶在《共生假说》中写下这样的设想：人类儿童在幼年时期所展示出的智慧其实承载着一个失落的外星文明，他们选择用这样的方式和人类共生，可是时间只有短短的五年，在人类长大拥有真正牢固的记忆之后，便把幼年时期这段瑰丽的记忆抹去了
关于谜一样的幼年时期，那是我们很难说清也难以回返的神秘之地，是一种「乡愁」。就像金草叶写下的」不要离开。不要带走那个美丽的世界。在我长大之后，也请留在我身边。
为此，Lake的团队给一个儿童戴上了头戴式摄像机，追踪了ta从6到25个月期间的成长过程，记录了一个61小时的视觉语言数据流。
在这个儿童1.5年的剪辑数据集（包括60万个视频帧和37500条转录话语配对）上，研究者训练出了一个模型，即儿童视角对比学习模型CVCL。
这个模型协调了两个神经网络、视觉编码器和语言编码器的对比目标，以自监督的方式进行训练（即仅使用儿童视角的录音，不使用外部标签），对比目标将视频帧的嵌入（向量）和时间上同时出现的语言话语结合在一起（处理同时出现的视频帧和语言话语的嵌入）
当然，这个名为SAYCam-S的数据集是有限的，因为它只捕获了孩子大约1%的清醒时间，错过了很多他们的经历。
团队成功地证明了，模型获取了儿童日常经历中存在许多的指涉映射，因而能够零样本地概括新的视觉指涉，并且调整其中的视觉和语言概念系统。
而且图2D显示，对于其中22个概念中的11个概念，CVCL的性能和CLIP的误差在5%以内，但CLIP的训练数据，却要多出几个数量级（4亿个来自网络的图像-文本对）。
研究结果显示，许多最早的单词所指映射，可以从至少10到100个自然出现的单词-所指对中获得。
左边是两个随机选择的训练案例，右边是四个测试案例，下面的百分比代表模型识别此张图像的准确度和性能，选取案例从左到右分别是两个最高值、中值和最低值。可以看出，当测试案例和训练案例在色彩、形状方面相似度更高时，模型识别的准确度也更高
例如，如果相比于「球」， 「汽车」的视觉嵌入和词嵌入都与「路」更相似，这就表明多模态对齐的效果很好。
不同的视觉概念在其例子的紧密聚集程度上有所不同。因为婴儿的视线会在距离很近的物体之间游移，就导致模型在区分「手」和「玩具」时没有形成清晰的参照映射，「汽车」和「婴儿床」就有比较好的表现
左边的蓝色点对应属于一个特定类别的100个帧，右边的绿色点对应于100个最高的激活帧（基于与CVCL中每个概念嵌入的单词的余弦相似性）。在每个图下面，是每个概念中属于一个或多个子簇的多个示例帧，捕捉了单词嵌入如何与联合嵌入空间中的图像嵌入交互。例如，对于「楼梯」这个词，我们看到一个簇代表室内木制楼梯的图像，而另一个主要簇代表室外蓝色楼梯组的图像。这些图中所有的t-SNE图都来自于同一组联合图像和文本嵌入
在归一化注意力图中，表示注意力最高的区域。在前两个类别（球和车）中，我们可以看到模型可以在不同视图中定位目标所指。但是，在下面两个类别（猫和纸）中，注意力图有时会与所指物错位，这表明定位所指物的能力并不是在所有类别中都一致的
