Transformer

【新智元导读】来自UC伯克利，港大等机构的研究人员，开创性地提出了一种「白盒」Transformer结构——CRATE。他们通过将数据从高维度分布压缩到低维结构分布，实现有效的表征，从而进一步实现了有竞争力的模型性能。这也引发了一个更为深远的讨论——难道智能的本质就是压缩吗?AI界大佬对于大模型的安全问题一直以来争吵不休，全都归咎于神经网络「黑盒」，让所有人捉摸不透。

苹果公司今天宣布了iOS17，这是iPhone的下一个主要操作系统，引入了一系列新的通讯和共享功能。iOS17具备个性化的联系人海报功能，其中包括照片、Memojis和引人注目的排版，在通话中和更新的通讯录中显示。全新的实时语音邮件功能提供实时转录，可以进行电话筛选。用户现在可以在语音邮件中间接听电话，并且转录是在设备本地上进行处理的。

【新智元导读】AI算命将可以预测人类的意外死亡?丹麦科学家用全国600万人的公开数据训练了一个基于Transformer的模型，成功预测了意外死亡和性格特点。AI真的可以用来科学地算命了!?

CatBERTa是一种基于Transformer的人工智能模型，旨在通过文本输入进行能量预测。该模型建立在预训练的Transformer编码器之上，这是一种在自然语言处理任务中表现出色的深度学习模型。CatBERTa的独特之处在于它能够处理人类可理解的文本数据，并添加用于吸附能量预测的目标特征。这使得研究人员可以以简单易懂的格式提供数据，提高了模型预测的可用性和可解释性。

如今，生成式人工智能的格局正处于快速发展的状态，不仅与OpenAI、Meta和Google在基础模型上直接竞争，而且在他们一些最优秀的内部人才离开去推出产品的同时他们自己的一代人工智能初创公司。

最近一项由GoogleDeepMind、特拉维夫大学和Google研究人员进行的研究，旨在探究基于Transformer的大型语言模型（LLMs）如何存储和提取事实关联。研究采用信息流的方法，研究模型如何预测正确的属性，并观察模型在不同层次中的内部表示是如何演变的。论文地址:https://arxiv.org/abs/2304.14767

传统的深度学习模型在处理不同数据形式时存在巨大的模态差异，需要进行大量的工作来构建一个能够处理各种输入形式的统一网络。不同数据模态之间存在显著差异，通常使用不同的网络拓扑来独立编码每种数据模态。然而，这需要耗费时间和精力。

一位合著了谷歌在人工智能领域最具影响力论文之一的人工智能研究员将离开该公司，创办一家初创公司。LionJones是《AttentionIsAllYouNeed》这篇开创性人工智能论文的合著者之一，他向彭博社确认将于本月晚些时候离开谷歌日本。他表示计划休假后创办一家公司。