Source: CNBC
谷歌的一个团队提议使用人工智能技术，通过手机数据（如照片和搜索记录）创造用户生活的“鸟瞰图。此项目被称为“Ellmann计划”，旨在使用Gemini等大型语言模型（LLM）吸收搜索结果、发现用户照片中的模式，创建聊天机器人，并“回答以前无法回答的问题。此计划的目标是成为“你的人生故事讲述者。尚不清楚该公司是否计划在Google Photos或其他产品中推出这些功能。根据公司博客文章，Google Photos拥有10亿用户、4万亿张照片和视频。Ellmann计划只是谷歌提议使用人工智能技术来创建或改进产品的众多方式之一。谷歌最新推出的AI模型Gemini以其多模态性能脱颖而出，能够处理和理解文本以外的信息，包括图像、视频和音频。谷歌 Photos的产品经理在近期的内部会议上展示了Ellmann计划和Gemini团队的成果。展示文件中写道，团队在过去几个月里确定大型语言模型是实现生活故事鸟瞰法的理想技术。Ellmann计划可以通过传记、以前的时刻和后续照片来提供上下文，比“仅有标签和元数据的像素”更深入地描述用户的照片。
它提出了识别一系列时刻，如大学时光、Bay Area时光和作为父母的时光的能力。展示中描述道：“没有人生故事的鸟瞰视角，我们无法回答复杂的问题或讲述好故事。展示中的一张照片上有一个小男孩和一只狗一起玩泥土，文字描述为：“我们梳理你的照片，查看它们的标签和位置，以识别有意义的时刻。其中一张展示幻灯片写道：“当我们放眼你的整个生命，你的总体故事变得清晰。展示中提到，大型语言模型可以推断出用户孩子的出生时刻。这个LLM可以利用树中更高位置的知识推断出这是Jack的出生，他是James和Gemma的第一个孩子，也是唯一的孩子。团队在展示中还举例说明他们如何确定一个用户最近参加了一次同学聚会。他毕业已经10年了，那里的面孔已经10年没见了，所以这很可能是一次聚会。团队还展示了“Ellmann Chat”，描述为：“想象一下打开ChatGPT，它已经了解你的人生方方面面。
你会问它什么问题？”其中一个示例聊天是用户问“我有宠物吗？”回答是“是的，你有一只狗，它穿着红色雨衣”，并提供了狗的名字和经常与它在一起的两个家庭成员的名字。另一个示例聊天是用户询问他们的兄弟姐妹最后一次来访是什么时候。Ellmann也展示了用户的饮食习惯摘要等内容。在展示中还提到，根据用户的截屏，该技术能够确定用户考虑购买的产品、他们的兴趣、工作和旅行计划。它还暗示能够知道用户喜欢的网站和应用，以Google Docs、Reddit和Instagram为例。一位谷歌发言人告诉CNBC：“谷歌照片一直使用人工智能帮助用户搜索他们的照片和视频，我们对LLM能够带来更多有用体验的潜力感到兴奋。这是一个团队正在早期阶段探索的头脑风暴概念。我们将花费足够的时间确保我们以负责任的方式做到这一点，保护用户的隐私是我们的首要任务。提议的Ellmann计划有助于谷歌等科技巨头在创建更个性化的生活回忆方面的竞争。
多年来，谷歌照片和苹果照片一直根据照片趋势提供“回忆”和生成相册。去年11月，谷歌宣布在人工智能的帮助下，Google Photos现在可以将相似照片分组，并将截屏整理成易于查找的相册。苹果在6月宣布，其最新软件更新将使其照片应用能够识别他们照片中的人、狗和猫。它已经可以对人脸进行分组，并允许用户通过姓名搜索他们。苹果还宣布即将推出一款名为Journal App的应用，该应用将利用设备上的人工智能根据最近的照片、位置、音乐和锻炼情况为用户创建个性化的提示，以帮助用户记录描述他们的回忆和经历。但是，苹果、谷歌和其他科技巨头仍在努力解决适当地显示和识别图像的复杂性问题。例如，苹果和谷歌仍然避免将大猩猩标记为图像标签，因为2015年的报道发现公司将黑人错误标记为大猩猩。今年，纽约时报的调查发现，苹果和谷歌的Android软件，这是全球大多数智能手机的基础，关闭了对灵长类动物的图像搜索功能，以免将人类误认为动物。谷歌、Facebook、苹果等公司多年来已经增加了一些控制措施来降低不受欢迎的回忆，但用户们报告称有时仍会出现一些不想要的回忆，并需要在多个设置中切换以减少它们。
当科技开始深入了解我们的个人生活并为我们讲述故事时，我们是否能在隐私和个人经历之间取得平衡？
