Source: The Verge
英伟达今天发布了RTX的早期版本——Chat with RTX，这是一个演示应用程序，让你在个人电脑上运行一个个人的AI聊天机器人。你可以输入YouTube视频和自己的文档，快速创建摘要并根据自己的数据获得相关答案。所有功能都在个人电脑上本地运行，只需一台至少配备8GB VRAM的RTX 30系或40系GPU。我在过去的一天里对Chat with RTX进行了简单的测试，虽然这个应用程序在某些方面还有些不完善，但是我已经看到了它对于新闻记者或任何需要分析一系列文件的人来说是一个有价值的数据研究部分。Chat with RTX可以处理YouTube视频，你只需输入URL，它就可以让你搜索特定提及或对整个视频进行摘要。我发现这对于搜索视频播客非常理想，特别是在寻找上周有关微软新Xbox战略改变的特定提及时。但是对于搜索YouTube视频来说效果并不完美。我试图搜索《The Verge》的一个YouTube视频的字幕，但是Chat with RTX下载了另一个完全不同的视频的字幕。而且这个还不是我之前查询过的视频，所以这个早期演示中显然存在一些错误。
当它工作正常时，我可以在几秒钟内找到视频中的提及。我还为Chat with RTX创建了一个FTC对微软文件的数据集进行分析。去年我报道法庭案件时，通常需要以很快的速度搜索文件，但是Chat with RTX帮助我在个人电脑上几乎瞬间查询这些文件。例如，这个聊天机器人能够很好地总结出微软在庭审中公开的内部文件中的整个Xbox Game Pass战略：根据提供的上下文信息，Xbox Game Pass是一个游戏内容订阅服务，提供按月付费访问游戏库。它被设定为一种能够让玩家随时随地玩游戏、并让发行商接触到全球玩家的平台。该服务由Project xCloud和Xbox Series X支持，并旨在为发行商创造丰富的游戏变现模式。Gaming CSA的主要战略目标是扩大Xbox Game Pass的规模，全球潜在订户达到7.5亿。根据内外部的重要性对比，该服务面临三个首要游戏内容需求：不同内容的需求、超越游戏主机的需求以及有限的游戏内容供应。
我也发现这对于浏览PDF和事实核查非常有用。微软自己的Copilot系统在Word中处理PDF时效果不佳，但是英伟达的Chat with RTX却毫无问题地提取出所有关键信息。响应速度也非常快，没有像使用基于云的ChatGPT或Copilot聊天机器人时那种延迟感。然而，Chat with RTX的一个主要缺点是它真的感觉像一个早期开发者演示版。Chat with RTX实际上在你的个人电脑上安装了一个Web服务器和Python实例，然后利用Mistral或Llama 2模型来查询输入的数据。接着它利用RTX GPU上的Nvidia Tensor核心加速你的查询。Chat with RTX在我的个人电脑上安装大约花了30分钟的时间，我的电脑配备了英特尔i9-14900K处理器和RTX 4090 GPU。这个应用程序的大小几乎达到40GB，而Python实例占用了我系统上64GB可用内存的约3GB。
一旦运行起来，你可以通过浏览器访问Chat with RTX，同时在后台运行一个命令提示符以显示正在处理的内容和任何错误代码。英伟达并不将这视为所有RTX用户都应立即下载和安装的完美应用程序。它还有一些已知问题和限制，包括源属性不一致。我最初还尝试让Chat with RTX索引25,000个文档，但这似乎导致了应用崩溃，我不得不清除首选项才能继续使用。此外，Chat with RTX也不会记住上下文，所以后续问题无法基于先前问题的上下文提问。它还会在你要索引的文件夹中创建JSON文件，所以我不建议在Windows的整个文件夹中使用这个功能。但我喜欢一个好的技术演示，而且英伟达在这方面确实做到了。这展示了将来的AI聊天机器人能够在个人电脑上本地运行的潜力，尤其是如果你不想订阅像Copilot Pro或ChatGPT Plus这样的服务来分析你的个人文件。
这款AI聊天机器人在个人电脑上本地运行，为用户提供了数据分析、视频摘要以及PDF处理的便利。未来的智能助手将为我们带来更多可能性。
