【资料图】
3月30日，彭博发布公告称，推出为金融界打造的大型语言模型(LLM)——BloombergGPT。
彭博是一家全球商业、金融信息和新闻资讯提供商。3月30日，该公司发布了一篇关于BloombergGPT开发情况的研究论文，详细介绍了这一大规模生成式人工智能(AI)模型。该大语言模型(LLM)专门针对各类金融数据进行训练，以全方位支持金融领域的自然语言处理(NLP)任务。
据彭博微信公众号消息，该模型将帮助彭博改进现有的金融NLP任务，如市场情绪分析、命名实体识别、新闻分类和问题回答等。此外，BloombergGPT还将释放更多新机遇，调动彭博终端上的海量数据，将人工智能的潜力带到金融领域。
据介绍，彭博的研究人员开创了一种混合训练法，将金融数据与通用数据集结合起来训练模型，以达到在金融基准上取得最佳结果，同时在通用LLM基准上也保持足够的竞争力。
与此同时，彭博的机器学习产品和研究小组和人工智能工程团队合作，利用彭博在数据创建、收集和整理方面的资源，构建了迄今为止规模最大的专业领域数据集之一。
作为一家金融数据公司，彭博的数据分析师在四十多年的时间里收集和维护了运用大量金融用语的文档。开发团队从这个由海量英文金融文档组成的档案库中，提取并创建了一个包含3630亿词例(token)的金融数据集。这批数据又与另一个包含3450亿词例的公共数据集叠加，成为了包含超7000亿词例的大型训练语料库。
彭博的研究团队利用该语料库的一部分内容，训练了纯解码器(decoder-only)因果语言模型，包含500亿个参数。团队还对训练出的模型进行了基准测试。金融领域的NLP任务采用了一套彭博的自有基准，各类通用NLP任务则采用市面上流行的基准。
彭博称，BloombergGPT模型在金融任务上的表现远超类似规模的开放模型，而在一般NLP基准上的表现也达到甚至超过平均水平。
彭博首席技术官肖恩·爱德华兹(Shawn Edwards)还表示，“BloombergGPT将使我们能够处理许多新型的应用，不仅比定制化模型的表现更好，而且开箱即用，能够大大缩短上线时间。”
关键词：
