美东时间3月30日，全球最大的财经资讯公司彭博社发布最新公告称，该公司开发了专为金融领域量身打造的拥有500亿参数的大型语言模型（llm）——bloomberggpt。以下为公告具体内容，由chatgpt-4翻译完成：
在金融自然语言处理任务方面，bloomberggpt在同等规模的开放模型中表现出色，且不牺牲通用llm基准的性能。
彭博发布了一篇研究论文，详细介绍了bloomberggpt的开发过程，这是一种新型大规模生成人工智能（ai）模型。这种llm专门针对广泛的金融数据进行训练，以支持金融行业内各种自然语言处理（nlp）任务。
基于llm的人工智能（ai）的最近进展已经展示了许多领域令人兴奋的新应用。然而，金融领域的复杂性和独特术语需要一个特定领域的模型。bloomberggpt代表着为金融行业开发和应用这种新技术的第一步。该模型将协助彭博改进现有的金融nlp任务，如情感分析、命名实体识别、新闻分类和问答等。此外，bloomberggpt将为整合彭博终端上的大量数据提供新机会，以更好地帮助公司的客户，同时将ai的全部潜力带入金融领域。
十多年来，彭博在金融领域的人工智能、机器学习和自然语言处理方面一直处于领先地位。如今，彭博支持大量且多样的nlp任务，这些任务将受益于一个新的金融感知语言模型。彭博研究人员开创了一种混合方法，将金融数据与通用数据集相结合，以训练一个在金融基准上取得最佳成绩的模型，同时在通用llm基准上保持竞争力。
为了实现这一里程碑，彭博的机器学习产品和研究小组与公司的人工智能工程团队合作，利用公司现有的数据创建、收集和策划资源，构建了迄今为止最大的特定领域数据集之一。作为一家金融数据公司，彭博的数据分析师已经收集和维护了40年的金融语言文件。团队从这个庞大的金融数据档案中提取信息，创建了一个包含英语金融文件的3630亿标记的综合数据集。
该数据集与一个3450亿标记的公共数据集结合，创建了一个包含超过7000亿标记的大型训练语料库。使用这个训练语料库的一部分，团队训练了一个具有500亿参数的仅解码器因果语言模型。生成的模型在现有的金融特定nlp基准、一套彭博内部基准和来自流行基准（例如big-bench hard，知识评估，阅读理解和语言任务）的通用nlp任务的广泛类别上进行了验证。值得注意的是，bloomberggpt模型在金融任务方面大幅超越了类似规模的现有开放模型，同时在通用nlp基准上的表现相当或更好。
bloomberggpt在金融特定和通用任务两个广泛类别的nlp任务上的表现
彭博首席技术官shawn edwards表示：
“我们认为具有金融领域特点的大型生成性llm具有巨大价值，原因有很多——少量样本学习、文本生成、对话系统等。我们很高兴能开发出第一个专注于金融领域的llm。bloomberggpt将使我们能够解决许多新类型的应用，同时它的性能优于为每个应用定制的模型，且上市时间更快。”
彭博机器学习产品和研究团队负责人gideon mann解释说：
“机器学习和nlp模型的质量取决于你输入的数据。得益于彭博在四十年间策划的金融文件，我们得以精心打造一个大型、干净、特定领域的数据集来训练一个最适合金融用途的llm。我们很高兴能够利用bloomberggpt改进现有的nlp工作流程，同时也思考新的方法将这个模型投入使用，为我们的客户带来惊喜。”
该文由gpt-4翻译完成
转载说明：此文出自于金十数据，如需转载，请注明原文出处。若未注明原文来源随意摘编、转载等，金十数据将保留追究权利。