随着深度学习模型在自然语言处理等领域的广泛应用，模型推理速度和性能成为核心问题。近日，由快手主导的研究成果《SAMP：基于自适应混合精度的训练后量化模型推理库》成功入选该领域顶 级会议EMNLP 2023，并于新加坡现场展示和分享。
该研究提出了一种名为SAMP的推理加速工具，通过自适应混合精度技术，在保持模型性能的同时，明显提高推理速度。其中包含自适应混合精度编码器和一系列先进的融合策略。自适应混合精度编码器可以在大量的通用矩阵乘法（GEMM）运算和Transformer层中找到最 佳浮点定点混合精度组合方式，使模型推理的性能最贴近客户的真实需求（计算精度或推理效率）。最终，混合精度计算取得了比全定点计算更好的计算精度。融合策略对embedding算子和量化相关计算操作进行融合改进，使得 CUDA 内核调用减少一半。同时，SAMP是由C++编程语言实现的端到端工具包，具有非常出色的推理速度，也降低了训练后量化推理的工业应用门槛。
1.自适应。SAMP 在训练后量化推理方法中平衡计算精度和延迟性能。用户都能够针对不一样的任务选择正真适合精度和推理延迟的混合精度配置。SAMP还可通过自适应分配方法推荐给用户最 佳的量化组合模式。
2.推理效率。在较宽的精度范围（浮点到定点）中，SAMP 显示出比其他推理工具包更好的推理加速。在中文语言理解测评基准（CLUE）分类任务数据集中，与FasterTransformer相比，SAMP实现了高达1.05-1. 15 倍的加速。
3.灵活性。SAMP 涵盖众多下游任务，如分类、序列标记、文本匹配等。 Target 模块是可扩展的并能灵活定制。它对用户友好且对平台依赖性较低。 SAMP 支持 C++ 和 Python API，仅需要 CUDA 11.0 或更高版本即可。 另外，SAMP也提供了许多模型转换工具，支持不同格式模型之间相互转换。
主要研究者来自快手的田荣表示，能在模型推理这样的场景下取得佳绩是整个团队一起努力的结果，SAMP的贡献主要在三个方面，首先是解决了现有后量化（PTQ）推理工具在工业应用中精度损失大的问题；第二是推动了后量化（PTQ）技术在 NLP 多个下游任务中大规模使用；同时，该推理库还有轻量、灵活，对用户友好的特点并支持用户自定义任务目标。
据悉，EMNLP（Empirical Methods in Natural Language Processing）是自然语言处理和AI领域的顶 级国际会议之一，聚焦于自然语言处理技术在各个应用场景的学术研究，尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新，在学术和工业界都有巨大的影响力，此次入选也代表着快手在该领域的研究成果获得了国际学者的认可。
特别声明：以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布，本平台仅提供信息存储服务，对本页面内容所引致的错误、不确或遗漏，概不负任何法律责任，有关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性，但不保证有关联的资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。任何单位或个人觉得本页面内容可能涉嫌侵犯其知识产权或存在不实内容时，可及时向站长之家提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明（点这里就可以看反馈联系地址）。本网站在收到上述法律文件后，将会依法依规核实信息，沟通删除相关联的内容或断开相关链接。
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，稳定性很高，让您的云端之旅更加畅享。快来腾讯云选购吧！
尽管难以置信，但ChatGPT才推出仅有一年的历史。自从OpenAI在2022年11月首次发布ChatGPT以来，它迅速成为有史以来增长最快的应用程序，引发了谷歌的恐慌，并点燃了大型科技企业内部的生成型AI竞赛。但由于这些工具仍处于起步阶段，其中许多还处于试点阶段或仅提供给付费客户，因此广泛的影响还有待观察。
当我们看到世界各地的公司纷纷在日常工作流程中实施生成式人工智能的潮流时，时尚行业也在用各种方式应用AI。尤其是在2023年的最后六个月。与此同时，微软的AzureAI视频索引器通过在视频中启用服装检测来做出贡献，帮助内容创建者进行广告和事后分析。
对休闲旅行者来说，决定去哪里旅行往往是一个挑战。随着目的地的选择和航班选项日益增多，做出决定可能变得复杂。通过人工智能预订航班和酒店也变得更容易。
由量子位主办MEET2024智能未来大会今日举行。会上「2023人工智能年度评选」结果正式揭晓，涵盖从企业、人物、产品/解决方案三大维度：2023年度人工智能领航企业TOP50；2023年度人工智能最具价值勇于探索商业模式的公司TOP20；2023年度人工智能影响力人物TOP30；2023年度人工智能杰出产品TOP102023年度人工智能年度杰出解决方案TOP10。本次MEET大会采取线上线下直播两种方式来进行，共有数十家主流媒体进行了现场直播，数百万智能行业从业者线上参与了直播活动。
今日，《咬文嚼字》编辑部公布了“2023年十大流行语”，其中人工智能大模型入选。“2023年十大流行语”如下:根据解释，人工智能大模型在AI领域，大模型是指拥有超大规模参数、超强计算资源的机器学习模型，可处理海量数据，完成各种复杂任务，如自然语言处理、图像识别等。大模型的普遍应用，也对隐私保护、信息安全等带来非常大挑战，迫切地需要有关规定法律和管理措施的有效应对。
硅谷的全球顶尖芯片制造商Nvidia在2023年成为AI领域最活跃的投资者之一，大幅扩大了对AI初创企业的投资。Nvidia今年已投资「二十多家」公司，范围从数十亿美元的大型新人工智能平台到小型初创企业。「我们不帮助任何人插队，」他说。
人工智能显然是目前最热门的行业。在OpenAI或DeepMind等世界顶级人工智能公司工作是很多人梦寐以求的事情。尽管研究人员的工资并不低，但HuggingFace以其开源方式向研究人员支付23.8万美元的年薪，以及27%的协商增量和18.5万美元的初始报酬。
2023年接近尾声，互联网时代，每年都会诞生一批新的流行语”，今年也不例外。今日，《咬文嚼字》编辑部公布了2023年十大流行语”，特种兵式旅游、人工智能大模型等上榜。游客用最少的时间，花最少的费用，游览最多的景点，在旅游目的地了解最多的历史文化、风土人情，像在执行特殊任务。
ChatGPT等生成式人工智能服务的流行激发了人们将这些新工具应用于实际企业应用程序的兴趣。几乎每个企业应用程序都通过生成式人工智能功能得到增强。从长远来看，现有的云成本优化领导者可能会开发相关产品。
在英国财政大臣的秋季声明中，人工智能和量子研究成为科技领域的重要焦点。政府决定额外投资5亿英镑用于人工智能计算能力的发展，将总计计划投资提高至逾15亿英镑。它们显示政府正在创造性地思考如何长期支持科学，并在整个科学经济的广度上提供支持。
Radiant AI是一个医学聊天机器人，使用自家开发的OSLER平台LLM框架，为临床医生和医学专业人员提供即时高质量的医学信息。我们的专有数据集和检索增强生成模型确保您获得可靠的信息，无需订阅或自行查找参考文献。
Just Ask Layla是一款AI旅行规划师和指南，可帮助您发现新的目的地，规划行程，预订机票和酒店。它拥有丰富的旅行经验，可为您提供个性化的旅行建议。
Giftruly是一款个性化AI礼物推荐器，使用先进的机器学习算法为您提供独特而周到的礼物建议。无论是圣诞节、情人节、生日还是特殊活动，Giftruly帮助您找到真正有意义的礼物。与我们的人工智能互动，定制推荐，让每个庆祝活动都变得难忘。用Giftruly轻松购买有意义的礼物，传播爱和幸福。
SuperLaLa AI是一款集成了AI聊天、AI艺术创作、AI工具推荐等功能的全能应用。它旨在为用户提供极具创新和流畅的AI体验。作为您的专业移动助手，它将引领您进入令人着迷的AI领域，开启未来科技的无限可能。在这里，想象力没有边界！
ChatbotsPlace是一款集成了ChatGPT、Claude、AI21 Labs和Google Bard等领先聊天机器人技术的浏览器插件。它还支持通过DALL-E、Stable Diffusion和Google Imagegen等技术进行基于文本的图像生成。该插件提供了简洁友好的界面，可在浏览器侧边栏直接使用AI聊天和文本生成功能。支持使用Ctrl或Command键快速访问。免费试用5个宝石，帮助用户畅游多样化的AI工具。开启AI领域的探索，尽在指尖。
Ropuz App是一款旨在帮助用户在20秒内将想法转化为原型的工具。它提供简洁易用的界面和丰富的功能，让用户能够快速创建并展示他们的概念。无论是产品设计、应用开发还是创意构思，快速原型都能帮助用户快速验证想法，节省时间和精力。定价灵活多样，适合个人和团队使用。
Vidycon是一款综合的AI驱动虚拟摄像头和麦克风解决方案，旨在改善直播和视频会议体验。其先进的AI技术模拟系统中的摄像头和麦克风，为用户更好的提供一系列高级功能，包括视频背景模糊、虚拟背景、视频美化、多语言闭幕字幕、实时转录和录制等。无论是直播、教学还是简单聊天，Vidycon都能将视频和音频交互转化为专业、高质量的体验。我们即将推出Vidycon。在首月订阅仅需$3，即可免费享受接下来的三个月！敬请关注更多更新。非常感谢您的早期支持。您可以通过邮箱联系我们：dokasto.
Weld是一个简单易用的数据仓库构建工具，提供强大的ELT、SQL转换、rELT和AI助手功能。它可以连接100多个应用程序、文件和数据库，让你在几分钟内构建数据仓库，无需麻烦设置。Weld可以从100多个数据源获取数据，包括PostgreSQL、Stripe、Salesforce、Hubspot和Google Sheets等。它还提供预建的连接器，可自动同步数据，并可选择存储数据在Weld上或连接自己的数据仓库，如BigQuery和Snowflake等。你可以使用SQL编辑器来合并来自多个源的数据，并通过AI助手来编写定制的SQL代码。Weld还提供多个模板，方便你快速开始数据分析工作。你可以轻松导出数据到其他应用程序，并与你喜欢的BI工具集成。除此之外，Weld还提供逆向ETL功能，可以直接将数据发送到你的工作场所。Weld的数据管道经过了战斗测试，每天有超过100,000次同步，具有端到端的加密和访问控制，保证数据的安全性。Weld已经被1000多家公司信任，包括Hubspot、Shopify、Facebook Ads和Stripe等。
Setapp是一个应用程序订阅服务，包括240个Mac和iOS应用程序，并配备了AI助手，帮助您立即找到适合您任务的应用程序。通过Setapp订阅，您可以探索和使用240多个应用程序，使用AI搜索来查找应用程序，向Setapp助手询问推荐的应用程序，并按类别发现应用程序。在Setapp的专用应用程序集合中使用AI应用程序来提升您的工作流程，如Elephas AI工具包、AI写作助手TypingMind、与AI聊天的Craft、用于管理电子邮件的Canary Mail等。Setapp让您在不浪费时间的情况下获得240多个应用程序和AI工具，让您的工作效率大大提升。
Kindle GPT是一款为Kindle读书会员打造的AI助手，通过深度学习技术，能够为用户自动生成书籍摘要和个性化阅读推荐。无需手动阅读整本书籍，Kindle GPT能够提供书籍的关键内容摘要，帮助用户快速了解书籍的核心思想和知识点。同时，它还可以根据用户的阅读习惯和兴趣，推荐适合用户的书籍，提供个性化的阅读推荐服务。Kindle GPT旨在提升Kindle读书会员的阅读效率和体验。
ChatGPT永久免费中文版 GPT-4(国内免费直连)是一款基于OpenAI公司ChatGPT3.5模型开发的聊天机器人插件。它具有丰富的问题模版，方便快捷，提问精准。用户无需一次性大额购买，注册即可免费体验，还可以根据个人需求购买日卡、周卡、月卡。
Snack AI是一款多语言模型问答助手，可以同时向多个语言模型提问并获取答案。它能够帮助用户快速获取准确的信息，并提供丰富的功能和使用场景。Snack AI的定价灵活多样，适合个人用户和企业用户的不同需求。
Diyva是一个AI助手，使用人工智能技术，可以与客户进行对话，并提供准确的、即时的答案。它可以收集和分析客户交互数据，提供有关客户需求和个性化推荐的实时洞察。Diyva提供24/7的多语言客户服务，提供精确、准确、即时的答案。Diyva可以与现有的文档、产品目录等进行集成，快速、轻松地设置。
Crit Design是一个基于ChatGPT-4的浏览器插件。它能快速评估设计,提出修改建议,编写alt文本等,是设计师的最佳工作伙伴,能够极大提高设计流程的效率。
Find My Remote 是您通往遥控技术机会的入口。通过实时监控 15 个以上的招聘软件和 30 个以上的职位平台，简化您的求职过程。获得个性化的工作推荐，访问庞大的职位数据库，并加入蓬勃发展的遥控求职者社区。立即开始寻找您梦寐以求的遥控技术工作吧！
FeedLoops是一个由AI驱动的反馈和评论收集工具。它可以大规模地收集有价值的客户反馈,并通过引导他们在流行的平台上留下正面评论,将满意的客户转化为代言人。主要功能包括: - 避免潜在的负面评论:将建设性反馈私下处理,避免公开的负面评价 - 主动解决客户问题:及时解决客户关切问题,改进服务 - 深入分析客户情绪:洞察客户真实情感,制定业务优化决策 - 自动化反馈收集:取代麻烦的表格,AI聊天机器人以友好交流方式大规模获取有价值反馈 典型使用场景包括餐馆、酒店、零售店、水疗中心等线下商家。主要标签有反馈收集、评论、AI、在线声誉等。
Shape 是一款利用人工智能探索数据的工具。它可以回答数据问题，并提供数据分析和可视化功能。Shape 支持复杂的 SQL 查询和数据堆栈集成。它以智能的方式解释问题，并提供详细的答案。Shape 还可以与 Slack 集成，让您通过 Slackbot 快速获取答案。
ScriboWriter 是一款集成了 100 多个预设邮件回复的 AI 邮件写手和内容生成器。无论是员工入职培训邮件、销售和营销邮件，还是与供应商、产品培训、网络问题相关的邮件，ScriboWriter 都能帮助您节约时机和精力，让您专注于真正重要的事情。此外，ScriboWriter 还可以为您的网站和博客生成 1000 多篇新鲜有趣的内容，让您的内容始终保持新颖和引人入胜。
Tutur是一个使用AI提高语言学习效率的在线平台。它提供语音评估、一对一会话练习、学习进度跟踪等功能,帮助用户系统地提高语言水平。
