AIGC热门工具
AIGC写作平台
AI写作工具
AI论文写作
AI论文查重
AI聊天
AI提示词
AI内容检测
AI公文
AI问答
AI阅读
AI搜索
AI小说
AIGC绘画平台
AI绘画工具
AI绘画提示
AI绘画社区
AI绘画模型
AI-3D生成
AI图形工作站
AI图片审核
AI搜索图片
AI素材
AI绘本
PS·AI插件
AI 智能体平台
中文版GPTS
ChatGLMS
AI提示语
AIGC设计平台
AI设计工具
AI图像处理
AI图像扩展
AI商品图
AI一键抠图
AI标志设计
AI空间设计
AI服装设计
AI字体设计
AI头像/艺术照
AI艺术二维码
AIGC视频平台
AI视频生成
AI数字人
AI视频后期
AI口播视频
AI动作捕捉
AI换脸
AI博主
AI视频模型
AI字幕翻译
图片转视频
AIGC音频平台
AI语音生成-文转音
AI语音识别-音转文
AI语音合成
AI语音降噪
AI音乐创作
AI音乐鉴赏
AIGC办公平台
AI办公工具
AI制作PPT
AI翻译
AI思维导图
AI会议助理
AI文档处理
AI总结摘要
AI简历制作
AI公益应用
AIGC学习平台
AIGC免费课程
AIGC专题课程
AIGC精选专栏
AI运营启发
京东AI好书推荐
prompt学习
AIGC企业平台
AI企业服务
AI数字员工
AI人力资源
AI电子合同
AI法律服务
AI金融事务
AI算力平台
AI行业协会
AI官方活动
AIGC运营平台
AI营销工具
AI电商增长
AI行业门户
AI流量优化
AI舆情分析
AI数据分析
AI国际导航
全球大学AI
大陆大学AI
AIGC开发平台
AI编程工具
AI开发课堂
AI开发框架
AI开放平台
AI开发者社区
AI低(无)代码编程
AI-SQL数据库
AI训练模型
AI 大模型平台
AI大语言模型
AI视觉大模型
AI视频大模型
AI语音大模型
AI多模态大模型
AI教育大模型
AI医学大模型
AI法律大模型
AI行业大模型
AI海外大模型
AIGC服务平台
AI基础设施
AI应用接口API
AI中文研究机构
AI海外研究机构
AI生命科学
AI游戏应用
AI安全技术
AIGC元宇宙
AIGC工具提交
首页
资讯
学院
账号
AI 热榜
联网GPT
Free福利社
AI论文写作
首页
•
AI应用信息
•
深入浅出Prompt Learning要旨及常用方法
深入浅出Prompt Learning要旨及常用方法
AI应用信息
3个月前更新
XIAOT
294
0
100
近年来
NLP
学术领域发展真是突飞猛进,刚火完对比学习(contrastive learning),又有更火的提示学习
prompt
learning。众所周知,数据标注数据很大程度上决定了
AI
算法上限,并且成本非常高,无论是对比学习还是提示学习都着重解决少样本学习而提出,甚至在没有标注数据的情况下,也能让模型表现比较好的效果。本文主要介绍
prompt
learning 思想和目前常用的方法。
NLP
的训练范式有哪些
目前学术界一般将 NLP 任务的发展分为四个阶段即 NLP 四范式:
1. 第一范式:
基于传统
机器学习
模型的范式
,如 tf-idf 特征 + 朴素贝叶斯等机器算法;
2. 第二范式:
基于
深度学习
模型的范式
,如 word2vec 特征 +
LSTM
等
深度学习
算法,相比于第一范式,模型准确有所提高,特征工程的工作也有所减少;
3. 第三范式:
基于
预训练模型
+ finetuning 的范式
,如
BERT
+ finetuning 的 NLP 任务,相比于第二范式,模型准确度显著提高,但是模型也随之变得更大,但小数据集就可训练出好模型;
4. 第四范式:
基于
预训练模型
+ Prompt + 预测的范式
,如
BERT
+ Prompt 的范式相比于第三范式,模型训练所需的训练数据显著减少。
在整个 NLP 领域,你会发现整个发展是朝着精度更高、少监督,甚至无监督的方向发展的,而 Prompt Learning 是目前学术界向这个方向进军最新也是最火的
研究成果
。
为什么需要提示学习
为什么呢?要提出一个好的方式那必然是用来
解决另一种方式存在的缺陷或不足
,那我们就先从它的上一个范式来说起,就是预训练模型 PLM + finetuning 范式常用的是 BERT+ finetuning:
这种范式是想要预训练模型更好的应用在下游任务,需要利用下游数据对模型参数微调;首先,模型在
预训练的时候,采用的
训练形式:自回归、自编码,这与下游任务形式存在极大的 gap
,不能完全发挥预训练模型本身的能力
必然导致:较多的数据来适应新的任务形式——>少样本学习能力差、容易过拟合
▲ 上下游任务形式存在gap
其次,现在的预训练模型参数量越来越大,为了一个特定的任务去 finetuning 一个模型,然后部署于线上业务,也会造成部署资源的极大浪费。
▲ 模型专用性特定任务微调导致部署成本过高
提示学习是什么
首先我们应该有的
共识
是:预训练模型中存在大量知识;预训练模型本身具有少样本学习能力。
GPT-3
提出的 In-Context Learning,也有效证明了在 Zero-shot、Few-shot 场景下,模型不需要任何参数,就能达到不错的效果,特别是近期很火的
GPT
3.5 系列中的
ChatGPT
。
Prompt Learning 的本质:
将所有下游任务统一成预训练任务;
以特定的模板,将下游任务的数据转成自然语言形式
,充分挖掘预训练模型本身的能力。
本质上就是设计一个比较契合上游预训练任务的模板,通过模板的设计就是
挖掘出上游预训练模型的潜力
,让上游的预训练模型在尽量不需要标注数据的情况下比较好的完成下游的任务,关键包括 3 个步骤:
设计预训练语言模型的任务
设计输入模板样式(Prompt Engineering)
设计 label 样式及模型的输出映射到 label 的方式(Answer Engineering)
Prompt Learning 的形式:
以电影评论情感分类任务为例,模型需根据输入句子做二分类:
原始输入:特效非常酷炫,我很喜欢。
Prompt 输入:
提示模板 1:
特效非常酷炫,我很喜欢。这是一部 [MASK] 电影;
提示模板 2:
特效非常酷炫,我很喜欢。这部电影很 [MASK]
提示模板的作用就在于:将训练数据转成自然语言的形式,并在合适的位置 MASK,以激发预训练模型的能力。
▲ 提示学习模板框架
类别映射 / Verbalizer:选择合适的预测词,并将这些词对应到不同的类别。
▲ 类别映射
通过构建提示学习样本,只需要少量数据的 Prompt Tuning,就可以实现很好的效果,具有较强的零样本/少样本学习能力。
# AI应用信息
# AI
# BERT
# ChatGPT
# GPT
# GPT-3
# LSTM
# NLP
# prompt
# 机器学习
# 深度学习
# 研究成果
# 预训练模型
©
版权声明
本文转载自互联网、仅供学习交流,内容版权归原作者所有,如涉作品、版权或其它疑问请联系
AIGC工具导航
或
点击删除
。
上一篇
网易见外工作台的下架对做视频字幕的你有什么影响?
下一篇
提示学习(Prompt Learning)
相关文章
绘画ai国画(AI绘制浓雾森林里的少年和鹿)
中国有通用大模型ai吗(国内最强ai大模型是什么)
万彩AI,教师的微课制作好帮手!
情感计算在人工智能领域的重要性——探讨顶级期刊的研究成果
ai绘画飞碟图纸(Ai绘画创作怎么学,有前途吗 )
为军工企业提供AI技术的上市公司
暂无评论
暂无评论...
搜索:
AI一键论文写作:AIPaperPass
热门文章
小黄鸭导航工具带来的船舶智能化
AIGC的“前世今生”——《人工智能生成内容(AIGC)白皮书》解读
毕业论文开题报告万能模板
科普:关于AIGC的十问十答
热门网址
GPT-4【中文平替版】
吐司AI绘画 – 中文版Civitai
Civitai社区 – C站
Runway
海艺AI-SeaArt AI
讯飞星火
免费AI换脸小工具
小红书爆款文案生成器
LiblibAI·哩布哩布AI【官网】
AI一键论文-AIPaperPass
即梦Dreamina – 免费
ChatPPT
热门标签
人工智能
(23484)
AI
(11708)
创新
(10651)
论文
(9780)
写作
(9367)
自然语言处理
(6275)
机器学习
(6268)
查重
(5713)
数据分析
(5115)
论文查重
(4877)
站内搜索
站外搜索
AI搜索引擎
AI图片广场
站内搜索
搜索站内工具
站外搜索
搜索更多内容
Bing
百度
360
搜狗
神马
AI搜索引擎
Phind
Andi
Perplexity
KuaiSou
AI图片广场
文心一格
无界AI
mage.space
OpenArt
krea.ai
热门推荐:
免费GPT4.0
免费AI绘画
免费AI写作