OpenAI 是由马斯克、奥特曼等人 2015 年协同创办的人工智能研究机构,之后马斯克发布,微软以投资 10 亿美金 。OpenAI 最先发布千亿级参数的大模型 GP-3,被称之为谷歌旗下人工智能企业 DeepMind 的竞争者 。OpenAI 会与谷歌、苹果、IBM 等知名公司创办的其他一系列项目一道探寻先进计算机技术,处理人脸识别或语言翻译等问题 。2015 年 12 月 12 日,非盈利性的人工智能项目 OpenAI 公布正式启动 。
文章插图
OpenAI 是一个人工智能研究试验室,由盈利组织 OpenAI LP 与总公司非营利组织 OpenAI Inc 所组成,目的是推动与发展友善的人工智能,使人类总体获益 。OpenAI 成立于 2015 年末,总部位于旧金山,组织目标是由与其它机构及学者的“随意合作”,向公众开放专利和科研成果 。
2022 年 3 月 1 日创立 OpenAI LP 分公司,目的为盈利常用 。2022 年 7 月 22 日微软投资 OpenAI 10 亿美金,双方将携手合作替 Azure 云端平台服务开发人工智能技术 。2022 年 6 月 11 日宣布了 GPT-3 语言模型,微软于 2022 年 9 月 22 日获得独家授权 。
2022 年 5 月,Open AI 发表了一篇开创性的论文,名为 Language Models Are Few-Shot Learners 。他们展现了 GPT-3 语言模型,它使用了一个具有 1750 亿次参数神经网络 。GPT-3 应用来自 CommonCrawl、WebText、维基百科和书本语料库的信息进行练习, 并在各种自然语言处理任务中表现出惊人的性能,包括翻译、问答和完形填空任务 。在性能上 GPT-3 也是非常出色, 超过许多目前的模型 。2022 年 7 月,也就是论文发表2个月后,OpenAI 开放了一个 beta API playground,大家可以通过 API 方法浏览 GPT-3 模型 。
GPT-3 几个主要特征
1. 零/单/少样本学习(Zero/one/few-shot learning): 一般,深度学习会针对一组特定类型进行练习和测试 。假如计算机视觉中对星球大战里的 BB8 , R2D2 , C3PO 进行筛选,在测试过程中就只能对于这三个类型开展 。但在零样本学习设置中,系统在测试时,可以用不在训练里的类型(比如,用曼努达人做测试) 。单/少样本学习(one-shot 和 few-shot) 也是一个道理,在测试时,系统将各自看到一个或几个新的类型 。
2. 零/单/少样本任务转移(Zero/one/few-shot task transfer): 这个融合了 零/单/少样本学习与多任务学习的概念 。新任务(或是表明零个、一个或几个新任务的实例)可以随时实行,而不是在测试时才展现新类 。比如, 输入 “I love you -> 我爱你 。I miss you -> ____ 。” GPT-3 就可以通过单样本任务转移 ,把之前没有训练完的英语转中文的任务执行起来
3. Transformers: Transformers 是解决机器翻译难题的框架, 有一个简单的网络架构,基于自注意机制,不依赖于递归和卷积彻底 。根据并行计算使 Transformer 效率高,必须更低的训练时间 。
【openai是什么公司 OpenAI是什么】4. 生成模型(Generative models): 统计学中分类任务有两种模型-判别模型,生成模型 。判别模型对给定的可观察变量和目标变量对的条件概率开展编号:p(y|x) 。生成模型对联合概率开展编号:p(x,y) 。生成模型能够“生成类似目前数据的新数据”,GPT-3 模型便是运用生成模型来 。
5. 多任务学习(Multitask learning): 大部分深度学习系统都是单任务的, 只针对特定的场景 。多任务系统解决了这一限定 。他们受过训练,可以对于给定的输入处理不同任务 。比如我输入一个苹果,他可以帮我翻译成英语的 Apple ,可以找到一张苹果的图片,也可以找到苹果的一些特点等 。
6. 半监督学习(Semi-supervised learning): 要以无监督的方式训练具有非常大数据集的模型,再通过在较小的数据集中应用监督训练来调节模型以满足不同任务 。
因为微软现在还没开放 OpenAI 的 GPT-3 作用 , 目前大家只能依靠 OpenAI (beta.openai.com) 提供的 API 应用 GPT-3。(当然你需要有一个美国的电话号码来激活该功能) ,OpenAI 有非常丰富的文档, 及其实例 ,让开发者能够特别快入门应用 API 。
GPT-3 功能齐全 ,让 AI 应用领域更贴近具体的生活。我十分希望微软的 OpenAI Service 能尽快开放 ,让更多开发者能使用 。也有如今 OpenAI GPT-3 在中文的支持还是十分有限的, 我也期许微软版本服务能有更好的汉语支持 。
- 自律的个人特质有哪些 自律是什么
- 去年元夜时花市灯如昼意思 去年元夜时花市灯如昼是什么节日
- “小资女孩”特指追求物质和精神双重享受的女孩 小资女孩是什么意思
- WHO 1995年底世界卫生组织将每年3月24日 3月24日是什么日子
- 最大乌龟棱皮龟有多大 世界上最大的龟是什么龟图片
- 路边上紫叶李是什么水果 紫叶李果实能吃吗
- 孟浩林雨馨是什么电影电视剧结局 孟浩林雨馨是什么电影电视剧
- 涟漪的是什么意思如何造句 词语涟漪什么意思
- 男生说要包浆是什么意思 男生说把你盘包浆是啥意思
- 氢氧化钙用于制造漂白粉,硬水软化剂、消毒杀虫剂、制革用脱毛剂 氢氧化钙的化学式是什么