首先得强调,现在就讲openAI跑通了所有AGI技术栈还太早,说不定这是离目标最近的错误方向。
再往后的发展大家都很清楚了,gpts、gpt4、sora,一个比一个更令人惊叹。
OpenAI如今取得的成果,是算法、工程、数据、产品以及商业化紧密协作、协同发挥作用的结果,少了哪个都不行。
2016年6月,OpenAI发表Generative Models,开篇便引用著名物理学家费曼的名言如果不能创造,就无法理解(What I cannot create, I do not understand.),指出生成式模型是通向AGI(通用人工智能)的必由之路,且将研究重点置于生成式任务。后来的GPT系列模型都采用了基于Transformer的Decoder - Only结构,这种结构专门用于生成式任务。
OpenAI首席科学家Ilya Sutskever在多个场合表达过这样的观点:只要能很好地预测下一个token,就能助力人类实现AGI。
要晓得,当时Bert在下游理解类任务上的表现很惊人。而OpenAI在数十年里一直坚定地沿着基于Transformer的生成式模型路线发展,这是相当不容易的,充分体现出其坚定的技术信念。
Scale Law的出现,给大语言模型训练的优化提供了关键的理论指引。传统学术界过去只看重算法创新,觉得训练数据集的Scale属于工程范畴,没有研究价值。但OpenAI早就察觉到模型Scale的重要性,于是构建了算法与工程紧密协作的组织架构。工程团队为算法团队打造高拓展性的基础设施,算法团队则以工业化方式开展算法训练。
OpenAI一路风风火火,以一种大开大合的方式,把工程的魅力展现得淋漓尽致。
你存在信息错误,ChatGPT是OpenAI公司于2022年11月30日推出的聊天机器人程序,但并不是在这一天问世OpenAI。OpenAI之前的大型语言模型(LLM)产品以API形式低调地向B端、研究人员和个人开发者提供服务。
GPT在业务层的产品化进程相当克制。最初的chatgpt仅有一个聊天窗口,且存在许多漏洞,官网页面也极为丑陋。在后续版本里,它也未涉足过重的业务,在各种角色助手、prompt模板等娱乐化方向上,丝毫没有进行延伸。

GPT3.5之后,OpenAI推出了GPTs、Assistant API等,更多是提供工具与生态,挖掘和探索LLM能力的工作则留给广大用户和开发者了。
OpenAI的轻业务产品化战略好处颇多。它可直达终端用户,收获大量应用场景与用户数据;不会与生态中的创业者争利;还能使自身有充足资源和精力专注于基础模型的研究与训练。
巨量用户涌入可带来丰富的数据资源。

产品吸引用户,用户产生数据,数据滋养模型。于是,数据、模型、产品的飞轮开始顺畅转动。
这个团队在未知之路上一走数十年,其勇气和魄力实在令人敬佩。
OpenAI与历史之间,究竟是前者选择了后者,还是后者选择了前者?这并不重要。关键在于,OpenAI引发了人工智能的又一轮浪潮。众多智能模型如军备竞赛般轮番登场,但这仅仅是开端,AI+医疗、AI+教育、AI+娱乐等垂直应用场景的落地才是众多企业和开发者的战场!
身为开发人员,要是还没涉足大模型技术栈,那可真得补上这一课了。对于当下AGI的技术栈,强烈建议你去了解一下由「网络知学堂」与「AGI课堂」联合推出的公开课。
在两天时间里,听圈内大咖全面系统地讲解大模型,特别是当前热门的开源大模型与Langchain框架。其丰富的工具和社区生态,使原本遥不可及的大模型微调和开发变得轻而易举,这对开发者而言宛如一场盛宴。相信这些前沿技术知识,对拓宽技术视野、提升职场竞争力大有裨益。
关键是有AI大模型学习资源包,还有好用的AI工具之类的。有兴趣的可以关注一下↓ ↓ ↓
在后续课程里,你还能学习整套数据处理、训练、微调模型等流程,以及AI原生应用层开发技术。
来说说AGI吧。
OpenAI一直将AGI作为自己的愿景,这一愿景为其指明清晰方向与目标,是团队技术创新的动力源泉。
愿景驱动和资本驱动的技术创新有何差异?决策时,愿景驱动往往会选艰难却正确之路,资本驱动则易选容易且有利的路。也许这就是Altman称我们是非常追求真理的组织的底气所在。
OpenAI开启了一扇通往世界的大门,使我们看到了通用人工智能(AGI)的希望之光。在迈向AGI的征程中,仍有诸多难关有待攻克,不过对从业者而言,这无疑是个令人热血沸腾的未来。