全球科技巨头Meta在社交平台开源了,3个专业代码大语言模型Code Llama 70B、CodeLlama-70B-Python和CodeLlama-70B-Instruct。据悉,这三款模型都是基于Meta的Llama 2开发而成,比去年发布的三款70亿、130亿、340亿三款专业代码模型参数更大,这也是截至目前参数最大、功能最强的纯代码模型之一。就连Meta联合创始人扎克伯格都为Code Llama 70B代码模型站台官宣,可见其性能以及Meta对其重视程度。Github地址:https://github.com/facebookresearch/codellama?ref=maginative.com模型权重下载地址:https://ai.meta.com/resources/models-and-libraries/llama-downloads/由于Meta暂时没有公布Code Llama 70B的论文,「AIGC开放社区」就用Meta曾经发布的Code Llama论文为大家介绍下。论文下载地址:https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/Code Llama是基于目前最强开源大语言模型Llama 2开发而成,在代码和文本数据上进行预训练、微调,提升代码生成和理解能力。目前,一共有70亿、130亿、340亿和700亿四种参数。除了基础模型之外,还有Python和Instruct两种特殊微调模型,每个模型都使用了5000亿tokens优质代码数据进行训练。其中,70亿和130亿的 Code Llama模型采用了多任务目标,包括自回归和因果填充预测方法。为了提升输入扩展,研究人员进行了额外的微调步骤,将上下文长度从4,096tokens扩展到了100,000tokens。Python是目前代码生成方面最高效、应用最广的编程语言之一,并且Python 和 PyTorch 在AI 社区中发挥着重要作用。所以,Meta推出了针对Python的代码模型。该模型在 1000亿标记的优质Python代码进行微调。Code Llama - Instruct 则是 Code Llama 针对自然文本指令微调的模型,该模型支持自然文本输入和输出。如果你想使用文本生成代码,Meta建议使用该模型,因为Code Llama - Instruct已经过数据微调理解自然文本更好并且生成的代码更符合开发人员要求。资源消耗方面,70亿参数模型可在单个GPU上运行。340亿参数模型可返回最佳结果并提供更好的编程辅助,但资源消耗更大。所以,本次发布的700亿参数模型,在AI算力方面也比前三个消耗更多。根据Meta公布的消息,Code Llama 70B 在 HumanEval 基准测试中的准确率达到 53%,比 GPT-3.5 的 48.1% 表现更好,更接近OpenAI的GPT-4 67%,是目前性能最强的开源代码模型之一。此外,Code Llama 70B的多语言支持、子任务执行、内容安全方面,也是同类开源模型中最佳之一。本文素材来源Code Llama论文,如有侵权请联系删除
足球预测模型代码700亿参数,可商用!Meta开源3个最强代码大模型
2024-06-11 20:15:07 文章来源:百家号
免责声明:本文及图片仅供学习研究之用,版权归属原作者,未经许可不得转载,不得用于任何商业用途。
文章链接:https://www.vzhan310.com/info/2608731
情报站
万隆全部胜利都在自己主场!
请使用V站最新版查看。下载地址:www.shemen365.com
佩塞巴亚大黑马,赛季客场全零封!
请使用V站最新版查看。下载地址:www.shemen365.com
万隆至多6名一线队主力全部伤停!
佩塞巴亚6名外援都保持健康!
水手一门退役,顶替门将亚冠发挥稀烂!
请使用V站最新版查看。下载地址:www.shemen365.com
墨尔本胜利核心边锋累计禁赛!
请使用V站最新版查看。下载地址:www.shemen365.com
墨尔本中后场三主力离队,但补强也不俗!
上季总决赛重演,水手独苗绝平加时夺冠!
川崎前锋一关键球员伤停!
请使用V站最新版查看。下载地址:www.shemen365.com
大阪钢巴终结能力偏低!
请使用V站最新版查看。下载地址:www.shemen365.com
本场比赛川崎前锋迎来里程碑!
川崎前锋面对大阪钢巴略占上风!
神户胜利船近期状态非常出色!
请使用V站最新版查看。下载地址:www.shemen365.com
FC东京两名主力球员缺席!
请使用V站最新版查看。下载地址:www.shemen365.com
神户胜利船主力球员迎喜讯!
FC东京状态十分火热!
神户胜利船和FC东京交手平分秋色!
浦项头号射手伤缺,但已经是老病号
请使用V站最新版查看。下载地址:www.shemen365.com
水原主帅:杀入争冠组已经完成赛季目标!
请使用V站最新版查看。下载地址:www.shemen365.com
苦主!浦项2024年3战水原没赢过!
浦项双线作战,下周二要踢亚冠远征泰国!
连续5场不胜,水原处于赛季最低谷
横滨水手本赛季状态一泻千里!
请使用V站最新版查看。下载地址:www.shemen365.com
新泻天鹅存在保级压力!
请使用V站最新版查看。下载地址:www.shemen365.com
横滨水手一关键球员本场比赛复出!
新泻天鹅头号射手本场比赛出战成疑!
横滨水手面对新泻天鹅占据上风!
山东泰山四国脚本场或轮休!
请使用V站最新版查看。下载地址:www.shemen365.com
津门虎中锋本场停赛!
请使用V站最新版查看。下载地址:www.shemen365.com
山东泰山主力中场本场停赛!
山东新援泽卡有望迎来主场首秀!
泰山联赛主场已五连杀津门虎!
成都蓉城主帅本场需要作壁上观!
请使用V站最新版查看。下载地址:www.shemen365.com
海港主力前锋本场比赛有望回归!
请使用V站最新版查看。下载地址:www.shemen365.com
成都蓉城射手王本场伤缺!
海港国脚武磊本场出战成疑!
历史交手海港占据优势!
多特蒙德是国家大户!国家队比赛日消耗大!
请使用V站最新版查看。下载地址:www.shemen365.com
圣保利锋线大核缺席!一人制造本赛季球队全部进球!
请使用V站最新版查看。下载地址:www.shemen365.com
多特蒙德本赛季主场全胜!4场狂轰17球!
多特蒙德减员严重!7名边路球员可能同时缺席!
圣保利近年来面对对手输多胜少!当上次交手爆冷赢球!
摩纳哥主帅亲承:本场马耶茨基将首发!
请使用V站最新版查看。下载地址:www.shemen365.com
摩纳哥本赛季各项赛事十场不败!
摩纳哥头号射手将伤缺两个月!
摩纳哥联赛主场面对里尔近12场不败!
阿拉维斯多名球员面对旧主!
请使用V站最新版查看。下载地址:www.shemen365.com
巴拉多利德本场比赛或将变阵!
请使用V站最新版查看。下载地址:www.shemen365.com
阿拉维斯伤停情况不容乐观!
巴拉多利德近期状态糟糕到极致!
阿拉维斯面对巴拉多利德优势很大!
山猫主力内线史密斯主动请战
请使用V站最新版查看。下载地址:www.shemen365.com
山猫上场投篮命中率继续失准
请使用V站最新版查看。下载地址:www.shemen365.com
自由人创总决赛历史第3大逆转
约内斯库超远三分绝杀帮助自由人拿到赛点
下拉加载数据
海外专家方案
Jeff Poole(杰夫·普尔)
佛州大知名球探 对魔术队有独到见解
100%
命中率
【WNBA总决赛】美国大学球探Poole海外信息:这队迎来最重要一战!
10-19 00:00
WNBA
|
明尼苏达山猫
VS
纽约自由人
7分钟前发布
Freddo(弗雷多)
哥斯达黎加teletica电视广播公司体育编辑,熟悉美洲各级别联赛
72%
命中率
【哥斯甲场】南美teletica广播公司编辑海外消息:这队一关键球员无法出场!
10-18 02:00
哥斯甲春
|
瓜纳卡斯特卡
VS
萨普里萨
19小时前发布
Rosales(罗萨莱斯)
墨裔美国人,曾在ESPN担任体育编辑,因出身缘故对墨超和美职联都很热衷
75%
命中率
【乌拉圭民族场】前ESPN体育编辑一手海外消息:这队“偷”来一个主场!
10-17 22:30
乌拉甲
|
国民队
VS
米斯奧尼斯
16小时前发布
La·Fonde(拉-方丹)
从事多年欧洲篮球资讯新闻报道,提供专业数据分析、伤情报告
73%
命中率
【独家料】篮球专家La-Fonde来料:这队赛季首次迎来最强阵!
10-17 18:05
欧冠
|
特拉维夫马卡比
VS
游击队
16小时前发布
Ngô-Ngọc-bích(武玉碧)
前Đài phát thanh Hà Nội主播
100%
命中率
【印尼甲 冲4连红!!!】越南体育主播Ngô-Ngọc-bích临场爆料:这队只剩4外援可用!
10-17 12:00
印尼甲
|
PSIS三宝龙足球会
VS
佩西加雅加达
17小时前发布
最新文章
Read More
印尼vs菲律宾_今日分析周二 105:世预赛《印尼--菲律宾》 主任格局
发布时间:2024-06-11 文章来源:今日头条
Read More
澳大利亚vs巴勒斯坦_预测进球数记者:排名比国足低且战火纷飞的队都已进入18强赛!
发布时间:2024-06-11 文章来源:百家号
Read More
澳大利亚vs巴勒斯坦_预测进球数
发布时间:2024-06-11 文章来源:百家号
Read More
澳大利亚vs巴勒斯坦_预测进球数臭名昭著的"全球侵犯儿童罪犯名单"一般只会给到一些罪行极其严重的叛军或恐怖组织,从来没有联合国会员国的正规军被列入其中。
发布时间:2024-06-11 文章来源:百家号
Read More
韩国vs中国_预测进球数
发布时间:2024-06-11 文章来源:百家号
Read More
澳大利亚vs巴勒斯坦_预测进球数【世预赛亚洲18强已确定13席】
发布时间:2024-06-11 文章来源:百家号
Read More
澳大利亚vs巴勒斯坦_预测进球数没有悬念了!世界杯亚洲区8.5个名额分配如下——
发布时间:2024-06-11 文章来源:百家号
Read More
澳大利亚vs巴勒斯坦_预测进球数亚洲有8.5个世界杯名额,但国足在亚洲排名第13!
发布时间:2024-06-11 文章来源:百家号
Read More
泰国vs新加坡_今日分析今日足彩推荐分析:104 意大利 VS 捷克
发布时间:2024-06-11 文章来源:百家号
Read More
泰国vs新加坡_今日分析0-1!国足VS泰国:蒋光太坑苦王大雷,和颜骏凌水平相当
发布时间:2024-06-11 文章来源:百家号