Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
(资料图片仅供参考)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent2023-05-23
“投保后住院才能赔吗？现在正在住院可以投保吗？” “投不了哦亲。” “已经治疗了甲状腺癌，能投保2023-05-23
广州公共资源交易中心发布广州市黄埔区永和街（镇）永岗社区（不含横东、横南、横北）旧村改造项目公开引入2023-05-23
上海发改委：暂不宜在中午实施深谷电价北极星储能网获悉，近日，上海发改委针对政协委员南逸的《关于上海市2023-05-23
丰田首席科学家、丰田研究院首席执行官吉尔·普拉特（GillPratt）日前表示，过快过渡到电动车可能会导致一2023-05-23
中央气象台：华南沿海仍有分散性强降水冷空气将影响北方多地2023-05-23
瑞达期货(002961)称，本轮原糖价格走强始于3月下旬，印度超预期减产逐步落实使得其第二批食糖出口配额增发2023-05-23
凤凰网科技讯北京时间5月23日消息，根据多家媒体报道，电商巨头亚马逊公司创始人杰夫·贝佐斯与其女友劳伦2023-05-23
国产大剧《后浪》频繁登热搜差评铺天盖地：这是侮辱中医2023-05-23
原标题：小慧君凉凉，警惕“小作文”造谣卖惨绑架舆论透支正义近日，拥有千万粉丝的网红“小慧君”疑因不履2023-05-23
22日，2023年全国（暨京津冀）化妆品安全科普宣传周在北京开幕，活动展现了京津冀三地化妆品协同监管、推动2023-05-23
1、如果你喜欢简约又不失优雅的风格，地砖为灰色可以选择偏冷色系的门，如淡蓝色、蓝绿色、白色等，尽量选2023-05-23
1、一念执着 演唱：胡歌&阿兰·达瓦卓玛 胡歌（歌）： 一眼之念一念执着 注定就此飞蛾扑火2023-05-23
https: pan xunlei com s VNW2v8dl-gBlhKNxbe9Zw-SBA1?pwd=h6ng 【解压码1】主角受漂亮坚韧，主角攻们帅得2023-05-23
本文目录一览：1、人为什么会长毛，毛有什么用？2、为什么腿上会长毛3、人为什么会长毛?4、为什么人会2023-05-22
1、直接把虾放入水中，最好安个电泵，这样保持水会干净些，到时候虾也是新鲜的。2、拿出一个盒子，底部放一2023-05-22
北京日报客户端|记者袁璐5月22日，快手科技发布2023年第一季度业绩，总营收同比增长19 7%至252 2亿元，超越2023-05-22
“给农产品弄个好看的包装不算深加工，充其量就是个初加工，真正的深加工是发现农产品的价值，让全产业链都2023-05-22
东方甄选山西专场直播行程5月20日：太原古县城5月21日：大同云冈石窟5月22日：大同悬空寺5月23日：忻州雁门2023-05-22
魏牌高频的脚步似乎没有停歇的意思，虽然先后发布了蓝山和高山，但是5月23日全新摩卡DHT-PHEV也接踵而至，2023-05-22
极目新闻记者向一帆“您这么多年都在养护植物，觉得枯燥吗？”“您是怎样把这些花花草草打理得这样好的？”2023-05-22
证券时报e公司讯，企查查APP显示，近日，深圳市比亚迪汽车研发有限公司发生工商变更，企业名称变更为深圳方2023-05-22
东风本田全新英仕派预告图发布。新车低长的前鼻、钢琴烤漆网状格栅搭配两侧造型修长LED灯组，使其具有冲击2023-05-22
恒生指数公司22日推出恒生港股通中国国资央企指数，助力投资者把握央企投资新机遇。恒生指数公司表示，近期2023-05-22
1、开发式厨房吊轨折叠门没有梁可以安装吗？针对这个提问来说，看主要的门洞有多大吧，如果很宽的门洞没有2023-05-22
