ReLU=浅度学习:等效3层网络
尚恩 发自 凹非寺
量子位 | 公众号 QbitAI
(资料图)
只要你用了ReLU,我们就是好朋就是“浅度学习”。
最近有研究证明,所有基于ReLU的深度神经网络都可以重写为功能相同的3层神经网络。
基于这个证明,伦敦国王学院的研究团队还提出一种为任意ReLU网络找到相应浅层网络的算法。
由此产生的浅层网络是透明的,可用于解释网络的行为。
只要通过算法,就能找到任意深度ReLU网络的对应浅层网络。
对此网友惊呼:我要读这篇论文,立刻马上!
任何深度ReLU网络都是浅层的
ReLU是深度学习领域最常用的一种激活函数,由Nair & Hintonw在2010为限制玻尔兹曼机(restricted Boltzmann machines)提出的。
由于常常在实践中有着比其他常用激励函数(例如逻辑函数)更好的效果,而被深度神经网络广泛用于图像识别等计算机视觉人工智能领域。
论文指出,每个深度ReLU网络都可以转换为一个功能相同且具有“三个隐藏层”的浅层网络。并提供了一个找到对应浅层网络权重的算法,提高神经网络的全局可解释性。
简单来说就是,通过划分输入空间,使用线性函数对每个分区进行建模,来实现深层网络浅化。
具体分为这三步。
首先,需要构建一个将线性模型和半空间编码的第一层,通过使用一个矩阵来表示半空间条件,其中每个行向量表示一个半空间的线性方程。
然后,构建第二层,该层根据输入的所属区域决定哪些边界是活跃的。
最后,构建第三层,通过将输入与每个线性模型相乘并使用指示函数来选择正确的模型。
基于此,每一个深度ReLU网络都可以被转换为一个功能上相同的三层网络,其权重值在扩展实数中。
当然要完成浅化,还需要一些咒(suan)语(fa)。
根据论文,使用算法时只需找到H、c、α、β这些参数,并知道每个区域所需的半空间就可以,主要分三步。
首先,识别可行的模式集,对于每个可行模式,计算全局线性规划的参数A(l)和d(l)。
然后,确定半空间条件,将这些矩阵堆叠起来,确定每个激活模式的半空间条件。最终得到矩阵H和向量c。
最后,计算局部线性模型,根据模型的权重和激活模式,使用显式公式,计算局部线性模型α和β。
简单理解,就是根据已训练好的网络,通过启发式搜索在可能的神经元激活空间中找到合适的权重值。
通过构建浅层白盒网络,能够快速计算出每个数据点的SHAP值,大大提高数据的可解释性。
实验表明,通过上面算法就可以找到给定深度ReLU网络对应的浅层网络的显式权重。
网友:实验很酷,但也有些问题
论文很新颖的提出一个算法,可以实现“深转浅”,不过该方法仍有一些缺点。
比如构建浅层网络使用了无限权重,尽管这些权重可以在Python中实现,但不能使用梯度下降进行微调。
当然,“找茬儿”这块,怎能少得了热心肠的网友。
根据论文可以发现,如果使用团队提供的算法,实验过程中计算时间其实是会随着神经元数量增加呈指数增长。
所以就有网友提出疑惑:算法运行时间与神经元数量成指数关系,12个神经元需要近10分钟,那计算一个普通大小的DNN所需时间岂不是长了去了……
网友指出:假设单层神经网络可以计算任何函数,那么对于任何神经网络来说,这不是都成立吗?
对于这个研究,也有网友犀利表示:这就是个「普遍逼近定理」,没什么大惊小怪的。
不过无论网友怎么说,这篇论文仍然有一些出彩点。
比如,通过这个方式得到的浅层网络是透明的,可以用来生成模型行为的解释。
此外还提供了用于复现实验的代码,供其他研究人员使用来探索和实验。
论文地址已经贴在下面,感兴趣可以去看看~
论文传送门: https://arxiv.org/abs/2306.11827
参考链接: [1] https://twitter.com/mathemagic1an/status/1672430954152083456?s=46&t=iTysI4vQLQqCNJjSmBODPW
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
标签:
推荐
- ReLU=浅度学习:等效3层网络
- 2022-23赛季德转身价下跌榜马内下跌4500...-即时看
- 北京西城区城管加大辖区餐饮单位执法检查力度|焦点速讯
- 《逆水寒手游》免费时装获得方法
- 【热闻】诗圣是哪一位诗人 号称诗圣的诗人是谁
- 真心朋友歌词-真心朋友
- 【独家】6月楼市延续降温 百城房价继续下跌
- 天天快资讯:厦门小学初中和中职今起放暑假 普通高中7月12日起放暑假
- 忆秦娥·登东安阁
- 5G赋能智慧矿山“乌金之变”拉开大幕|天天热文
- 杜郎口教学模式的特点(杜郎口教学模式)-焦点热议
- 库尔特哈恩先生出生于哪个国家(库尔特)|世界快讯
- 李玉简隋英在一起了吗_李玉把简隋英C到哭_今日聚焦
- 西瓜和酸奶一起吃后果严重吗
- 视点|起哄跳楼者“不跳不是人”,怎能冷血到拿自杀当乐子?|当前速递
- 全球热点评!威马疑又停薪,仅发中高层工资!“讨债大军”攻陷官方微博
- 天天观点:普陀居民看过来,这项便捷服务让你办事不再来回奔波!
- 崔宥莉:队友们都各有特点,我会为最终进世界杯名单努力训练
- CR450动车组研制取得阶段性成果 新技术部件在列车高于时速400公里运行条件下的性能验证试验取得圆满成功_最新
- 如何提取图片文字到excel_如何提取图片文字 全球最资讯
- 哗啦啦020餐饮系统教程 哗啦啦餐饮系统怎么用
- 抖音上的牛马什么意思_抖音的牛马是什么意思_全球独家
- 无糖可乐致癌争议
- “追光少年”来啦!CUBAL 总决赛 MVP 陈国豪现身广州新华学院篮球文化节
- 时讯:莱茵克尔:马拉多纳和梅西都是我见过最伟大的球员,他们都很相似
- 挤爆了!“巨型泡面桶”卖500元还遭疯抢!实探深圳前海山姆店开业:排队一小时起…-全球百事通
- 21个人权组织致信美五角大楼:应对叙利亚平民遭袭身亡赔偿
- 全球信息:公安机关近三年侦破各类文物犯罪案件超5900起
- gt630显卡能玩收获日2吗_gt630显卡
- 焦点关注:公司财务遇“李鬼”,打款 5 千万时看到反诈提示
- 校园三剑客10:超时空少女_关于校园三剑客10:超时空少女概略
- 思特威接待信达澳亚基金等多家机构调研
- 奥特佳:目前公司储能电池热管理设备产品多运用于大型储能电站、重型电动汽车及电动工程机械设备等
- 世界快播:CIMT2023部分五轴加工中心亮点展品评述
- 莴笋能做馅吗?
- 马石油机油怎么样啊_马石油机油怎么样
- 奚惆怅而独悲的惆怅是什么意思_惆怅是什么意思_全球独家
- 天津律师行业为法治政府建设护航
- 博汇纸业:6月29日融资买入159.31万元,融资融券余额2.47亿元|通讯
- 中加科盈混合C基金经理发生变更
- 每日热议!“足球经济”催热娄底夜生活|湖南日报
- 焦点速讯:公司上半年净利润预增超50%
- 莉莉虎 世界简讯
- 拍卖行拍出假艺术品后不认怎么办?鉴定师用高清显微镜破解“真假南瓜”之谜
- 快大茂镇全民爱路护路氛围浓
- 百事通!暖暖的微笑老师被辞退后续 川传出轨多位学生老师被辞退 基本情况讲解
- 腾远钴业(301219):6月29日北向资金增持4.92万股
- 马兰士cd6004说明书(马兰士cd6004)
- 全球实时:勇士官宣夏联名单,新秀引期待
- 辞职五险一金可以取吗_辞职五险一金
- 惠比寿小福和大黑(惠比寿小福) 天天讯息
- 【独家】美团发公告 拟收购光年之外全部权益
- 哈登名誉扫地,火箭队宁可给范弗利特顶薪也不给哈登
- 6月29日国内黄金期货涨0.01%
- 当前看点!小赢卡贷连续逾期三个月怎么办?能协商吗?
- 今天14时北京再登高温榜榜首,未来两周北方有两轮高温天气 热门看点
- 江苏新能(603693.SH)2022年度每股派0.15元 股权登记日为7月6日 环球关注
- iQOO 11S搭配200W快充 充5分钟玩3小时 世界今热点
- 数学爱好者最佳礼物:手工制作液体石蜡灯油大揭秘! 今日热搜
- 表示喜讯的词语_形容喜讯的词语简介介绍-环球速递
- 【全球时快讯】交易量同比下降42%!全球并购和IPO市场交出10年来最差半年度成绩单
- 长盛轴承(300718)6月29日主力资金净买入1724.53万元 世界微速讯
- 【天天新视野】鬼灭之刃,六岁萝莉cos堕姬引发争议,父母解释牵强,行动已证明
- 上海发布《反诈白皮书》:电诈受害者平均被骗年龄为31.5岁
- 【聚看点】商业局主要负责什么工作内容(商业局)
- 微速讯:白皮书:2022年我国婴幼儿推车销售额151.7亿元 预计未来5年年复合增长率3.5%
- 环球热点评!报告:去年七分之一英国人吃不饱
- 开创中国轿车碰撞测试先河,神龙品质传承25载|全球短讯
- 金海1050mm十八辊三机架黑皮轧固溶酸洗线成功投产
- 学术评价的本质_天天简讯
- 网评:让乡村工匠更好发光发热
- 渝川陕五县市将联合保护利用革命老区文物
- 官宣!戴伟浚正式加盟上海申花队 将身披9号战袍
- 因降雨,河南部分高速路段禁止七座及以上客车上站 时讯
- 【天天热闻】「深度」粮食安全保障法呼之欲出
- 宏宇新城
- 释放信号?耶伦受访时承认美中存在分歧,称希望到中国重建联系|焦点
- 近期多名孩子因此遇难,暑假将至,千万警惕!|当前速读
- 腾讯云工业互联网总部基地正式启用,助力深圳宝安制造业升级|快讯
- 首次出现学位供大于求!广州民办初中现“拐点”
- 真兰仪表(301303):6月28日北向资金减持3.22万股
- 千亿央企放大招!
- 碧蓝档案发癫文 妮可|看热讯
- 信用卡不想用了怎么注销_信用卡不想用了怎么把它注销 天天观焦点
- 世界微头条丨一打印店老板娘疑被猥亵 女子疑被猥亵勇敢发声 基本情况讲解
- 【天天快播报】奥哈拉:如果凯恩加盟拜仁,那将是一种他对于自我的妥协
- TCL李东生:应对逆全球化,应从输出产品转向输出工业能力
- 通讯!地中海捷运物流提单号查询(什么是地中海头型)
- 申花官宣签下戴伟浚:你我共期“戴” 同创新未来!-世界新消息
- 天天快讯:炒冷饭?越南媒体再次嘲讽国足,中乙老板热身赛上场踢国足是耻辱
- 如何看电脑硬盘序列号 电脑硬盘序列号怎么查询
- 热推荐:中央气象台6月28日18时继续发布暴雨蓝色预警
- 各种行业碳账户上线 企业碳普惠平台正设法走出“自嗨”困局 全球今热点
- 头条:独家!传王老吉销售将裁员20%?6月份监察部首先被干掉
- 每日简讯:惠誉上调宁德时代信用评级至A-,宁德时代展望稳定
- 如果没有新的刺激政策出台,房地产市场将再度进入调整 环球百事通
- 每日聚焦:北京养生堂保健股份有限公司官网_北京养生堂保健股份有限公司
- 环球微动态丨航亚科技: 无锡航亚科技股份有限公司关于获得政府补助的公告
- 陈建州起诉大牙!律师称有两位人证,女方有望胜诉|快报
- 飞洋谈天│“龙舟水”划上句号,“高温虎”强势归来
X 关闭
行业规章
X 关闭