柚子快報(bào)邀請(qǐng)碼778899分享：職場和發(fā)展 面試字節(jié)被掛了

http://yzkb.51969.com/

分享一個(gè)面試字節(jié)的經(jīng)歷。

1、面試過程

一面：上來就直接"做個(gè)題吧"，做完之后，對(duì)著簡歷上一個(gè)項(xiàng)目聊，一直聊到最后，還算比較正常。

二面：做自我介紹，花幾分鐘聊了一個(gè)項(xiàng)目，剩下20分鐘全聊基礎(chǔ)，CNN、pooling、1x1卷積，最后又做了一個(gè)題。

三面：做了個(gè)自我介紹，聊 GPU 與顯存的內(nèi)容，然后跟我講業(yè)務(wù)，反問了我一句："你們這個(gè)從0到1之后能從1到100嗎？有可持續(xù)研究的價(jià)值嗎？"，問的是一臉懵。

最后在反問環(huán)節(jié)，我了解到他們部門竟然以NLP為主，但是面試問的全是 CV 方向的。

最后面試掛了，真的很奇葩。

這讓我回想起幾年前我面試某大廠的時(shí)候，被問到了很多深度學(xué)習(xí)相關(guān)的知識(shí)，那時(shí)的我懂的不多，可以說是被面試官360度無死角蹂躪。

那次面試，印象最深的就是被問到了和上面的小伙伴遇到的一樣的問題：1X1卷積的作用。

今天就介紹一下：在卷積神經(jīng)網(wǎng)絡(luò)中，1x1的卷積都有什么作用？

2、在卷積神經(jīng)網(wǎng)絡(luò)中，1x1的卷積有什么作用呢？

大概有以下幾個(gè)作用。

第一是可以實(shí)現(xiàn)輸出feature map(特征圖)的升維和降維

第二個(gè)是可以減少模型中的參數(shù)量，從而減少計(jì)算量，提升模型的推理性能

除此之外，就是使用1x1的卷積可以增加網(wǎng)絡(luò)的深度，從而提升模型的非線性表達(dá)能力。

3、1x1的卷積是如何實(shí)現(xiàn)升維和降維的

這里說的1x1的卷積實(shí)現(xiàn)升維和降維的功能，指的是 feature map 通道維度的改變，也即特征維度的改變。

這是因?yàn)?x1的卷積，卷積核長寬尺寸都是 1，在計(jì)算的過程中，不存在長、寬方向像素之間的融合計(jì)算(乘累加計(jì)算)，而僅僅存在通道之間的融合計(jì)算。

因此，在這種情況下，1x1的卷積所能改變的僅僅是通道數(shù)。

而從卷積算法上可以看出，卷積核的個(gè)數(shù)就是卷積輸出的通道數(shù)。因此如果想讓輸出特征圖的通道數(shù)增大，就要使用更多數(shù)量的卷積核來做卷積，從而實(shí)現(xiàn)特征維度的升或者降。

4、1x1的卷積是如何減少模型參數(shù)的

減少參數(shù)量可以這么理解：在輸出相同特征圖的前提下，將一個(gè)普通的卷積，替換成一個(gè)1x1的卷積加上另一個(gè)卷積，先進(jìn)行降維，然后計(jì)算，如此一來整體的計(jì)算量要比普通卷積少。

舉個(gè)例子，如上圖所示。

假設(shè)一個(gè)卷積的輸入通道是128，輸出通道是32，如果不使用1x1的卷積，那么整個(gè)卷積的乘累加計(jì)算量是:

28x28x128x3x3x32 =?28901376

而如果使用1x1的卷積先降維處理，然后在降維之后的特征圖上進(jìn)行一個(gè)卷積計(jì)算，那么整體的乘累加計(jì)算量為：

128x28x28x16 +?28x28x16x3x3x32 =?5218304

兩者對(duì)比，后者比前者減少了80%的計(jì)算量。

5、如何理解1x1卷積可以提升模型的非線性表達(dá)能力

神經(jīng)網(wǎng)絡(luò)模擬的就是一個(gè)非線性系統(tǒng)，之所以在卷積層后面增加非線性層，比如Relu層，其實(shí)就是這個(gè)道理。

而1x1的卷積可以使得在完成相同卷積功能的前提下，網(wǎng)絡(luò)的層數(shù)變得更深(如上面的例子，一個(gè)普通卷積變成了2層卷積)。

網(wǎng)絡(luò)層數(shù)的加深，就會(huì)導(dǎo)致更多非線性層數(shù)的增加，從而使得整個(gè)神經(jīng)網(wǎng)絡(luò)模型的非線性表達(dá)能力更強(qiáng)。

6、1x1的卷積還有其他哪些優(yōu)勢嗎

1x1的卷積還可以增加通道之間的融合程度。

由于1x1卷積不存在長寬方向的像素融合，所有的計(jì)算都是通道之間的交叉計(jì)算，因此，可以更好的完成通道間的融合，而通道代表的是特征，因此可以更好的實(shí)現(xiàn)特征融合。

這一點(diǎn)，和全連接類似(因?yàn)?x1的卷積就可以表示為全連接)。

總之，如果在面試過程中被問到關(guān)于1x1的卷積問題，把上面的幾點(diǎn)回答出來，這個(gè)問題基本就可以了，不知道有沒有小伙伴被問道過這個(gè)問題呢，歡迎大家在評(píng)論區(qū)交流學(xué)習(xí)一下~~

柚子快報(bào)邀請(qǐng)碼778899分享：職場和發(fā)展 面試字節(jié)被掛了

http://yzkb.51969.com/

精彩文章