Segundo a jurisprudência do STF, desde que presentes os requisitos, o princípio da insignificância é aplicável aos crimes contra a Adm. Pública?

O STJ tem um entendimento ainda bem restrito sobre o caso, sendo raras as exceções em que aceita a aplicação (um exemplo "comum" é no caso de furto de cones, por ser considerado tão ínfimo o valor, que não chega a trazer nenhum prejuízo ao patrimônio público.

Já o STF tem aplicado mais amplamente (exemplo crimes de responsabilidade e peculato), mas ainda assim não é pacificado esse entendimento, tendo em vista que a análise do que é de fato insignificante é muito subjetiva, por isso varia de ministro para ministro e de caso pra caso.

Acho válido uma olhadinha nas jurisprudências do STF para ter uma visão melhor dessa diferença de julgamentos.

A depender do caso. Como exemplo o crime de descaminho. Nesse caso, seguindo o entendimento consagrado em Portaria do Ministério da Fazenda de que se o prejuízo da fazenda pública for inferior ao valor de R$20.000,00 a procuradoria da fazenda não ajuizará execução fiscal, razão pela qual o STF entende que se o fisco entende que o valor é infimo, o agente não deve ser punido.