Encontre A e B pertencentes aos IR tais que f(x) =3x^3; x <=1 e Ax^2 + B; x > 1.Seja continua nos reais.

Para uma função ser contínua ela deve acatar 2 regras:

1- Os limites laterais são iguais, isto é, lim x->1+ = lim x ->1-
Nesse caso, vemos que.

Lim de x -> 1 da primeira função retorna:

3*(1)³ = 3

Logo, lim x-> 1 de ax²+b deve ser 3.
a(1)²+b=3
a+b=3

Você pode escolher qualquer valor para A e B para que estes retornem f(x)=3 quando lim x->1.

A segunda regra não vai afetar a resposta mas é bom saber:
Quando o limite de f(x) x->n = f(n). A princípio parece complicado mas vamos entender.
O limite de uma uma função quando x tende a um número N deve ser igual à função de N.
Neste exemplo:

f(x)=3x³    -   lim f(x) quando x->1 = f(x)=3(1)³ = 3.
Agora verificamos que o nosso N = 1, só fazer f(1). 
f(1)=3(1)³ = 3.
3=3.

E para o caso dela ser diferenciável como faria?

Sabendo que a equação determinada é uma parábola, sabemos que ela é definida para todos os valores de x.

Então, ela será sempre contínua.