La physique est la première des sciences "expérimentales" : elle s'attache en effet à comprendre le comportement de la matière qui nous entoure, dans ce qu'il a de plus fondamental. D'autres sciences s'occupent des phénomènes plus complexes : la chimie s'occupe des lois qui régissent le monde des molécules, la biologie des lois qui régissent les êtres vivants, la géologie des lois qui gouvernent les planètes (et plus particulièrement la notre). Voilà pour les sciences expérimentales dites "dures".
La physique s'occupe donc des phénomènes "de base", mais il est difficile de dire que ce ne sont des phénomènes simples pour autant (voir les phénomènes chaotiques, comme la turbulence).
Les mathématiques sont omniprésentes en physique. Une première raison bien simple, c'est qu'en physique, on fait des mesures. Et que le résultat d'une mesure est un nombre. Les lois physiques sont bien souvent des relations entre ces nombres, et elles s'expriment de façon mathématique. Et biologie, par exemple, les lois sont de nature différentes en général : elles s'expriment de façon "qualitative", comme lorsqu'on dit "telle hormone a telle fonction".
Mais la relation entre physique et mathématiques est bien plus profonde. Elles savent traduire les intuitions des physiciens, parce que les mathématiques sont le reflet de notre façon de concevoir le monde. Compter, par exemple, vient très naturellement, et il devient vite clair que 2+2=4, que 2 représente des moutons ou des pièces. Les maths ne font que traduire d'une façon "formelle" ce que notre intuition nous dicte.
Ainsi, il arrive que des mathématiques abstraites dont on ne sache pas vraiment à quoi elles peuvent servir trouvent une application éclatante en physique. Le meilleur exemple est celui de la relativité générale : il ne faut pas croire qu'Einstein ait tout fait tout seul. Il a su trouver Hilbert, un grand mathématicien, pour lui expliquer la géométrie non-euclidienne. Si les idées physiques, l'intuition, viennent bien d'Einstein, les maths sont plus le fait de Hilbert.
Inversement, il arrive que les physiciens "inventent" des notions mathématiques. En général, ce qu'ils font n'est vraiment pas rigoureux, mais colle parfaitement à leur intuition. Et comme les maths ne sont jamais loin de l'intuition, les mathématiciens sérieux passent ensuite pour essayer de mettre un peu d'ordre et de démontrer rigoureusement ce qu'on fait les physiciens. C'est le cas par exemple avec ce qu'on appelle les intégrales de chemin, ou la renormalisation. Parfois d'ailleurs, on s'aperçoit que la façon de faire des physiciens n'était vraiment pas la meilleure. Mais elle marche, parce qu'elle est issue de l'intuition.
La physique sans mathématiques, c'est impossible. Parce que les mathématiques ne sont pas contestables, également : on ne peut pas contester une démonstration mathématique. Les hypothèses, peut-être, mais pas les démonstrations. En fait, on peut même aller jusqu'à dire que la physique consiste à utiliser les mathématiques pour réfléchir sur le monde. Mais c'est normal : les mathématiques sont notre façon de réfléchir. Même en biologie, finalement, on utilise la logique.
On considère que le premier physicien de l'histoire, c'était Galilée - notamment parce qu'il est le premier à dire que "la nature est écrite dans le langage des mathématiques". Être un physicien, c'est chercher des relations mathématiques cachées dans ce qui nous entoure. Parce que les mathématiques permettent de comprendre et de prévoir le comportement d'un système.
S'il est impossible de faire de la physique sans mathématiques, par contre, elle peut se raconter sans : il y a beaucoup de vérités qualitatives physique et celles-ci peuvent être vulgarisées...