O dicionário Houaiss diz que caralho é de origem duvidosa, enquanto o homónimo da Porto Editora afirma que deriva do latim *caraculu-, que significava "pequena estaca". A evolução fonética seria óbvia: à síncope do primeiro /u/ (caraculu- > caraclu-) seguiu-se a palatalização do grupo /cl/ em /lh/ (caraclu- > caralho). Outros autores sustentam que provém do latim *characulus, o diminutivo de *charax, acis, do grego chárax, akos, que queria dizer «esteio», «estaca para a vinha», «vara». Há ainda quem associe o termo ao radical celta car-, que significava "tudo o que é direito e empinado", desde logo as pedras erguidas para o céu, ou menires, como nas Rochas de Carnac (um alinhamento de mais de 3 000 megalitos, erguidos na comuna de Carnac, na Bretanha, em França, por volta do ano 2 000 a.C.).
A viagem de «caralho» ao longo dos tempos tem sido rica. Sendo ou não verdade que designou o pequeno cesto do mastro principal de um barco à vela onde ficava o vigia, em 982 d.C., num texto que outorgava privilégios a um mosteiro catalão, foi escrito que das suas terras fazia parte o Mons Carallo, ainda hoje designado Puig Carallot, sendo Puig uma elevação ou colina. Note-se que o termo carall é bastante comum em catalão, como se pode comprovar por outros exemplos: Carall Bernat (uma ilha a leste do arquipélago das ilhas Medas que tem o aspeto de um monólito) ou a ilhota El Carallot nas ilhas Columbretes, um arquipélago espanhol, também ela com uma forma que lembra um pénis em ereção. Já o castelhano ostenta o vocábulo carajo (note-se que, ainda hoje, o grupo /ll/ se lê /j/ naquela língua), que parece ter dado origem ao português popular «carago».
Quando chegamos ao Renascimento, em pleno século XVI, o vocábulo já é de uso corrente. Por exemplo, no Glosário de el Escorial, o termo «androgenus» é definido como "ombre que tiene conno et carajo". E prossegue, nos séculos seguintes, a ser usado tanto no registo oral como literário. De facto, de Bocage a E. M. de Melo e Castro, muitos escritores usam o caralho nos seus textos.
Quanto ao seu significado, a palavra é comummente usado, enquanto calão, como sinónimo de pénis, como atrás referidos. Contudo, o seu sentido não se esgota aqui. Por exemplo, pode ser usada também como expressão de espanto ("Caralho! Que golaço!"), de alegria ("Ganhámos, caralho!") ou indignação, entre muitos outros.