Pra isso você precisa de um servidor que suporte alguma linguagem dinâmica:



Asp, Php, ColdFusion ou similares



Em HTML puro é impossível fazer um sistema desse tipo. Ou seja, se o seu site está em um servidor gratuito, pode esquecer; geralmente suportam somente html.



Caso o seu site esteja hospedado em um servidor que suporte ASP por exemplo, basta você procurar no Google por "Chat ASP" que você encontrará uma gama de sistemas já prontos, e gratuitos, bastando você somente configurá-los ( principalmente visualmente )



Agora, se você estiver interessado em criar, não é uma tarefa tão simples lidar com uma sala de chat.

Gerenciar encaminhamento das mensagens e usuários on-line não é uma tarefa "dos diabos", mas é praticamente impossível pra quem não tem conhecimento pelo menos básico em algoritimos e sintaxe.