In addition to the 26 letters, the French also use certain accented letters. Here'a a list of them and each character's corresponding html character entity.

L'accent aigu (acute or sharp accent)
á - á     Á - Á
é - é     É - É
í - í     Í - Í
ó - ó     Ó - Ó
ú - ú     Ú - Ú
L'accent grave (grave accent)
à - à     À - À
è - è     È - È
ì - ì     Ì - Ì
ò - ò     Ò - Ò
ù - ù     Ù - Ù
L'accent circonflexe (circumflex)
â - â      Â - Â
ê - ê      Ê - Ê
î - î      Î - Î
ô - ô      Ô - Ô
û - û      Û - Û
Le Tréma (diaeresis)
ë - ë       Ë - Ë
ï - ï       Ï - Ï
ü - ü       Ü - Ü
La Cédille (cedilla)
ç - ç     Ç - Ç
E dans l'O (ligament)
œ - œ      Œ - Œ


Thanks to thbz, gounthar and others for corrections and additions! :)