В общем - нет. Но если Вы пытаетесь уменьшить или слить с фоном что-то, то ПС это увидять и накажут. А если шрифт слишком большой или тупо не в тему или их штук 5 разных на одной странице - пользователи будут пугаться сами и убегать сразу. Т.е. Вы сами себя накажите.

Если этот шрифт мешает читать - То жди в гости Агсину =)

Маленький шрифт охватывает большую область для чтение, для некоторых так более удобное читать. Пример: http://www.flenov.info/blog.php?catid=1618. Маленький шрифт оправданный. Для некоторых при большом шрифте менее удобно читать. Поэтому, следует больше переживать не за сайт в глазах в поисковой системы, а за пользователя. Ведь, как писал Yaltagrad, то вытекает все из-за отказов самого пользователя. В принципе, то следует больше уделить не самому размеру шрифта, а его семейству. Для чтения объемных текстов следует использовать шрифт с засечками. Отлично читается шрифт Georiga, а также Verbana и Arial.