Как написать программу, которая будет считать количество поворотов энкодера от мыши на ардуино?

https://alexgyver.ru/encoder/
Но тебе нужно выяснить, как именно твой энкодер подключается.
«энкодер от мыши» может подключаться по разному, в зависимости от модели мыши. Как именно — ты можешь узнать опытным путём или загуглив даташит по маркировке энкодера, если эта маркировка есть.

Если хочешь велосипедить — посмотри как обрабатываются прерывания.
https://habr.com/ru/post/340448/

У ардуинщиков в поделках используется модуль B83609, он же HC-020K — практически тот же самый «мышиный» энкодер с необходимой обвязкой. Обычно ставят на всякие машинки для контроля скорости. Там же и примеры найдёте.

Мышиный оптический энкодер это светодиод и фотодиод.
По схемотехнике это https://ru.wikipedia.org/wiki/%D0%9E%D0%BF%D0%B5%D…
на выводе фотодиода и логика когда выдавать низкий и высокий уровень.