Ламеры качеством видео обзывают разрешение изображения (тут, какое кодеру в голову придет), степень сжатия, так называемый "битрейт" - скорость передачи видеоинформации. Ими считается, что чем битрейт и разрешение больше, тем видео качественнее. Однако, что такое качество я указал в начале ответа.
Лучше чем Fraps я не видел, хотя пробовал много, часто пишу видео с реплеев игр. Преимущества в молом потреблении ресурсов и кодеке, который не требует перекодирования при заливке на Youtube. Пусть внешне выглядит не очень гладко, за то дело свое знает.
Ситуация такова, что любая даже самая мощная программа для работы с видео файлами не сможет провести кодировку , не ухудшив хотя бы немного качество изображения. И уж тем более если речь идет о таком формате как flv.
Дела в том, что и AMD, и Nvidia производят видеокарты с очень похожим набором функцитонала, и тот и другой производитель делает видеокарты как бюджетные, так и дорогие. Поэтому все упирается в ваши возможности, какая видеокарта больше подходит к вашему кошельку, ту и берите. Выбор сейчас на самом деле очень велик, от каких-нибудь GT-610 от NVidia и HD5450 от AMD до топовых GTX1060-GTX1080 и Radeon RX Vega соответсвенно. Думаю, нужно искать золотую середину и ориентироваться на видеокарту ценой порядка 7-9-10тыс.р., дороже, мне кажется покупать смысла большого нет, если вы, конечно, не заправский игроман. Конечно, современные игры хороши на максимальных настройках, но выкладывать за визуализацию 500-1000$ мне кажется нерационально. Если вы определились с ценой, нужно определиться с параметрами видеокарты, замечено, что чем новее конструкция видеокарты, чем дольше она остается актуальной. Вот и смотрите, где больше применяется наиболее новых технологий, ту и берите.